Verificação de proxy

Antes de colocar proxies em uso, é preciso verificá-los: essa regra é a mesma para um pacote pago de endereços privados e para uma lista gratuita baixada de um fórum. A descrição do plano e a condição real dos endereços quase nunca coincidem completamente: alguns IPs já estão desligados, alguns mal funcionam e entregam apenas alguns kilobytes por segundo, alguns estão listados em bases de dados antispam e recebem um captcha na primeira solicitação, e alguns acessam a internet a partir de um país pelo qual você nem sequer pagou. A única forma de ver isso é passar a lista por uma verificação online de proxy.

Checker.net é um verificador de proxy gratuito que funciona diretamente no navegador: sem programas, sem instalação e sem conta. Você pode colar a lista no campo, anexá-la como um arquivo ou fornecer um link para ela. Em poucos segundos, você pode ver para cada endereço:

Uma execução comporta até 30.000 endereços: uma verificação de proxies em massa conveniente e uma verificação de lista de proxies sem limite no número de execuções. Os resultados não são acumulados até que a verificação termine; eles chegam como um fluxo, então a tabela cresce diante de você.

Um verificador de proxies, também chamado validador de proxies ou tester de listas de proxies, é um serviço que se liga ele próprio a cada servidor proxy, envia pedidos através dele e, pelas respostas, decide se o endereço serve. Sem uma ferramenta destas, teria de introduzir cada IP nas definições do navegador, um a um, e ver se a página abre. O verificador faz o mesmo para a lista inteira de uma vez e devolve não um vago «parece funcionar», mas uma tabela com números.

As ferramentas desta classe diferem muito na profundidade com que olham. O verificador mais simples só sabe dizer uma coisa: o endereço respondeu ou ficou em silêncio. Para trabalho real isto não chega, porque um proxy que responde ainda não é um proxy útil. Pode constar de uma dezena de bases de spam. Pode não o deixar entrar na rede social para a qual foi comprado. Pode ser reconhecido pelos sites como um IP de servidor onde é preciso um IP residencial. Pode demorar quinze segundos a responder onde a norma são centenas de milissegundos. Por isso medimos não só o facto da disponibilidade, mas a qualidade: descobrimos a origem do IP, olhamos para a reputação, verificamos como se comporta nas grandes plataformas e juntamos tudo isto numa única pontuação.

Verificar online é mais conveniente do que um programa de verificação de proxy, e há três razões:

Depois de clicar em «Iniciar verificação», o verificador lê a lista linha a linha. Em cada linha deteta o formato, extrai o host, a porta, o login e a palavra-passe, e ignora lixo e endereços duplicados. Em seguida, todos os proxies são verificados em paralelo: primeiro os protocolos, depois os restantes parâmetros.

Para verificar um protocolo, o verificador abre uma conexão por meio do proxy e chama um recurso de serviço que informa o endereço IP do cliente que chegou até ele. Uma solicitação desse tipo fornece muitas informações de uma só vez: confirma que o proxy está ativo, mostra o tempo de resposta e, o mais importante, revela o IP de saída — o endereço que os sites verão.HTTP/HTTPS e SOCKS5são testados separadamente. No mesmo host e porta, os protocolos frequentemente se comportam de maneira diferente: a descrição diz HTTP, mas o endereço na verdade entende apenas SOCKS, ou o contrário.

O IP de saída é então usado para determinar onde o endereço está localizado e a quem ele pertence: país, região, cidade e tipo — móvel, residencial ou corporativo.

Ao mesmo tempo, o IP é verificado em um banco de dados local de lista negra que atualizamos regularmente a partir de repositórios abertos de antispam.

No modo completo, a etapa mais valiosa é adicionada: as solicitações passam pelo proxy para onze serviços populares, e fica claro quais deles permitem a entrada desse endereço e quais fecham a porta diante dele.

Os resultados são enviados para a interface assim que ficam prontos, não em um único lote só no final. Mesmo em uma lista longa, você não precisa ficar olhando uma barra de progresso em execução: as primeiras linhas aparecem em segundos, eendereços funcionaispode ser feito enquanto o verificador ainda está ocupado com o restante.

A principal coisa a saber sobre um endereço é se elefunciona. Se o proxy não respondeu, o verificador informa o motivo: a conexão foi recusada, o tempo de espera esgotou, a autorização falhou ou o servidor retornouum erro. A diferença aqui é fundamental. "O endereço émorto" e "o endereço está ativo, mas há um erro de digitação na senha" são duas histórias completamente diferentes, e otexto do erromostra imediatamente se deve descartar o proxy ou apenas corrigir sua lista.

HTTP/HTTPS e SOCKS5são verificados para cada endereço separadamente, e cada protocolo recebe seu próprio tempo de resposta. Isso mostra o que o proxy pode realmente fazer, não o que o vendedor diz. Isso fecha uma muito comumerro: um proxy SOCKS funcional é declarado como quebrado apenas porque foi contatado como HTTP.

O tempo de resposta é o que passa desde o envio de um pedido através do proxy até à chegada da resposta. Decide tudo onde a reação importa: no navegador, ao automatizar ações em interfaces e ao fazer parsing em muitas threads com pedidos curtos. A velocidade do canal medimos à parte. Importa quando se fazem passar grandes volumes pelo proxy: exportações, ficheiros multimédia, vídeo. Não se devem confundir estes dois números — um endereço pode responder de imediato e, mesmo assim, entregar dados à velocidade de centenas de quilobits.

O verificador determina de onde vem o endereço: da rede de um operador móvel, de uma ligação doméstica ou de um centro de dados. A confiança que os sites dão ao tráfego decide-se em grande parte por isto, por isso o tipo de IP é uma das três partes da classificação. Os detalhes estão abaixo, na secção sobre tipos de proxy.

O IP é confrontado com bases que registam endereços vistos em spam, ataques a sites e fraude.

Basta uma ocorrência para ver que a reputação do endereço está manchada, e alguns serviços vão recebê-lo com um captcha ou uma recusa.

A parte mais prática do relatório. Por meio do proxy, o verificador abre onze grandes plataformas e, para cada uma, informa se funcionou, quanto tempo levou e qual código HTTP retornou. Um endereço que évivopor todos os sinais técnicos, pode ser facilmente bloqueado no serviço exato de que você precisa — e descobrir isso aqui é muito mais agradável do que por um e-mail sobre uma conta bloqueada.

A avaliaçãode 0 a 5combina três coisas: tipo de IP, reputação em listas negras e resultados dos serviços. Com ele, você não precisa ler cada linha da tabela — basta ordenar a lista e pegar os endereços do topo.

O verificador entende três formas de escrever um proxy e não exige definições para isso:

O host pode ser um endereço IP ou um nome de domínio: bastantes fornecedores emitem proxies como um domínio com porta. Os formatos podem misturar-se numa lista — cada linha é tratada por si.

Também há três formas de fazer upload.Colar texto: os endereços são copiados para o campo, cada um em uma nova linha.Arquivo: adequado se a lista foi exportada da conta do vendedor ou armazenada em um documento de texto.Link: conveniente quando a lista fica em uma URL permanente e é atualizada regularmente. O verificador baixa a página, extrai os proxies dela e inicia a verificação imediatamente. Para quem acompanha fontes públicas, esta é a opção mais prática — você não precisa transferir os dados manualmente todas as vezes.

Há três modos, e cada um destina-se à sua tarefa. No fundo, a escolha é entre velocidade e pormenor.

O tempo limite é definido de 1 a 60 segundos, e o padrão é 10. Esse é o tempo que o verificador aguarda por uma resposta do proxy antes de marcá-lo como indisponível.

Se os tempos limite continuarem aparecendo para uma lista que obviamente deveria estar funcionando, comece aumentando este valor.

Uma avaliação é uma pontuação de0 a 5. Ele não está lá para dizer se um endereço está ativo, mas se você deve confiar nele para trabalho. A maioria dos verificadores para no status "funciona", embora dois endereços igualmente ativos possam diferir por meses de vida da conta. Somamos a pontuação por meio de um esquema ponderado de três partes: origem do IP, sua reputação emlistas negrase como ele realmente abre serviços populares. O resultado leva em conta a natureza do endereço, seu histórico e seu comportamento neste momento — portanto, a pontuação é objetiva.

O total é a soma de três números: a pontuação para o tipo de endereço, a pontuação para reputação e a pontuação para serviços. Reputação e serviços seguem o mesmo esquema: umperfeitoresultado traz todos2 pontos, e cada desvio subtrai0.2. Nenhuma dessas partes pode perder mais de dois pontos. Pode cair para zero, mas não fica negativa e não puxa os outros termos para baixo. Portanto, a pontuação sempre fica entre0 e 5, e as participações permanecem em equilíbrio:40%cada um vai para a reputação e para o trabalho real com plataformas, e o restante20%vai para a origem do IP.

No modo seletivo, a parte do serviço é contada apenas para as plataformas que você marcou, e a regra é a mesma: menos0.2para cada um fechado no seu conjunto. Se três serviços restarem na verificação, esta parte pode perder no máximo0,6 pontos, e a reputação começa a afetar mais a pontuação. Isso é útil quando você precisa de um número para o seu próprio cenário, não de uma pontuação média "para toda a internet".

Estes limiares são um guia, não uma lei: a decisão toma-se pela pontuação juntamente com os detalhes do relatório. O proveito principal está noutro lado. Pode ordenar a tabela pela classificação num segundo, e os endereços que vale a pena levar ficam logo no topo. Tudo o que esteja abaixo da sua fasquia pode voltar ao vendedor para substituição, num lote, sem rever cada endereço à mão.

Pegue dois proxies, ambos marcados "funciona" na tabela. O primeiro é um IP móvel que não está em nenhum banco de dados e por meio do qual todos os onze serviços abrem: pontuação5.0. O segundo é um endereço de servidor de um data center, encontrado em três listas negras e fechado em seis das onze plataformas: pontuação2.2. Formalmente, não há diferença, ambos sãovivo. Na prática, o primeiro durará meses, e o segundo será banido no primeiro cadastro. A classificação mostra exatamente essa diferença, portanto ordenar por ela economiza mais tempo do que qualquer filtro de status.

Em grandes volumes, isso é especialmente perceptível. Um filtro de status remove apenas alguns milharesmortoproxies da lista — em um pool comprado, geralmente há de dez a quarenta por cento deles, em umgrátisliste quase todos eles. Mas para metade dos restantes "vivo" aqueles cuja pontuação ficará abaixo3.0, e antes de começar a trabalhar você pode ver isso apenas pela avaliação. A pontuação média de um conjunto também ajuda a comparar provedores de forma honesta: não pelo texto no site, mas por um número mensurável no mesmo conjunto de plataformas.

A classificação captura um momento, por isso oscilações de uma verificação para outra são normais. Proxies móveis mudam o IP na rotação, e a próxima execução verifica um endereço de operadora diferente. Atualizamos regularmente olista negrabase de dados de repositórios antispam abertos, portanto um endereço pode sair de uma lista ou entrar em uma porque alguém o usou antes de você. A política da plataforma por faixas também muda: um serviço que abriu de manhã pode mostrar umcaptchaà noite. E com um tempo limite curto, endereços lentos são classificados como indisponíveis e perdem pontos em disponibilidade. Se as pontuações aumentarem perceptivelmente, aumente o tempo limite e verifique novamente.

Na API, a pontuação de cada endereço volta no campo sc, por isso a seleção por um limiar e a ordenação de um pool entregam-se facilmente a um script. A classificação é atribuída nos modos completo e seletivo. O modo rápido não a tem: esse modo verifica apenas a disponibilidade, mas uma lista grande passa muito mais depressa.

Um tipo de proxy responde a quem o IP realmente pertence: uma operadora móvel, um provedor residencial ou uma hospedagem em um data center. Velocidade, estabilidade e, acima de tudo, o grau de confiança com que os sites aceitam o tráfego decorrem disso. O tipo certo afeta tanto o custo quanto o risco de umbloquear, então, ao comprar, essa é a primeira coisa a decidir, não uma linha formal no plano.

O tráfego desses proxies passa pelas redes das operadoras móveis, a partir dos mesmos endereços que milhões de proprietários de smartphones. A operadora atribui um IP a muitos assinantes ao mesmo tempo e continua alterando-o. É por isso que os sites têm muita relutância embloquearendereços móveis: milhares de usuários reais seriam afetados. É também daí que vem a maior reputação entre todos os tipos.

Os proxies móveis escolhem-se onde estão em jogo contas: promoção em redes sociais, arbitragem de tráfego, contas de anúncios, registos, serviços com antifraude rigorosa. As desvantagens são o custo e a velocidade. Uma ligação móvel é mais lenta e menos estável do que uma com fios, e durante a rotação o endereço pode desaparecer durante uns segundos. Para parsing em massa isto é caro e simplesmente desnecessário.

Estes são IPs de conexões domésticas reais que provedores de internet comuns atribuíram aos seus assinantes. Para um site, esse visitante não é diferente de uma pessoa comum sentada em casa em uma determinada cidade. Proxies residenciais são uma ferramenta universal pararaspagem da web, verificação de anúncios, análise de resultados regionais, contornar restrições geográficas e qualquer tarefa que precise de um rastro "humano" e de uma ampla escolha de locais.

Pelo equilíbrio entre confiança e preço, esta é a opção ideal: mais barata do que a móvel e visivelmente mais fiável do que os proxies de servidor. A estabilidade de um endereço depende de quem está por trás da ligação doméstica. Por isso, um pool destes é especialmente útil de verificar antes do trabalho.

IP de plataformas de alojamento e de centros de dados. Escolhem-se pela latência mínima, um canal largo, um funcionamento estável sem quebras e um preço acessível. Quando precisa de muito tráfego e de muitos fluxos em paralelo, não há melhor opção. O parsing de grandes volumes, o acompanhamento de preços e de disponibilidade, a automatização, a conferência de dados em massa, os bots e as integrações de serviço funcionam na perfeição em proxies de servidor.

O ponto fraco é serem reconhecíveis. Os intervalos dos centros de dados são bem conhecidos, e os sites com proteção contra bots marcam de imediato este tráfego como não doméstico. O endereço não fica mau por isso; simplesmente não serve onde o serviço espera um utilizador de casa. Zero pontos na pontuação não significa «o proxy é mau», mas «não há bónus de confiança».

Uma lista negra é uma base de dados aberta de endereços IP detetados em atividade indesejada. Projetos antispam, empresas de alojamento, serviços de correio e investigadores de segurança mantêm estas bases, e servidores de correio, CDN, sistemas antifraude e proprietários de sites utilizam-nas. Se um endereço constar da base, qualquer serviço pode recusá-lo sem entrar nos detalhes.

Confrontamos cada IP com uma base local que se enche regularmente a partir de repositórios antispam abertos. Os endereços vão lá, na maior parte das vezes, por três razões:

Tenha em conta: na maior parte das vezes não tem nada a ver com isso. Dezenas de pessoas usam um proxy público ao mesmo tempo, e os endereços dos pools são revendidos e alugados de novo durante anos. Juntamente com um IP, recebe também o passado dele, incluindo as consequências do que outros fizeram antes de si.

Se o seu próprio IP caiu em uma lista negra, você terá que removê-lo por meio de delisting, separadamente em cada banco de dados, e antes disso precisa interromper a atividade que o colocou lá. Com um proxy comprado, é mais simples: é mais rápido pedir ao vendedor para substituir o endereço. Um provedor normal trocabloqueadoIPs sem um argumento, e os resultados da verificação tornam a conversa específica.

A maioria dos verificadores não tem esse recurso, embora na prática ele seja mais útil do que todos os outros. Um endereço pode estar ativo, com umlimparhistórico e o país certo — e aindainútilpara o trabalho, porque a plataforma de que você precisa já conhece este endereço e não permitirá sua entrada. Descobrimos isso com antecedência. Por meio de cada proxy, o verificador acessa onze serviços populares e mostra o resultado de cada um separadamente: se o serviço abriu, quanto tempo a resposta levou, qual código HTTP foi retornado e qualerroaparecia se fosse possível ler um.

Por predefinição estão marcadas as onze plataformas. Quando só lhe interessam duas ou três, desmarque as outras caixas nas definições avançadas: a execução fica mais curta e a pontuação reflete o seu próprio conjunto. Na tabela de resultados isto resume-se a um contador como «9 / 11», e um clique abre a lista com detalhes de cada plataforma.

Por cada serviço voltam três valores: se a página abriu, quanto tempo demorou a resposta e que código HTTP a plataforma devolveu. O código é o que mais diz: por ele se vê porque é que o endereço não serviu e o que fazer a seguir.

O tempo de resposta deve ler-se juntamente com o código. Se um serviço abriu em cinco segundos, formalmente está disponível, mas trabalhar através desse endereço na interface de uma conta de anúncios será penoso. Quando numa dezena de plataformas se vê onde a resposta chegou de imediato e onde mal passou, a qualidade real do canal torna-se evidente.

Os resultados da plataforma afetam a pontuação diretamente. Se todos os serviços verificados abrirem, o endereço recebe+2 pontos, e cada serviço fechado subtrai0.2, mas não mais do que2 pontosno total. Portanto, a disponibilidade do serviço corresponde a até40%da classificação — a mesma parcela que a reputação emlistas negras. Os serviços são verificados nos modos completo e seletivo. O modo rápido apenas informa se o próprio proxy está disponível. Na API, os resultados da plataforma vêm no campo s: para cada serviço, ele contém o código do serviço, um sinalizador de sucesso, o tempo de resposta e o status HTTP. É por isso que um filtro como "apenas endereços através dos quais o Instagram abre" é uma única linha.

A anonimidade mostra até que ponto um proxy esconde que o está a utilizar e se oculta o seu IP real. Um proxy pode passar o tráfego corretamente e, mesmo assim, dizer honestamente ao site nos cabeçalhos que é um intermediário — ou até escrever lá o seu próprio endereço. Normalmente há três níveis.

Um único nível de anonimato não é suficiente para confiar em um proxy. Um endereço que é formalmente elite pode estar listado em bancos de dados de spam e não conseguir abrir metade dos serviços, e então o anonimato não adianta nada. É por isso que o verificador não para no anonimato: ele identifica o IP de saída, descobre de onde veio o endereço, verifica-o em bancos de dados e tenta abrirao vivoserviços por meio dele. Se um proxy é adequado para o trabalho é determinado por esse conjunto como um todo, não por um único cabeçalho.

O protocolo decide qual linguagem o software fala com o proxy e o que pode ser enviado por ele. O verificadorfuncionacom HTTP, HTTPS e SOCKS5 — na prática, estas três opções cobrem quase tudo.

Uma regra simples: pegueHTTP/HTTPSpara sites e APIs, eSOCKS5para tráfego arbitrário de aplicações. Um endereço muitas vezes suporta ambos, mas nem sempre, longe disso, e os vendedores frequentemente indicam o protocolo de forma imprecisa. É por isso que verificamos HTTP e SOCKS5 independentemente: o relatório mostra imediatamente qual protocolo realmentefuncionano endereço, e você não terá que configurar o software com dados incorretos.

Um proxy com muita frequência "não funciona" exatamente por causa do protocolo. Se o programa listar o endereço como HTTP, mas aceitar apenasSOCKS5, a conexão não será estabelecida, embora o próprio proxy esteja totalmente funcional. Escreva o protocolo explicitamente, usando o prefixo socks5:// ou http://, e não haverá confusão.

Um proxy morto num parser ou num navegador antidetect confunde-se facilmente com uma avaria do próprio programa. As tarefas falham, as sessões caem, os registos enchem-se de erros pouco claros e pode passar meio dia à procura da causa no sítio errado. Verificar a lista demora segundos e exclui logo esta hipótese: sabe com certeza que os endereços estão bem e que o problema está noutro lado.

Este é o risco mais caro. Fazer login em uma conta uma vez a partir de um endereço com má reputação é suficiente para receber uma verificação de identidade, e muitas vezes umabloquear. Junto com a conta, você pode perder as contas de anúncios vinculadas e todo o histórico. A recuperação leva semanas e nem sempre é bem-sucedida. Uma verificação de blacklist e um teste de serviços mostram um endereço perigoso antes de você fazer login por meio dele.

O país na descrição e o país de saída real divergem o tempo todo. Se a tarefa estiver vinculada a uma região — resultados locais, preços locais, um serviço para um país — um endereço com a geolocalização errada é inútil. E isso é difícil de perceber enquanto você trabalha: tecnicamente tudofunciona, os dados coletados são simplesmente os dados errados.

Uma verificação regular de um pool adquirido é a única maneira de descobrir o que o provedor está realmente vendendo. Que parcela dos endereços está ativa, quantos deles estão emlistas negras, se IPs de servidor são vendidos como residenciais e se a velocidade corresponde ao que foi prometido. Quando você tem os resultados da verificação em mãos, substituir endereços problemáticos se torna um procedimento rotineiro, não uma discussão.

Se o pool estiver verificado e limpo, o próximo lançamento ocorrerá da mesma forma que o anterior. Com um pool não verificado, o resultado depende do acaso: um lançamento coletará tudo, e outro atingirá umcaptchaem metade dos endereços, e você não conseguirá mais saber o que mudou.

Não há um proxy que sirva para tudo. Um endereço ideal para parsing serve mal para uma conta de anúncios, e ao contrário. Parta da tarefa e de quanto a plataforma tem de confiar em si.

Os proxies gratuitos merecem uma palavra à parte. Servem para tarefas pontuais, estudo e experiências, e não servem para trabalho. Muita gente usa ao mesmo tempo endereços de listas públicas, por isso estão sobrecarregados, muitas vezes já constam de listas negras e vivem umas horas. Se a tarefa importa, os proxies privados pagam-se de imediato — nem que seja porque o pool não tem de ser reverificado de hora a hora.

Se um endereço não passou na verificação, oerroo texto quase sempre aponta para a causa. Aqui estão os casos mais comuns:

Se for o mesmoerrospercorreu toda a lista, a causa geralmente não é o proxy. Verifique o formato da linha, os dados de autorização e o protocolo. Se oerrossão diferentes e dispersos sem um padrão, a lista realmente é mista, e para endereços públicos este é um resultado comum.

Uma verificação pode ser integrada ao seu próprio produto: um painel de provedor, um parser, um bot do Telegram, um navegador antidetect, monitoramento de pool interno ou uma tarefa de CI que executa endereços em uma programação. A API expõe tudo o que a interface web mostra: status de cada protocolo, IP de saída, tempo de resposta, velocidade, geo, tipo de endereço,lista negraeserviçoresultados e a pontuação final.

O endereço base é https://checker.net. Integrações externas autorizam com uma chave no cabeçalho x-api-key, que você pode obter na conta. Os esquemas de solicitação e exemplos de resposta são descritos em detalhes na documentação.

Os resultados ficam disponíveis pelo link durante 30 minutos depois de criada a verificação. Tudo o que passe do limite de 30,000 não é aceite. O pedido mesmo assim conclui-se com sucesso, e o número de linhas descartadas volta no campo skippedCount. Acompanhe-o quando carrega listas grandes.

Todos os dias, os endereços que passaram na verificação são incluídos no arquivo aberto deproxies em funcionamento. Escolha uma data e receba a lista de proxies que estavam funcionando no momento da verificação — em um dia reúnem-se de alguns milhares a várias dezenas de milhares de endereços. O histórico fica guardado por meses e pode ser exportado no site e pela API.

Lembre-se de que o arquivo mostra o estado num momento concreto e não garante que os endereços estejam vivos agora. Os proxies públicos duram pouco e estão carregados por muitos utilizadores ao mesmo tempo, por isso, num dia, uma parte visível da lista deixa de responder. Antes de começar o trabalho, volte a passar a exportação pelo verificador: obtém um pool atualizado e pontuações recentes. Para tarefas pontuais, experiências e aprendizagem, chega. Para trabalho estável com contas e parsing, precisa de endereços privados móveis ou residenciais.

Os seus proxies só vão para o arquivo se o quiser. Para que isso não aconteça, antes de iniciar, marque no formulário «Não guardar os meus proxies na lista pública». Quem verifica endereços privados comprados deve mantê-lo sempre ativo.

Para verificar um proxy privado, é preciso passar o login e a palavra-passe, e tratamo-los em conformidade. Os dados de autorização servem só para a verificação: o verificador usa-os para se ligar ao proxy e enviar pedidos através dele. Não entram no arquivo nem nas listas abertas.

A caixa «Não salve meus proxies na lista pública» retira por completo os endereços verificados da publicação. Os resultados ficam disponíveis pelo link por um tempo limitado — 30 minutos a partir do início da verificação — e depois disso ficam indisponíveis. A verificação não exige cadastro, e a chave de API só é necessária para integrações externas.

A verificação online tem mais uma vantagem. As conexões com milhares de endereços são abertas pelos nossos servidores, não pelo seu canal. O seu próprio IP não participa das conexões em massa, por isso não chama a atenção do provedor e não corre o risco de cair nas mesmas listas negras listas contra as quais você verifica os proxies.