Проверка прокси

Прежде чем пускать прокси в дело, их нужно проверить: это правило одинаково для пакета приватных адресов за деньги и для бесплатного листа, скачанного с форума. Описание тарифа и реальное состояние адресов почти никогда не совпадают полностью: какие-то IP уже выключены, какие-то еле тянут и отдают пару килобайт в секунду, какие-то числятся в антиспам-базах и ловят капчу с первого запроса, а какие-то выходят в интернет вовсе не из той страны, за которую вы платили. Увидеть это можно только одним способом — прогнать список через онлайн-проверку прокси.

Checker.net — бесплатный чекер прокси, который работает прямо в браузере: без программ, без установки и без аккаунта. Список можно вставить в поле, приложить файлом или дать на него ссылку. Уже через несколько секунд по каждому адресу видно:

В один запуск помещается до 30 000 адресов: удобная массовая проверка прокси и проверка списка прокси без ограничений по числу запусков. Результаты не копятся до конца проверки, а поступают потоком, так что таблица растёт у вас на глазах.

Чекер прокси, он же proxy checker, валидатор или тестер прокси-листа, — это сервис, который сам подключается к каждому прокси-серверу, отправляет через него запросы и по ответам решает, пригоден ли адрес. Без такого инструмента пришлось бы по очереди прописывать каждый IP в настройках браузера и смотреть, откроется ли страница. Чекер делает то же самое для всего списка разом и выдаёт не «вроде работает», а таблицу с цифрами.

Инструменты этого класса сильно различаются тем, насколько глубоко они смотрят. Простейший чекер умеет сказать только одно: ответил адрес или промолчал. Для реальной работы этого недостаточно, потому что отвечающий прокси ещё не значит полезный. Он может числиться в десятке спам-баз. Может не пускать в ту соцсеть, ради которой его покупали. Может опознаваться сайтами как серверный там, где нужен домашний IP. Может тянуть с ответом по пятнадцать секунд там, где нормой считаются сотни миллисекунд. Поэтому мы измеряем не только факт доступности, но и качество: выясняем происхождение IP, смотрим на его репутацию, проверяем, как он ведёт себя на крупных платформах, и сводим всё это в единую оценку.

Проверять онлайн удобнее, чем программой для проверки прокси, и причин тут три:

После нажатия «Начать проверку» чекер читает список строка за строкой. В каждой он определяет формат, выделяет хост, порт, логин и пароль, пропускает мусор и повторяющиеся адреса. Затем все прокси проверяются параллельно: сначала протоколы, следом остальные параметры.

Чтобы проверить протокол, чекер открывает соединение через прокси и обращается к служебному ресурсу, который сообщает IP-адрес обратившегося клиента. Один такой запрос даёт сразу много: он подтверждает, что прокси жив, показывает время отклика и, что важнее всего, раскрывает выходной IP — тот адрес, который будут видеть сайты. HTTP/HTTPS и SOCKS5 тестируются раздельно. На одном и том же хосте и порту протоколы нередко ведут себя по-разному: в описании значится HTTP, а на деле адрес понимает только SOCKS, или ровно наоборот.

По выходному IP затем устанавливается, где и чей это адрес: страна, регион, город и тип — мобильный, резидентский или корпоративный.

Одновременно IP сверяется с локальной базой чёрных списков, которую мы регулярно пополняем из открытых антиспам-репозиториев.

В полном режиме добавляется самый ценный этап: через прокси идут обращения к одиннадцати популярным сервисам, и становится ясно, какие из них пускают этот адрес, а какие закрывают перед ним дверь.

В интерфейс результаты уходят сразу, как только готовы, а не одной порцией в самом конце. Даже на длинном списке вам не придётся смотреть на бегущую полоску: первые строки появляются через считанные секунды, и рабочие адреса можно забирать, пока чекер ещё занят остальными.

Главное, что нужно знать об адресе, — работает ли он. Если прокси не отозвался, чекер указывает, почему: соединение отклонено, время ожидания вышло, авторизация не прошла или сервер вернул ошибку. Разница здесь принципиальная. «Адрес мёртв» и «адрес жив, но в строке опечатка в пароле» — две совершенно разные истории, и по формулировке ошибки сразу понятно, выкидывать прокси или просто исправить свой список.

HTTP/HTTPS и SOCKS5 проверяются у каждого адреса по отдельности, и для каждого протокола выводится своё время отклика. Так видно, что прокси умеет на самом деле, а не по словам продавца. Это закрывает очень распространённую ошибку: исправный SOCKS-прокси объявляют нерабочим только потому, что к нему стучались как к HTTP.

Время отклика — это сколько проходит от отправки запроса через прокси до прихода ответа. Оно решает всё там, где важна реакция: в браузере, при автоматизации действий в интерфейсах, при парсинге в много потоков короткими запросами. Скорость канала мы измеряем отдельно. Она важна, когда через прокси прокачиваются большие объёмы: выгрузки, медиафайлы, видео. Путать эти две цифры не стоит — адрес может отвечать мгновенно и при этом отдавать данные со скоростью сотни килобит.

Чекер устанавливает, откуда взят адрес: из сети мобильного оператора, из домашнего подключения или из дата-центра. Насколько сайты доверяют трафику, во многом определяется именно этим, поэтому тип IP входит в число трёх составляющих рейтинга. Подробности — ниже, в разделе про виды прокси.

IP сверяется с базами, в которые заносят адреса, засветившиеся в спаме, атаках на сайты и мошенничестве.

Достаточно одного попадания, чтобы понять: репутация у адреса подмочена, и часть сервисов встретит его капчей или отказом.

Самая прикладная часть отчёта. Через прокси чекер открывает одиннадцать крупных платформ и по каждой сообщает, получилось ли, сколько это заняло и какой HTTP-код пришёл в ответ. Адрес, живой по всем техническим признакам, запросто может оказаться закрытым именно на том сервисе, который вам нужен, — и узнать об этом здесь намного приятнее, чем по письму о блокировке аккаунта.

Рейтинг от 0 до 5 объединяет три вещи: тип IP, репутацию по чёрным спискам и результаты по сервисам. С ним не нужно вчитываться в каждую строку таблицы — достаточно отсортировать список и забрать адреса сверху.

Чекер понимает три варианта записи прокси и не требует для этого никаких настроек:

Хостом может быть как IP-адрес, так и доменное имя: немало поставщиков выдают прокси именно в виде домена с портом. Мешать форматы в одном списке можно — каждая строка обрабатывается сама по себе.

Способов загрузки тоже три. Вставка текста: адреса копируются в поле, каждый с новой строки. Файл: подходит, если лист выгружен из кабинета продавца или хранится в текстовом документе. Ссылка: удобна, когда список лежит по постоянному URL и регулярно обновляется. Чекер скачает страницу, выберет из неё прокси и сразу начнёт проверку. Для тех, кто следит за публичными источниками, это самый практичный вариант — не приходится каждый раз вручную переносить данные.

Режимов три, и каждый рассчитан на свою задачу. По сути выбирать приходится между скоростью и подробностью.

Таймаут настраивается в пределах от 1 до 60 секунд, по умолчанию стоит 10. Столько чекер ждёт ответа от прокси, прежде чем записать его в недоступные.

Если по списку, который заведомо должен быть рабочим, сыплются таймауты, начните с того, что увеличьте это значение.

Рейтинг — это балл от 0 до 5. Он нужен не для того, чтобы узнать, жив ли адрес, а чтобы понять, стоит ли доверять ему работу. Большинство чекеров останавливаются на статусе «работает», хотя два одинаково живых адреса могут отличаться на месяцы жизни аккаунта. Мы складываем оценку по взвешенной схеме из трёх частей: происхождение IP, его репутация в чёрных списках и то, как он реально открывает популярные сервисы. В результате учитывается и природа адреса, и его прошлое, и его поведение прямо сейчас — поэтому оценка получается объективной.

Итог — это сумма трёх чисел: балла за тип адреса, балла за репутацию и балла за сервисы. Репутация и сервисы считаются по одной схеме: безупречный результат приносит все 2 балла, а каждое отклонение отнимает 0,2. Больше двух баллов ни одна из этих частей потерять не может. Она способна опуститься до нуля, но в минус не уходит и остальные слагаемые не тянет вниз. Так оценка всегда остаётся между 0 и 5, а доли частей сохраняют баланс: по 40% приходится на репутацию и на фактическую работу с платформами, оставшиеся 20% — на происхождение IP.

В выборочном режиме сервисная часть считается только по отмеченным вами платформам, а правило то же: минус 0,2 за каждую закрытую из вашего набора. Если в проверке оставлено три сервиса, эта часть может потерять максимум 0,6 балла, и сильнее на оценку начинает влиять репутация. Это полезно, когда нужна цифра под свой сценарий, а не усреднённая оценка «для всего интернета».

Эти пороги — ориентир, а не закон: решение принимается по оценке вместе с подробностями отчёта. Главная польза в другом. Отсортировать таблицу по рейтингу можно за секунду, и наверху сразу окажутся адреса, которые стоит брать. Всё, что ниже вашей планки, можно пачкой вернуть продавцу на замену, не разбирая каждый адрес вручную.

Возьмём два прокси, у обоих в таблице «работает». Первый — мобильный IP, которого нет ни в одной базе и через который открываются все одиннадцать сервисов: оценка 5,0. Второй — серверный адрес из дата-центра, найденный в трёх чёрных списках и закрытый на шести платформах из одиннадцати: оценка 2,2. Формально разницы нет, оба живые. На деле первый прослужит месяцы, а второй получит бан на первой же регистрации. Рейтинг показывает как раз эту разницу, и поэтому сортировка по нему экономит больше времени, чем любой фильтр по статусу.

На больших объёмах это заметно особенно. Фильтр по статусу уберёт из списка на несколько тысяч адресов мёртвые прокси — в купленном пуле их обычно от десяти до сорока процентов, в бесплатном листе почти все. Но у половины оставшихся «живых» оценка окажется ниже 3,0, и до начала работы это можно увидеть только по рейтингу. Средняя оценка пула помогает ещё и честно сравнить поставщиков: не по тексту на сайте, а по одной и той же измеримой цифре на одном и том же наборе платформ.

Рейтинг фиксирует момент, поэтому колебания от проверки к проверке — нормальное явление. Мобильный прокси при ротации меняет IP, и следующий прогон проверяет уже другой адрес оператора. Базу чёрных списков мы регулярно обновляем из открытых антиспам-репозиториев, так что адрес может как выйти из списка, так и попасть в него из-за того, что пользовался им до вас. Политика платформ по диапазонам тоже меняется: сервис, который утром открывался, вечером может показать капчу. И наконец, при коротком таймауте медленные адреса не укладываются во время и теряют баллы за доступность. Если оценки заметно скачут, увеличьте таймаут и проверьте ещё раз.

В API оценка каждого адреса возвращается в поле sc, поэтому отбор по порогу и сортировку пула легко доверить скрипту. Рейтинг выставляется в полном и выборочном режимах. В быстром режиме его нет: этот режим проверяет только доступность, зато большой список он проходит гораздо быстрее.

Вид прокси — это ответ на вопрос, кому на самом деле принадлежит IP: сотовому оператору, домашнему провайдеру или хостингу в дата-центре. Отсюда вытекают скорость, стабильность и, прежде всего, степень доверия, с которой сайты принимают трафик. Правильно выбранный вид влияет и на расходы, и на риск блокировки, поэтому при покупке это первое, что нужно решить, а не формальная графа в тарифе.

Трафик таких прокси идёт через сети сотовых операторов, то есть с тех же адресов, что и у миллионов владельцев смартфонов. Оператор раздаёт один IP сразу многим абонентам и постоянно его меняет. Поэтому сайты очень неохотно блокируют мобильные адреса: под удар попали бы тысячи настоящих пользователей. Отсюда и самая высокая репутация среди всех видов.

Мобильные прокси выбирают там, где на кону аккаунты: продвижение в соцсетях, арбитраж трафика, рекламные кабинеты, регистрации, сервисы с жёстким антифродом. Минусы — стоимость и скорость. Мобильная связь медленнее и нестабильнее проводной, а во время ротации адрес может на несколько секунд пропасть. Для массового парсинга это дорого и попросту не нужно.

Это IP настоящих домашних подключений, которые выдали абонентам обычные интернет-провайдеры. Для сайта такой посетитель ничем не отличается от обычного человека, который сидит дома в конкретном городе. Резидентские прокси — универсальный инструмент для web scraping, проверки рекламы, анализа выдачи по регионам, обхода гео-ограничений и любых задач, где нужны «человеческий» след и большой выбор локаций.

По балансу доверия и цены это оптимальный вариант: дешевле мобильных и заметно надёжнее серверных. Насколько стабилен конкретный адрес, зависит от того, чьё домашнее подключение за ним стоит. Поэтому такой пул особенно полезно проверять перед работой.

IP хостинговых площадок и дата-центров. За них выбирают минимальную задержку, толстый канал, ровную работу без обрывов и доступную стоимость. Когда нужно много трафика и много параллельных потоков, лучше варианта нет. Парсинг больших объёмов, отслеживание цен и доступности, автоматизация, массовая сверка данных, боты и служебные интеграции прекрасно работают на серверных прокси.

Их уязвимое место — узнаваемость. Диапазоны дата-центров хорошо известны, и сайты с защитой от ботов сразу определяют такой трафик как небытовой. Плохим адрес от этого не становится, он просто не подходит там, где сервис ждёт домашнего пользователя. Ноль баллов в оценке означает не «прокси плохой», а «бонуса за доверие нет».

Чёрный список — это открытая база IP-адресов, замеченных в нежелательной активности. Такие базы ведут антиспам-проекты, хостинг-компании, почтовые сервисы и исследователи безопасности, а пользуются ими почтовые серверы, CDN, антифрод-системы и владельцы сайтов. Если адрес внесён в базу, любой сервис вправе не пустить его, не разбираясь в подробностях.

Каждый IP мы сверяем с локальной базой, которая регулярно пополняется из открытых антиспам-репозиториев. Чаще всего адреса попадают туда по трём причинам:

Имейте в виду: чаще всего вы здесь ни при чём. Публичным прокси одновременно пользуются десятки человек, а адреса из пулов годами перепродают и сдают снова. Вместе с IP вы получаете и его прошлое, в том числе последствия того, что делали до вас другие.

Если в чёрный список попал ваш собственный IP, выводить его придётся через делистинг, отдельно в каждой базе, а перед этим нужно остановить ту активность, из-за которой он туда попал. С купленным прокси всё проще: быстрее попросить продавца заменить адрес. Нормальный поставщик меняет заблокированные IP без споров, а результаты проверки делают разговор конкретным.

У большинства чекеров такой функции нет, хотя на практике она полезнее всех остальных. Адрес бывает живым, с безупречной историей и верной страной — и при этом бесполезным для дела, потому что нужная платформа уже знает этот адрес и не пускает его. Мы выясняем это заранее. Через каждый прокси чекер обращается к одиннадцати популярным сервисам и выводит результат по каждому отдельно: открылся ли сервис, сколько времени занял ответ, какой HTTP-код пришёл и какая ошибка возникла, если её удалось получить.

Изначально отмечены все одиннадцать площадок. Когда интересуют только две-три, снимите остальные галочки в расширенных настройках: прогон станет короче, а оценка будет отражать именно ваш набор. В таблице результат сворачивается в счётчик вроде «9 / 11», а по клику открывается список с подробностями по каждой платформе.

По каждому сервису приходят три значения: удалось ли открыть страницу, сколько занял ответ и какой HTTP-код вернула платформа. Больше всего говорит код: по нему видно, почему адрес не подошёл и что делать дальше.

Время ответа нужно смотреть вместе с кодом. Если сервис открылся за пять секунд, формально он доступен, но работать через такой адрес в интерфейсе рекламного кабинета будет мучительно. Когда на десятке платформ видно, где ответ пришёл мгновенно, а где еле дошёл, реальное качество канала становится очевидным.

Результаты по платформам прямо влияют на оценку. Если открываются все проверяемые сервисы, адрес получает +2 балла, а каждый закрытый сервис отнимает 0,2, но не больше 2 баллов в сумме. Получается, что на доступность сервисов приходится до 40% рейтинга — столько же, сколько на репутацию в чёрных списках. Сервисы проверяются в полном и выборочном режимах. Быстрый режим отвечает только на вопрос, доступен ли сам прокси. В API результаты по платформам приходят в поле s: для каждого сервиса там есть его код, признак успеха, время ответа и HTTP-статус. Поэтому отбор вроде «только адреса, через которые открывается Instagram» пишется одной строкой.

Анонимность показывает, насколько прокси скрывает, что вы им пользуетесь, и прячет ли ваш реальный IP. Бывает, что прокси исправно пропускает трафик, но в заголовках честно признаётся сайту, что он посредник, — а то и вписывает туда ваш собственный адрес. Обычно выделяют три уровня.

Одного уровня анонимности мало, чтобы доверять прокси. Адрес, формально элитный, может числиться в спам-базах и не открывать половину сервисов, и тогда анонимность ничего не даёт. Вот почему чекер не ограничивается анонимностью: он узнаёт IP на выходе, выясняет, откуда адрес взялся, сверяет его с базами и пробует открыть через него живые сервисы. Пригодность прокси определяет вся эта картина вместе, а не один заголовок.

От протокола зависит, на каком языке софт разговаривает с прокси и что вообще можно через него передать. Чекер работает с HTTP, HTTPS и SOCKS5 — на практике этих трёх вариантов хватает почти всегда.

Простое правило: для сайтов и API берите HTTP/HTTPS, для произвольного трафика из приложений — SOCKS5. Нередко один адрес поддерживает оба варианта, но далеко не всегда, а продавцы часто указывают протокол неточно. Поэтому HTTP и SOCKS5 мы проверяем независимо: в отчёте сразу видно, какой протокол на адресе реально работает, и вам не придётся настраивать софт по ошибочным данным.

Прокси очень часто «не работает» именно из-за протокола. Если в программе адрес указан как HTTP, а принимает он только SOCKS5, соединение не установится, хотя сам прокси полностью исправен. Прописывайте протокол явно, через префикс socks5:// или http://, — тогда путаницы не будет.

Мёртвый прокси в парсере или антидетект-браузере легко принять за поломку самой программы. Задачи падают, сессии обрываются, в логах куча непонятных ошибок, и можно полдня искать причину совсем не там. Проверка списка занимает секунды и сразу исключает эту версию: вы точно знаете, что адреса в порядке и проблема в чём-то другом.

Это самый дорогой риск. Достаточно один раз зайти в аккаунт с адреса с плохой репутацией, чтобы получить запрос на подтверждение личности, а нередко и блокировку. Вместе с аккаунтом можно лишиться привязанных рекламных кабинетов и всей истории. Восстановление тянется неделями и удаётся не всегда. Проверка по чёрным спискам и тест сервисов показывают опасный адрес до того, как вы через него зайдёте.

Страна в описании и фактическая страна выхода расходятся постоянно. Если задача привязана к региону — местная выдача, локальные цены, сервис для одной страны, — адрес с неверным гео бесполезен. Причём в процессе работы это трудно заметить: технически всё работает, просто данные собираются не те.

Регулярная проверка купленного пула — единственный способ узнать, что на самом деле продаёт поставщик. Какая часть адресов жива, сколько из них в чёрных списках, не выдают ли серверные IP за резидентские, соответствует ли скорость обещанной. Когда на руках есть результаты проверки, замена плохих адресов становится обычной процедурой, а не спором.

Если пул проверен и чист, следующий запуск пройдёт так же, как предыдущий. С непроверенным пулом результат зависит от случая: один запуск соберёт всё, а другой упрётся в капчу на половине адресов, и разобраться, что изменилось, уже не получится.

Прокси, которые подходят для всего, не бывает. Адрес, идеальный для парсинга, плохо подойдёт для рекламного кабинета, и наоборот. Отталкивайтесь от задачи и от того, насколько сильно платформа должна вам доверять.

Про бесплатные прокси стоит сказать отдельно. Для разовых задач, учёбы и экспериментов они годятся, для работы — нет. Адресами из публичных списков одновременно пользуются многие, поэтому они перегружены, часто уже числятся в чёрных списках и живут считаные часы. Если задача важна, приватные прокси окупаются сразу — хотя бы потому, что пул не надо перепроверять каждый час.

Если адрес не прошёл проверку, текст ошибки почти всегда указывает на причину. Вот самые частые варианты:

Если по всему списку идут одни и те же ошибки, дело обычно не в прокси. Проверьте формат строк, данные авторизации и протокол. Если же ошибки разные и разбросаны без системы, список действительно разнородный, и для публичных адресов это обычный результат.

Проверку можно встроить в собственный продукт: в панель провайдера, парсер, Telegram-бота, антидетект-браузер, внутренний мониторинг пула или задачу в CI, которая по расписанию прогоняет адреса. Через API доступно всё, что показывает веб-интерфейс: статус по каждому протоколу, выходной IP, отклик, скорость, гео, тип адреса, результаты по чёрным спискам и сервисам, итоговая оценка.

Базовый адрес — https://checker.net. Внешние интеграции авторизуются ключом в заголовке x-api-key, получить его можно в личном кабинете. Схемы запросов и примеры ответов подробно описаны в документации.

Результаты доступны по ссылке 30 минут после создания проверки. Всё, что выходит за лимит 30 000, не принимается. Запрос при этом отработает успешно, а число отброшенных строк придёт в поле skippedCount. Следите за ним, когда загружаете большие списки.

Каждый день адреса, которые прошли проверку, попадают в открытый архив рабочих прокси. Выберите дату и получите список прокси, работавших на момент проверки, — за сутки набирается от нескольких тысяч до нескольких десятков тысяч адресов. История хранится за месяцы, выгружать её можно и на сайте, и через API.

Помните, что архив показывает состояние на определённый момент и не гарантирует, что адреса живы сейчас. Публичные прокси служат недолго и нагружены многими пользователями сразу, так что за сутки заметная часть списка перестаёт отвечать. Перед работой прогоните выгрузку через чекер ещё раз: получите актуальный пул и свежие оценки. Для разовых задач, экспериментов и обучения этого хватит. Для стабильной работы с аккаунтами и парсинга нужны приватные мобильные или резидентские адреса.

Ваши прокси оказываются в архиве, только если вы сами этого хотите. Чтобы этого не произошло, перед запуском отметьте на форме «Не сохранять мои прокси в публичный список». Тем, кто проверяет купленные приватные адреса, стоит всегда держать его включённым.

Чтобы проверить приватный прокси, нужно передать логин и пароль, и мы обращаемся с ними соответственно. Данные авторизации нужны только для проверки: с их помощью чекер подключается к прокси и отправляет через него запросы. В архив и открытые списки они не попадают.

Флажок «Не сохранять мои прокси в публичный список» полностью убирает проверенные адреса из публикации. Результаты открываются по ссылке в течение ограниченного времени — 30 минут с момента запуска, — после чего становятся недоступны. Для проверки не нужна регистрация, а API-ключ требуется только внешним интеграциям.

У онлайн-проверки есть ещё одно преимущество. Соединения с тысячами адресов устанавливают наши серверы, а не ваш канал. Ваш собственный IP в массовых подключениях не участвует, поэтому не привлекает внимания провайдера и не рискует оказаться в тех самых чёрных списках, по которым вы проверяете прокси.