Прокси проверка

Преди да използвате проксита, трябва да ги проверите: това правило важи еднакво за платен пакет частни адреси и за безплатен списък, изтеглен от форум. Описанието на плана и реалното състояние на адресите почти никога не съвпадат напълно: някои IP адреси вече са изключени, някои едва се справят и предават по няколко килобайта в секунда, някои са включени в антиспам бази данни и получават captcha още при първата заявка, а някои излизат в интернет от държава, за която изобщо не сте платили. Единственият начин да видите това е да пуснете списъка през онлайн проверка на проксита.

Checker.net е безплатна проверка на проксита, която работи директно в браузъра: без програми, без инсталация и без акаунт. Можете да поставите списъка в полето, да го прикачите като файл или да дадете връзка към него. В рамките на няколко секунди можете да видите за всеки адрес:

Едно изпълнение поддържа до 30 000 адреса: удобна масова проверка на проксита и проверка на списък с проксита без ограничение в броя на изпълненията. Резултатите не се натрупват до приключване на проверката; те пристигат като поток, така че таблицата расте пред очите ви.

Чекерът на прокси, наричан още валидатор или тестер на прокси списък, е услуга, която сама се свързва с всеки прокси сървър, изпраща заявки през него и по отговорите решава дали адресът е годен. Без такъв инструмент би трябвало да въвеждате всяко IP едно по едно в настройките на браузъра и да гледате дали страницата се отваря. Чекерът прави същото за целия списък наведнъж и връща не мъглявото „сякаш работи“, а таблица с числа.

Инструментите от този клас се различават силно по това колко дълбоко гледат. Най-простият чекер умее да каже само едно: отговорил ли е адресът или е мълчал. За реална работа това не стига, защото отговарящо прокси още не значи полезно. То може да фигурира в десетина спам бази. Може да не пуска в социалната мрежа, заради която са го купили. Може да се разпознава от сайтовете като сървърно там, където трябва домашен IP. Може да се бави с отговора петнадесет секунди там, където за норма се смятат стотици милисекунди. Затова измерваме не само факта на достъпност, а и качеството: изясняваме произхода на IP, гледаме репутацията му, проверяваме как се държи на големите платформи и свеждаме всичко това в единна оценка.

Онлайн проверката е по-удобна от програма за проверка на проксита и има три причини:

След натискане на „Стартиране на проверката“ чекерът чете списъка ред по ред. Във всеки ред разпознава формата, извлича host, порт, логин и парола и пропуска боклука и повтарящите се адреси. След това всички проксита се проверяват успоредно: първо протоколите, после останалите параметри.

За да провери даден протокол, проверяващият отваря връзка през проксито и извиква ресурс на услуга, който отчита IP адреса на клиента, достигнал до него. Една такава заявка дава много наведнъж: потвърждава, че проксито работи, показва времето за отговор и, най-важното, разкрива изходния IP — адреса, който сайтовете ще виждат.HTTP/HTTPS и SOCKS5се тестват отделно. На един и същ хост и порт протоколите често се държат различно: описанието казва HTTP, но адресът всъщност поддържа само SOCKS, или обратното.

След това изходният IP адрес се използва, за да се определи къде се намира адресът и на кого принадлежи: държава, регион, град и тип — мобилен, жилищен или корпоративен.

В същото време IP адресът се проверява спрямо локална база данни с черен списък, която редовно актуализираме от отворени антиспам хранилища.

В пълен режим се добавя най-ценната стъпка: заявките минават през проксито към единадесет популярни услуги и става ясно кои от тях допускат този адрес и кои затварят вратата пред него.

Резултатите се изпращат към интерфейса веднага щом са готови, а не наведнъж в самия край. Дори при дълъг списък не е нужно да следите движеща се лента за напредъка: първите редове се появяват в рамките на секунди, иработещи адресиможе да бъде взето, докато проверяващият все още е зает с останалото.

Основното нещо, което трябва да знаете за даден адрес, е дали тойработи. Ако проксито не отговори, проверката посочва защо: връзката е отказана, изчакването е изтекло, упълномощаването е неуспешно или сървърът върнагрешка. Разликата тук е фундаментална. „Адресът емъртъв" и "адресът е активен, но има печатна грешка в паролата" са две напълно различни истории, итекст на грешкатаведнага показва дали да се откажете от проксито, или просто да поправите списъка си.

HTTP/HTTPS и SOCKS5се проверяват за всеки адрес поотделно, а всеки протокол получава собствено време за отговор. Това показва какво всъщност може да направи проксито, а не какво казва продавачът. Това затваря една много често срещанагрешка: работещ SOCKS прокси се обявява за неработещ само защото към него е осъществена връзка като HTTP.

Времето за отклик е колко минава от изпращането на заявка през прокси до идването на отговора. То решава всичко там, където е важна реакцията: в браузъра, при автоматизация на действия в интерфейси и при парсване в много потоци с кратки заявки. Скоростта на канала измерваме отделно. Тя е важна, когато през прокси се прокарват големи обеми: експорти, медийни файлове, видео. Тези две числа не бива да се бъркат — адресът може да отговаря мигновено и при това да отдава данни със скорост от стотици килобита.

Чекерът установява откъде е взет адресът: от мрежа на мобилен оператор, от домашна връзка или от център за данни. Доколко сайтовете се доверяват на трафика, до голяма степен се решава именно от това, затова типът IP е една от трите съставни части на рейтинга. Подробностите са по-долу, в раздела за видовете прокси.

IP се сверява с бази, в които се вписват адреси, засветили се в спам, атаки срещу сайтове и измами.

Достатъчно е едно попадение, за да стане ясно: репутацията на адреса е накърнена и част от услугите ще го посрещнат с captcha или отказ.

Най-практичната част от отчета. Чрез проксито проверяващият отваря единадесет основни платформи и за всяка съобщава дали е проработила, колко време е отнело и какъв HTTP код е върнат. Адрес, който еактивенпо всички технически признаци може лесно да бъде блокирано в точно услугата, която ви е нужна — а да разберете това тук е много по-приятно, отколкото от имейл за блокиран акаунт.

Рейтингътот 0 до 5комбинира три неща: тип IP, репутация в черни списъци и резултати от услуги. С него не е нужно да четете всеки ред от таблицата — достатъчно е да сортирате списъка и да вземете адресите отгоре.

Чекерът разбира три начина за запис на прокси и не изисква за това никакви настройки:

Хост може да бъде както IP адрес, така и домейн: немалко доставчици издават прокси именно като домейн с порт. Форматите може да се смесват в един списък — всеки ред се обработва сам.

Има и три начина за качване.Поставяне на текст: адресите се копират в полето, всеки на нов ред.Файл: подходящо, ако списъкът е експортиран от акаунта на продавача или е съхранен в текстов документ.Връзка: удобно е, когато списъкът се намира на постоянен URL и се актуализира редовно. Проверяващият инструмент изтегля страницата, извлича прокситата от нея и започва проверката веднага. За тези, които следят публични източници, това е най-практичната опция — не се налага всеки път да прехвърляте данните на ръка.

Режимите са три и всеки е за своята задача. По същество се избира между скорост и подробност.

Времето за изчакване се задава от 1 до 60 секунди, а стойността по подразбиране е 10. Това е времето, което проверката изчаква за отговор от проксито, преди да го маркира като недостъпно.

Ако за списък, който очевидно би трябвало да работи, продължават да се появяват изчаквания, започнете с увеличаване на тази стойност.

Оценката е резултат от0 до 5. Той не е там, за да ви каже дали даден адрес е активен, а дали трябва да му поверите работа. Повечето инструменти за проверка спират до статуса "работи", въпреки че два еднакво активни адреса могат да се различават с месеци по възраст на акаунта. Сумираме резултата чрез претеглена схема от три части: произход на IP, репутацията му вчерни списъции как всъщност отваря популярни услуги. Резултатът отчита естеството на адреса, неговото минало и поведението му в момента — така оценката е обективна.

Общият резултат е сборът от три числа: оценката за типа адрес, оценката за репутацията и оценката за услугите. Репутацията и услугите следват една и съща схема: еднаперфектнорезултатът връща всички2 точки, и всяко отклонение отнема0.2. Нито една от тези части не може да загуби повече от две точки. Тя може да падне до нула, но не става отрицателна и не понижава другите членове. Следователно резултатът винаги остава между0 и 5, а дяловете остават балансирани:40%всеки отива за репутация и за реална работа с платформи, а останалите20%отива към IP източника.

В селективен режим сервизната част се отчита само за платформите, които сте маркирали, а правилото е същото: минус0.2за всяка затворена такава във вашия набор. Ако в проверката са останали три услуги, тази част може да загуби най-много0,6 точки, а репутацията започва да влияе повече на резултата. Това е полезно, когато ви е нужна стойност за вашия собствен сценарий, а не осреднен резултат „за целия интернет“.

Тези прагове са ориентир, а не закон: решението се взима по оценката заедно с подробностите от отчета. Главната полза е другаде. Таблицата може да се сортира по рейтинг за секунда и отгоре веднага ще са адресите, които си струва да се вземат. Всичко под вашата летва може накуп да се върне на продавача за смяна, без да разглеждате всеки адрес на ръка.

Вземете две проксита, и двете маркирани "работи" в таблицата. Първият е мобилен IP адрес, който не е в никоя база данни и чрез който се отварят всичките единадесет услуги: резултат5.0. Вторият е сървърен адрес от център за данни, намерен в три черни списъка и затворен на шест от единадесетте платформи: резултат2.2. Формално няма разлика, и двете саактивен. На практика първият ще издържи месеци, а вторият ще получи бан още при първата регистрация. Рейтингът показва точно тази разлика, така че сортирането по него спестява повече време от който и да е филтър по статус.

При големи обеми това е особено забележимо. Филтърът за статус премахва само няколко хилядимъртъвпроксита от списъка — в закупен пул те обикновено са от десет до четиридесет процента, вбезплатноизбройте почти всички от тях. Но за половината от останалите "активен" след като резултатът бъде под3.0, а преди да започнете работа, можете да видите това само по рейтинга. Средната оценка на даден пул също помага да сравнявате доставчиците честно: не по текста в сайта, а по едно измеримо число за един и същ набор от платформи.

Рейтингът улавя моментна картина, така че колебанията от проверка до проверка са нормални. Мобилните проксита сменят IP при ротация, а следващото изпълнение проверява различен адрес на оператор. Редовно актуализираме theчерен списъкбаза данни от отворени антиспам хранилища, така че даден адрес може да излезе от списък или да попадне в такъв, защото някой го е използвал преди вас. Политиката на платформите по диапазони също се променя: услуга, която се е отваряла сутринта, може да покажеcaptchaвечерта. А при кратък таймаут бавните адреси се отбелязват като недостъпни и губят точки за наличност. Ако резултатите скочат забележимо, увеличете таймаута и проверете отново.

В API оценката на всеки адрес се връща в полето sc, затова подборът по праг и сортирането на пула лесно се поверяват на скрипт. Рейтингът се поставя в пълен и избирателен режим. В бързия режим го няма: този режим проверява само достъпността, но голям списък минава много по-бързо.

Типът прокси отговаря на въпроса на кого всъщност принадлежи IP адресът: на мобилен оператор, домашен доставчик или хостинг в център за данни. От това произтичат скоростта, стабилността и преди всичко степента на доверие, с която сайтовете приемат трафика. Правилният тип влияе както на цената, така и на риска от aблок, така че при покупка това е първото нещо, което трябва да се реши, а не формален ред в плана.

Трафикът на тези проксита преминава през мрежите на мобилни оператори, от същите адреси като милиони собственици на смартфони. Операторът предоставя един IP адрес на много абонати едновременно и постоянно го променя. Ето защо сайтовете са много неохотни даблокмобилни адреси: хиляди реални потребители биха били засегнати. Оттук идва и най-високата репутация сред всички типове.

Мобилните прокси се избират там, където на карта са акаунтите: промотиране в социални мрежи, арбитраж на трафик, рекламни профили, регистрации, услуги със строг антифрод. Минусите са цената и скоростта. Мобилната връзка е по-бавна и по-нестабилна от кабелната, а по време на ротация адресът може за няколко секунди да изчезне. За масово парсване това е скъпо и просто ненужно.

Това са IP адреси на реални домашни връзки, които обикновени интернет доставчици са предоставили на своите абонати. За даден сайт такъв посетител не се различава от обикновен човек, който седи у дома в конкретен град. Резидентните проксита са универсален инструмент зауеб скрейпинг, проверка на реклами, анализ на регионални резултати, заобикаляне на геоограничения и всяка задача, която изисква „човешка“ следа и широк избор от локации.

По баланса на доверие и цена това е оптималният вариант: по-евтин от мобилните и забележимо по-надежден от сървърните. Колко стабилен е конкретен адрес, зависи от това чия домашна връзка стои зад него. Затова такъв пул е особено полезно да се провери преди работа.

IP на хостинг платформи и центрове за данни. Избират се заради минимално забавяне, дебел канал, равномерна работа без прекъсвания и достъпна цена. Когато трябва много трафик и много успоредни потоци, по-добър вариант няма. Парсване на големи обеми, следене на цени и наличности, автоматизация, масова сверка на данни, ботове и служебни интеграции работят отлично на сървърни прокси.

Слабото им място е разпознаваемостта. Диапазоните на центровете за данни са добре известни и сайтовете със защита от ботове веднага определят такъв трафик като небитов. Адресът от това не става лош, просто не става там, където услугата чака домашен потребител. Нула точки в оценката не означава „проксито е лошо“, а „бонус за доверие няма“.

Черният списък е отворена база с IP адреси, забелязани в нежелана активност. Такива бази поддържат антиспам проекти, хостинг компании, пощенски услуги и изследователи по сигурност, а ползват ги пощенски сървъри, CDN, антифрод системи и собственици на сайтове. Ако адресът е в базата, всяка услуга може да го откаже, без да се вглежда в подробностите.

Всеки IP сверяваме с локална база, която редовно се попълва от отворени антиспам хранилища. Най-често адресите попадат там по три причини:

Имайте предвид: най-често вие нямате нищо общо. Публично прокси ползват едновременно десетки души, а адресите от пулове с години се препродават и се дават отново под наем. Заедно с IP получавате и миналото му, включително последиците от това, което преди вас са правили други.

Ако собственият ви IP е попаднал в черен списък, ще трябва да го извадите чрез премахване от списъка, поотделно във всяка база данни, а преди това трябва да спрете дейността, която го е вкарала там. Със закупен прокси е по-просто: по-бързо е да поискате от продавача да замени адреса. Нормален доставчик сменяблокиранIP адреси без аргумент, а резултатите от проверката правят разговора конкретен.

Повечето инструменти за проверка нямат тази функция, въпреки че на практика тя е по-полезна от всички останали. Един адрес може да е активен, счистистория и правилната държава — и все пакбезполезенза работата, защото платформата, която ви трябва, вече познава този адрес и няма да го допусне. Ние установяваме това предварително. През всяко прокси проверяващият извиква единадесет популярни услуги и показва резултата за всяка поотделно: дали услугата се е отворила, колко време е отнел отговорът, кой HTTP код се е върнал и койгрешкасе появяваше, ако такъв можеше да бъде прочетен.

Първоначално са отметнати и единадесетте платформи. Когато ви интересуват само две-три, махнете останалите отметки в разширените настройки: пускането става по-кратко, а оценката отразява точно вашия набор. В таблицата резултатът се свива в брояч от рода на „9 / 11“, а с клик се отваря списък с подробности за всяка платформа.

За всяка услуга идват три стойности: успяло ли е да се отвори страницата, колко е отнел отговорът и какъв HTTP код е върнала платформата. Най-много говори кодът: по него се вижда защо адресът не е станал и какво да се прави после.

Времето за отговор трябва да се гледа заедно с кода. Ако услугата се е отворила за пет секунди, формално е достъпна, но работата през такъв адрес в интерфейса на рекламен профил ще е мъчителна. Когато на десетина платформи се вижда къде отговорът е дошъл мигновено и къде едва е стигнал, реалното качество на канала става очевидно.

Резултатите от платформата влияят пряко на оценката. Ако всяка проверена услуга се отваря, адресът получава+2 точки, а всяка затворена услуга изважда0.2, но не повече от2 точкиобщо. Така че наличността на услугата представлява до40%от оценката — същият дял като репутацията начерни списъци. Услугите се проверяват в пълен и селективен режим. Бързият режим отговаря само дали самото прокси е достъпно. В API резултатите за платформите идват в полето s: за всяка услуга то съдържа кода на услугата, флаг за успех, времето за отговор и HTTP статуса. Ето защо филтър като „само адреси, през които Instagram се отваря“ е един ред.

Анонимността показва доколко проксито скрива, че го използвате, и дали крие реалния ви IP. Проксито може изправно да пропуска трафика, но в заглавките честно да признае на сайта, че е посредник — или дори да впише там вашия собствен адрес. Обикновено се различават три нива.

Едно ниво на анонимност не е достатъчно, за да се доверите на прокси. Адрес, който формално е елитен, може да бъде включен в бази данни за спам и да не успява да отвори половината услуги, а тогава анонимността не дава нищо. Затова проверяващият инструмент не спира до анонимността: той научава изходния IP, установява откъде идва адресът, проверява го в бази данни и се опитва да отворина живоуслуги през него. Дали даден прокси е подходящ за работа, се определя от цялостната картина, а не от една-единствена заглавка.

Протоколът определя на какъв език софтуерът говори с проксито и какво изобщо може да се изпраща през него. Проверяващиятработис HTTP, HTTPS и SOCKS5 — на практика тези три опции покриват почти всичко.

Просто правило: вземетеHTTP/HTTPSза сайтове и API, иSOCKS5за произволен трафик от приложения. Един адрес често поддържа и двата, но далеч не винаги, а продавачите често назовават протокола неточно. Затова проверяваме HTTP и SOCKS5 независимо: отчетът веднага показва кой протокол всъщностработина адреса и няма да се налага да конфигурирате софтуера въз основа на грешни данни.

Прокси сървърът много често "не работи" точно заради протокола. Ако програмата посочва адреса като HTTP, но приема самоSOCKS5, връзката няма да бъде установена, въпреки че самият прокси работи напълно. Напишете протокола изрично, чрез префикса socks5:// или http://, и няма да има объркване.

Мъртво прокси в парсър или антидетект браузър лесно се взима за повреда на самата програма. Задачите падат, сесиите се късат, логовете се пълнят с неясни грешки и може половин ден да търсите причината съвсем другаде. Проверката на списъка отнема секунди и веднага отхвърля тази версия: знаете със сигурност, че адресите са наред и проблемът е другаде.

Това е най-скъпият риск. Влизането в акаунт дори веднъж от адрес с лоша репутация е достатъчно, за да получите проверка на самоличността, а често иблок. Заедно с акаунта можете да загубите свързаните рекламни акаунти и цялата история. Възстановяването отнема седмици и не винаги успява. Проверка в черен списък и тест на услугите показват опасен адрес, преди да влезете чрез него.

Държавата в описанието и реалната държава на изхода постоянно се разминават. Ако задачата е обвързана с регион — локални резултати, местни цени, услуга за една държава — адрес с грешна геолокация е безполезен. А това е трудно да се забележи, докато работите: технически всичкоработи, събраните данни са просто грешните данни.

Редовната проверка на закупен пул е единственият начин да разберете какво всъщност продава доставчикът. Какъв дял от адресите е активен, колко от тях са начерни списъци, дали сървърните IP адреси се продават като резидентни и дали скоростта съответства на обещаното. Когато разполагате с резултатите от проверката, замяната на проблемните адреси се превръща в рутинна процедура, а не в спор.

Ако пулът е проверен и чист, следващото стартиране ще протече по същия начин като предишното. При непроверен пул резултатът зависи от случайността: едно стартиране ще събере всичко, а друго ще попадне наcaptchaна половината адреси и вече няма да можете да разберете какво се е променило.

Прокси, които стават за всичко, няма. Адрес, идеален за парсване, зле става за рекламен профил и обратно. Тръгвайте от задачата и от това колко силно платформата трябва да ви се доверява.

За безплатните прокси си струва да се каже отделно. За еднократни задачи, учене и експерименти стават, за работа — не. Адреси от публични списъци се ползват едновременно от мнозина, затова са претоварени, често вече са в черни списъци и живеят броени часове. Ако задачата е важна, частните прокси се изплащат веднага — поне защото пулът не трябва да се препроверява всеки час.

Ако даден адрес не е преминал проверката,грешкатекстът почти винаги посочва причината. Ето най-честите случаи:

Ако същотогрешкипреминете през целия списък, причината обикновено не е проксито. Проверете формата на реда, данните за упълномощаване и протокола. Акогрешкиса различни и разпръснати без закономерност, списъкът наистина е смесен, а за публични адреси това е обичаен резултат.

Проверка може да бъде вградена във ваш собствен продукт: панел за доставчик, парсер, Telegram бот, антидетект браузър, вътрешен мониторинг на пул или CI задача, която изпълнява адреси по график. API предоставя всичко, което показва уеб интерфейсът: статус за всеки протокол, изходен IP, време за отговор, скорост, гео, тип адрес,черен списъкиуслугарезултатите и крайния резултат.

Базовият адрес е https://checker.net. Външните интеграции се оторизират с ключ в хедъра x-api-key, който можете да получите в профила. Схемите на заявките и примерите за отговори са описани подробно в документацията.

Резултатите са достъпни по връзката 30 минути след създаването на проверката. Всичко над лимита от 30,000 не се приема. Заявката при това ще успее, а броят на отхвърлените редове ще дойде в полето skippedCount. Следете го, когато качвате големи списъци.

Всеки ден адресите, преминали проверката, попадат в отворения архив наработещи проксита. Изберете дата и получете списъка с проксита, които са работили към момента на проверката — за един ден се събират от няколко хиляди до няколко десетки хиляди адреса. Историята се пази месеци наред и можете да я експортирате както в сайта, така и чрез API.

Помнете, че архивът показва състоянието в определен момент и не гарантира, че адресите са живи сега. Публичните прокси не издържат дълго и са натоварени от много потребители наведнъж, така че за денонощие забележима част от списъка спира да отговаря. Преди работа прокарайте експорта през чекера още веднъж: ще получите актуален пул и свежи оценки. За еднократни задачи, експерименти и обучение това стига. За стабилна работа с акаунти и парсване трябват частни мобилни или резидентски адреси.

Вашите прокси попадат в архива само ако сами го искате. За да не стане това, преди стартиране отметнете на формата „Да не се запазват моите прокси в публичния списък“. Който проверява купени частни адреси, трябва винаги да го държи включено.

За да се провери частно прокси, трябва да се предадат логин и парола и ние се отнасяме с тях съответно. Данните за оторизация са нужни само за проверката: с тяхна помощ чекерът се свързва с проксито и изпраща заявки през него. В архива и отворените списъци те не попадат.

Отметката „Не запазвай прокситата ми в публичния списък“ напълно премахва избраните адреси от публикуване. Резултатите остават достъпни чрез връзката за ограничено време —30 минутиот момента, в който проверката започне — след което те стават недостъпни. Проверката не изисква регистрация, а API ключ е необходим само за външни интеграции.

Онлайн проверката има още едно предимство. Връзките към хиляди адреси се отварят от нашите сървъри, а не от вашия канал. Вашият собствен IP не участва в масовите връзки, така че не привлича вниманието на доставчика и не рискува да се озове на същиячерни списъциспрямо които проверявате прокситата.