Έλεγχος πληρεξουσίου

Πριν βάλετε τα proxy σε δουλειά, πρέπει να τα ελέγξετε: ο κανόνας είναι ο ίδιος για πληρωμένο πακέτο ιδιωτικών διευθύνσεων και για δωρεάν λίστα από φόρουμ. Η περιγραφή του πακέτου και η πραγματική κατάσταση των διευθύνσεων σχεδόν ποτέ δεν συμπίπτουν εντελώς: κάποιες IP είναι ήδη κλειστές, κάποιες μετά βίας τραβούν και δίνουν δυο kilobyte το δευτερόλεπτο, κάποιες είναι σε βάσεις antispam και πιάνουν captcha από το πρώτο αίτημα, και κάποιες βγαίνουν στο διαδίκτυο από χώρα για την οποία δεν πληρώσατε καθόλου. Αυτό φαίνεται μόνο με έναν τρόπο — να περάσετε τη λίστα από διαδικτυακό έλεγχο proxy.

Το Checker.net είναι δωρεάν ελεγκτής proxy που δουλεύει κατευθείαν στο πρόγραμμα περιήγησης: χωρίς προγράμματα, χωρίς εγκατάσταση και χωρίς λογαριασμό. Τη λίστα μπορείτε να την επικολλήσετε στο πεδίο, να τη δώσετε ως αρχείο ή να δώσετε σύνδεσμο. Μέσα σε λίγα δευτερόλεπτα φαίνεται για κάθε διεύθυνση:

Σε μία εκτέλεση χωρούν έως 30,000 διευθύνσεις: βολικός μαζικός έλεγχος proxy και έλεγχος λίστας proxy χωρίς όριο στον αριθμό εκτελέσεων. Τα αποτελέσματα δεν μαζεύονται ως το τέλος του ελέγχου, έρχονται ως ροή, και ο πίνακας μεγαλώνει μπροστά σας.

Ο ελεγκτής proxy, αλλιώς validator proxy ή δοκιμαστής λίστας proxy, είναι υπηρεσία που συνδέεται μόνη της σε κάθε διακομιστή proxy, στέλνει αιτήματα μέσω αυτού και από τις απαντήσεις κρίνει αν η διεύθυνση είναι κατάλληλη. Χωρίς τέτοιο εργαλείο θα έπρεπε να γράφετε κάθε IP στις ρυθμίσεις του προγράμματος περιήγησης ένα ένα και να βλέπετε αν ανοίγει η σελίδα. Ο ελεγκτής κάνει το ίδιο για όλη τη λίστα μονομιάς και δεν δίνει ένα αόριστο «φαίνεται να δουλεύει», αλλά πίνακα με αριθμούς.

Τα εργαλεία αυτής της κατηγορίας διαφέρουν πολύ στο πόσο βαθιά κοιτούν. Ο απλούστερος ελεγκτής μπορεί να πει μόνο ένα: απάντησε η διεύθυνση ή σώπασε. Για πραγματική δουλειά αυτό δεν αρκεί, επειδή proxy που απαντά δεν σημαίνει ακόμη χρήσιμο. Μπορεί να είναι σε μια ντουζίνα βάσεις spam. Μπορεί να μην αφήνει στο κοινωνικό δίκτυο για το οποίο αγοράστηκε. Μπορεί να αναγνωρίζεται από ιστοτόπους ως διακομιστή εκεί όπου χρειάζεται οικιακή IP. Μπορεί να αργεί δεκαπέντε δευτερόλεπτα εκεί όπου ο κανόνας είναι εκατοντάδες χιλιοστά του δευτερολέπτου. Γι’ αυτό μετράμε όχι μόνο το γεγονός της διαθεσιμότητας, αλλά και την ποιότητα: βρίσκουμε την προέλευση της IP, κοιτάμε τη φήμη της, ελέγχουμε πώς συμπεριφέρεται σε μεγάλες πλατφόρμες και τα ενώνουμε σε μία βαθμολογία.

Ο έλεγχος online είναι πιο βολικός από πρόγραμμα ελέγχου proxy, και οι λόγοι είναι τρεις:

Μόλις πατήσετε «Έναρξη ελέγχου», ο ελεγκτής διαβάζει τη λίστα γραμμή γραμμή. Σε καθεμία αναγνωρίζει τη μορφή, ξεχωρίζει host, θύρα, όνομα και κωδικό και παραλείπει σκουπίδια και διπλότυπα. Έπειτα όλα τα proxy ελέγχονται παράλληλα: πρώτα τα πρωτόκολλα, μετά οι υπόλοιπες παράμετροι.

Για να ελεγχθεί ένα πρωτόκολλο, ο ελεγκτής ανοίγει σύνδεση μέσω του proxy και καλεί έναν υπηρεσιακό πόρο που αναφέρει την IP του πελάτη που έφτασε ως εκεί. Ένα τέτοιο αίτημα δίνει πολλά μονομιάς: επιβεβαιώνει ότι το proxy είναι ζωντανό, δείχνει τον χρόνο απόκρισης και, το σημαντικότερο, αποκαλύπτει την IP εξόδου — τη διεύθυνση που θα βλέπουν οι ιστότοποι. Τα HTTP/HTTPS και SOCKS5 ελέγχονται χωριστά. Στον ίδιο host και την ίδια θύρα τα πρωτόκολλα συχνά συμπεριφέρονται διαφορετικά: στην περιγραφή γράφει HTTP, ενώ η διεύθυνση στην πράξη καταλαβαίνει μόνο SOCKS, ή ακριβώς το αντίστροφο.

Από την IP εξόδου προκύπτει έπειτα πού βρίσκεται η διεύθυνση και σε ποιον ανήκει: χώρα, περιοχή, πόλη και τύπος — κινητή, οικιακή ή εταιρική.

Ταυτόχρονα η IP αντιπαραβάλλεται με τοπική βάση μαύρων λιστών, την οποία ανανεώνουμε τακτικά από ανοιχτά αποθετήρια antispam.

Στην πλήρη λειτουργία προστίθεται το πιο χρήσιμο στάδιο: μέσω του proxy γίνονται αιτήματα σε έντεκα δημοφιλείς υπηρεσίες, και γίνεται σαφές ποιες αφήνουν αυτή τη διεύθυνση και ποιες της κλείνουν την πόρτα.

Στη διεπαφή τα αποτελέσματα φεύγουν μόλις είναι έτοιμα, όχι σε μία δόση στο τέλος. Ακόμη και σε μεγάλη λίστα δεν χρειάζεται να κοιτάτε μια γραμμή προόδου που τρέχει: οι πρώτες γραμμές εμφανίζονται σε δευτερόλεπτα, και τις λειτουργικές διευθύνσεις μπορείτε να τις πάρετε ενώ ο ελεγκτής είναι ακόμη απασχολημένος με τις υπόλοιπες.

Το κύριο που πρέπει να ξέρετε για μια διεύθυνση είναι αν δουλεύει. Αν το proxy δεν απάντησε, ο ελεγκτής λέει γιατί: η σύνδεση απορρίφθηκε, έληξε ο χρόνος αναμονής, η εξουσιοδότηση απέτυχε ή ο διακομιστής επέστρεψε σφάλμα. Η διαφορά εδώ είναι ουσιαστική. «Η διεύθυνση είναι νεκρή» και «η διεύθυνση είναι ζωντανή, αλλά στον κωδικό υπάρχει τυπογραφικό» είναι δύο εντελώς διαφορετικές ιστορίες, και η διατύπωση του σφάλματος δείχνει αμέσως αν θα πετάξετε το proxy ή απλώς θα διορθώσετε τη λίστα σας.

Τα HTTP/HTTPS και SOCKS5 ελέγχονται σε κάθε διεύθυνση χωριστά, και για κάθε πρωτόκολλο βγαίνει ο δικός του χρόνος απόκρισης. Έτσι φαίνεται τι μπορεί πραγματικά το proxy, όχι τι λέει ο πωλητής. Αυτό κλείνει ένα πολύ συνηθισμένο λάθος: ένα λειτουργικό proxy SOCKS κηρύσσεται χαλασμένο μόνο επειδή απευθύνθηκαν σε αυτό ως HTTP.

Ο χρόνος απόκρισης είναι πόσο περνά από την αποστολή αιτήματος μέσω proxy μέχρι να έρθει η απάντηση. Κρίνει τα πάντα εκεί όπου μετρά η αντίδραση: στο πρόγραμμα περιήγησης, στην αυτοματοποίηση ενεργειών σε διεπαφές, στην εξαγωγή σε πολλά νήματα με σύντομα αιτήματα. Την ταχύτητα καναλιού τη μετράμε χωριστά. Μετρά όταν μέσω του proxy περνούν μεγάλοι όγκοι: εξαγωγές, αρχεία μέσων, βίντεο. Δεν πρέπει να μπερδεύετε αυτούς τους δύο αριθμούς — μια διεύθυνση μπορεί να απαντά ακαριαία και ταυτόχρονα να δίνει δεδομένα με ταχύτητα εκατοντάδων kilobit.

Ο ελεγκτής διαπιστώνει από πού πάρθηκε η διεύθυνση: από δίκτυο εταιρείας κινητής, από οικιακή σύνδεση ή από κέντρο δεδομένων. Πόσο εμπιστεύονται οι ιστότοποι την κίνηση καθορίζεται σε μεγάλο βαθμό από αυτό, γι’ αυτό ο τύπος IP είναι μία από τις τρεις συνιστώσες της αξιολόγησης. Λεπτομέρειες παρακάτω, στην ενότητα για τα είδη proxy.

Η IP συγκρίνεται με βάσεις όπου καταχωρούνται διευθύνσεις που εμφανίστηκαν σε spam, επιθέσεις σε ιστοτόπους και απάτη.

Αρκεί ένα χτύπημα για να φανεί ότι η φήμη της διεύθυνσης είναι τρωμένη, και μέρος των υπηρεσιών θα τη συναντήσει με captcha ή άρνηση.

Το πιο πρακτικό μέρος της αναφοράς. Μέσω του proxy ο ελεγκτής ανοίγει έντεκα μεγάλες πλατφόρμες και για καθεμία αναφέρει αν πέτυχε, πόση ώρα πήρε και ποιος κωδικός HTTP ήρθε. Διεύθυνση που είναι ζωντανή με κάθε τεχνικό κριτήριο μπορεί εύκολα να είναι κλειστή ακριβώς στην υπηρεσία που χρειάζεστε — και να το μάθετε εδώ είναι πολύ πιο ευχάριστο από ένα μήνυμα για αποκλεισμένο λογαριασμό.

Η αξιολόγηση από 0 έως 5 συνδυάζει τρία πράγματα: τύπο IP, φήμη στις μαύρες λίστες και αποτελέσματα υπηρεσιών. Με αυτήν δεν χρειάζεται να διαβάζετε κάθε γραμμή του πίνακα — αρκεί να ταξινομήσετε τη λίστα και να πάρετε τις διευθύνσεις από την κορυφή.

Ο ελεγκτής καταλαβαίνει τρεις τρόπους γραφής proxy και δεν ζητά ρυθμίσεις γι’ αυτό:

Host μπορεί να είναι είτε διεύθυνση IP είτε όνομα τομέα: αρκετοί πάροχοι εκδίδουν proxy ακριβώς ως τομέα με θύρα. Οι μορφές μπορούν να αναμειχθούν σε μία λίστα — κάθε γραμμή επεξεργάζεται μόνη της.

Υπάρχουν επίσης τρεις τρόποι μεταφόρτωσης. Επικόλληση κειμένου: οι διευθύνσεις αντιγράφονται στο πεδίο, καθεμία σε νέα γραμμή. Αρχείο: ταιριάζει αν η λίστα εξήχθη από τον λογαριασμό του πωλητή ή φυλάσσεται σε έγγραφο κειμένου. Σύνδεσμος: βολικός όταν η λίστα βρίσκεται σε σταθερό URL και ενημερώνεται τακτικά. Ο ελεγκτής κατεβάζει τη σελίδα, ξεχωρίζει από αυτήν τα proxy και ξεκινά αμέσως τον έλεγχο. Για όσους παρακολουθούν δημόσιες πηγές, αυτή είναι η πιο πρακτική επιλογή — δεν χρειάζεται να μεταφέρετε τα δεδομένα με το χέρι κάθε φορά.

Οι λειτουργίες είναι τρεις, και καθεμία είναι για τη δική της εργασία. Στην ουσία η επιλογή είναι ανάμεσα σε ταχύτητα και λεπτομέρεια.

Το χρονικό όριο ρυθμίζεται από 1 έως 60 δευτερόλεπτα, και η προεπιλογή είναι 10. Τόσο περιμένει ο ελεγκτής απάντηση από το proxy πριν το σημειώσει ως μη διαθέσιμο.

Αν σε μια λίστα που προφανώς πρέπει να δουλεύει πέφτουν συνεχώς χρονικά όρια, ξεκινήστε αυξάνοντας αυτή την τιμή.

Η αξιολόγηση είναι βαθμός από 0 έως 5. Δεν υπάρχει για να μάθετε αν μια διεύθυνση είναι ζωντανή, αλλά για να καταλάβετε αν αξίζει να της εμπιστευτείτε δουλειά. Οι περισσότεροι ελεγκτές σταματούν στην κατάσταση «δουλεύει», ενώ δύο εξίσου ζωντανές διευθύνσεις μπορεί να διαφέρουν κατά μήνες ζωής λογαριασμού. Αθροίζουμε τη βαθμολογία με σταθμισμένο σχήμα από τρία μέρη: προέλευση IP, τη φήμη της στις μαύρες λίστες και το πώς ανοίγει πραγματικά δημοφιλείς υπηρεσίες. Στο αποτέλεσμα μετρά η φύση της διεύθυνσης, το παρελθόν της και η συμπεριφορά της αυτή τη στιγμή — γι’ αυτό η βαθμολογία βγαίνει αντικειμενική.

Το σύνολο είναι το άθροισμα τριών αριθμών: του βαθμού για τον τύπο διεύθυνσης, του βαθμού για τη φήμη και του βαθμού για τις υπηρεσίες. Φήμη και υπηρεσίες ακολουθούν το ίδιο σχήμα: ένα άψογο αποτέλεσμα φέρνει και τους 2 βαθμούς, και κάθε απόκλιση αφαιρεί 0.2. Κανένα από αυτά τα μέρη δεν μπορεί να χάσει πάνω από δύο βαθμούς. Μπορεί να πέσει στο μηδέν, αλλά δεν πάει σε αρνητικό και δεν τραβά προς τα κάτω τα υπόλοιπα. Έτσι η βαθμολογία μένει πάντα ανάμεσα σε 0 και 5, και τα μερίδια μένουν σε ισορροπία: 40% το καθένα πάει στη φήμη και στην πραγματική δουλειά με πλατφόρμες, και το υπόλοιπο 20% πάει στην προέλευση IP.

Στην επιλεκτική λειτουργία το μέρος των υπηρεσιών μετρά μόνο για τις πλατφόρμες που σημειώσατε, και ο κανόνας είναι ο ίδιος: μείον 0.2 για κάθε κλειστή από το σύνολό σας. Αν στον έλεγχο μείνουν τρεις υπηρεσίες, αυτό το μέρος μπορεί να χάσει το πολύ 0.6 βαθμούς, και η φήμη αρχίζει να επηρεάζει περισσότερο τη βαθμολογία. Χρήσιμο όταν χρειάζεστε αριθμό για το δικό σας σενάριο, όχι μέση βαθμολογία «για όλο το διαδίκτυο».

Αυτά τα κατώφλια είναι οδηγός, όχι νόμος: η απόφαση παίρνεται από τη βαθμολογία μαζί με τις λεπτομέρειες της αναφοράς. Το κύριο όφελος είναι αλλού. Ο πίνακας ταξινομείται κατά αξιολόγηση σε ένα δευτερόλεπτο, και πάνω εμφανίζονται αμέσως οι διευθύνσεις που αξίζει να πάρετε. Ό,τι είναι κάτω από τον πήχη σας μπορεί να επιστραφεί στον πωλητή για αντικατάσταση σε μία δέσμη, χωρίς να εξετάζετε κάθε διεύθυνση με το χέρι.

Πάρτε δύο proxy, και στα δύο στον πίνακα «δουλεύει». Το πρώτο είναι κινητή IP, που δεν είναι σε καμία βάση και μέσω της οποίας ανοίγουν και οι έντεκα υπηρεσίες: βαθμολογία 5.0. Το δεύτερο είναι διεύθυνση διακομιστή από κέντρο δεδομένων, που βρέθηκε σε τρεις μαύρες λίστες και είναι κλειστή σε έξι από τις έντεκα πλατφόρμες: βαθμολογία 2.2. Τυπικά δεν υπάρχει διαφορά, και τα δύο είναι ζωντανά. Στην πράξη το πρώτο θα κρατήσει μήνες, και το δεύτερο θα πάρει αποκλεισμό στην πρώτη εγγραφή. Η αξιολόγηση δείχνει ακριβώς αυτή τη διαφορά, γι’ αυτό η ταξινόμηση κατά αυτήν εξοικονομεί περισσότερο χρόνο από οποιοδήποτε φίλτρο κατάστασης.

Σε μεγάλους όγκους αυτό φαίνεται ιδιαίτερα. Το φίλτρο κατάστασης βγάζει από τη λίστα μόνο μερικές χιλιάδες νεκρές διευθύνσεις — σε αγορασμένη δεξαμενή είναι συνήθως από δέκα έως σαράντα τοις εκατό, σε δωρεάν λίστα σχεδόν όλες. Αλλά στις μισές από τις υπόλοιπες «ζωντανές» η βαθμολογία θα είναι κάτω από 3.0, και πριν από τη δουλειά αυτό φαίνεται μόνο από την αξιολόγηση. Η μέση βαθμολογία δεξαμενής βοηθά και να συγκρίνετε τίμια τους παρόχους: όχι από το κείμενο στον ιστότοπο, αλλά από τον ίδιο μετρήσιμο αριθμό στο ίδιο σύνολο πλατφορμών.

Η αξιολόγηση πιάνει μια στιγμή, γι’ αυτό οι διακυμάνσεις από έλεγχο σε έλεγχο είναι φυσιολογικές. Το κινητό proxy στην εναλλαγή αλλάζει IP, και η επόμενη εκτέλεση ελέγχει ήδη άλλη διεύθυνση παρόχου. Τη βάση των μαύρων λιστών την ανανεώνουμε τακτικά από ανοιχτά αποθετήρια antispam, οπότε μια διεύθυνση μπορεί και να βγει από λίστα και να μπει σε μία επειδή κάποιος τη χρησιμοποίησε πριν από εσάς. Αλλάζει και η πολιτική των πλατφορμών κατά εύρη: μια υπηρεσία που το πρωί άνοιγε μπορεί να δείξει μια captcha το βράδυ. Και με σύντομο χρονικό όριο οι αργές διευθύνσεις καταγράφονται ως μη διαθέσιμες και χάνουν βαθμούς διαθεσιμότητας. Αν οι βαθμολογίες αλλάζουν αισθητά, αυξήστε το χρονικό όριο και ελέγξτε ξανά.

Στο API η βαθμολογία κάθε διεύθυνσης επιστρέφει στο πεδίο sc, γι’ αυτό η επιλογή κατά κατώφλι και η ταξινόμηση δεξαμενής ανατίθενται εύκολα σε σενάριο. Η αξιολόγηση μπαίνει στην πλήρη και την επιλεκτική λειτουργία. Στη γρήγορη δεν υπάρχει: αυτή ελέγχει μόνο διαθεσιμότητα, αλλά μια μεγάλη λίστα την περνά πολύ πιο γρήγορα.

Το είδος proxy απαντά σε ποιον ανήκει πραγματικά η IP: σε εταιρεία κινητής, σε οικιακό πάροχο ή σε φιλοξενία σε κέντρο δεδομένων. Από εκεί προκύπτουν η ταχύτητα, η σταθερότητα και, πάνω απ’ όλα, ο βαθμός εμπιστοσύνης με τον οποίο οι ιστότοποι δέχονται την κίνηση. Το σωστό είδος επηρεάζει και το κόστος και τον κίνδυνο αποκλεισμού, γι’ αυτό στην αγορά είναι το πρώτο που πρέπει να αποφασιστεί, όχι τυπική γραμμή στο πακέτο.

Η κίνηση αυτών των proxy περνά από δίκτυα εταιρειών κινητής, δηλαδή από τις ίδιες διευθύνσεις με εκατομμύρια κατόχους smartphone. Η εταιρεία δίνει μία IP σε πολλούς συνδρομητές ταυτόχρονα και την αλλάζει συνεχώς. Γι’ αυτό οι ιστότοποι πολύ δύσκολα αποκλείουν τις κινητές διευθύνσεις: θα έμπαιναν στο στόχαστρο χιλιάδες πραγματικοί χρήστες. Από εκεί και η υψηλότερη φήμη ανάμεσα σε όλα τα είδη.

Τα κινητά proxy επιλέγονται εκεί όπου διακυβεύονται λογαριασμοί: προώθηση σε κοινωνικά δίκτυα, αρμπιτράζ κίνησης, διαφημιστικοί λογαριασμοί, εγγραφές, υπηρεσίες με αυστηρό antifraud. Τα μειονεκτήματα είναι κόστος και ταχύτητα. Η κινητή σύνδεση είναι πιο αργή και λιγότερο σταθερή από την ενσύρματη, και κατά την εναλλαγή η διεύθυνση μπορεί να χαθεί για λίγα δευτερόλεπτα. Για μαζική εξαγωγή είναι ακριβό και απλώς περιττό.

Αυτές είναι IP πραγματικών οικιακών συνδέσεων, που οι συνηθισμένοι πάροχοι διαδικτύου έδωσαν στους συνδρομητές τους. Για τον ιστότοπο ένας τέτοιος επισκέπτης δεν διαφέρει από έναν συνηθισμένο άνθρωπο που κάθεται σπίτι σε μια συγκεκριμένη πόλη. Τα οικιακά proxy είναι καθολικό εργαλείο για εξαγωγή δεδομένων, έλεγχο διαφήμισης, ανάλυση αποτελεσμάτων ανά περιοχή, παράκαμψη περιορισμών geo και κάθε εργασία που χρειάζεται «ανθρώπινο» ίχνος και μεγάλη επιλογή τοποθεσιών.

Στην ισορροπία εμπιστοσύνης και τιμής αυτή είναι η βέλτιστη επιλογή: φθηνότερη από την κινητή και αισθητά πιο αξιόπιστη από τα proxy διακομιστή. Πόσο σταθερή είναι μια συγκεκριμένη διεύθυνση εξαρτάται από ποια οικιακή σύνδεση βρίσκεται πίσω της. Γι’ αυτό μια τέτοια δεξαμενή είναι ιδιαίτερα χρήσιμο να ελεγχθεί πριν από τη δουλειά.

IP πλατφορμών φιλοξενίας και κέντρων δεδομένων. Επιλέγονται για ελάχιστη καθυστέρηση, παχύ κανάλι, ομαλή δουλειά χωρίς διακοπές και προσιτή τιμή. Όταν χρειάζεται πολλή κίνηση και πολλές παράλληλες ροές, δεν υπάρχει καλύτερη επιλογή. Εξαγωγή μεγάλων όγκων, παρακολούθηση τιμών και διαθεσιμότητας, αυτοματισμός, μαζική αντιπαραβολή δεδομένων, bot και υπηρεσιακές ενσωματώσεις δουλεύουν άψογα σε proxy διακομιστή.

Το αδύναμο σημείο τους είναι η αναγνωρισιμότητα. Τα εύρη κέντρων δεδομένων είναι γνωστά, και ιστότοποι με προστασία από bot ορίζουν αμέσως τέτοια κίνηση ως μη οικιακή. Η διεύθυνση δεν γίνεται κακή από αυτό· απλώς δεν ταιριάζει εκεί όπου η υπηρεσία περιμένει οικιακό χρήστη. Μηδέν βαθμοί στη βαθμολογία σημαίνει όχι «το proxy είναι κακό», αλλά «δεν υπάρχει μπόνους εμπιστοσύνης».

Η μαύρη λίστα είναι μια ανοιχτή βάση διευθύνσεων IP που έχουν εντοπιστεί σε ανεπιθύμητη δραστηριότητα. Τέτοιες βάσεις τηρούν έργα antispam, εταιρείες φιλοξενίας, υπηρεσίες αλληλογραφίας και ερευνητές ασφάλειας, και τις χρησιμοποιούν διακομιστές αλληλογραφίας, CDN, συστήματα antifraud και ιδιοκτήτες ιστοτόπων. Αν μια διεύθυνση είναι στη βάση, οποιαδήποτε υπηρεσία μπορεί να την αρνηθεί χωρίς να μπει σε λεπτομέρειες.

Κάθε IP τη συγκρίνουμε με τοπική βάση που συμπληρώνεται τακτικά από ανοιχτά αποθετήρια antispam. Τις περισσότερες φορές οι διευθύνσεις μπαίνουν εκεί για τρεις λόγους:

Έχετε υπόψη: τις περισσότερες φορές δεν φταίτε εσείς. Δημόσιο proxy το χρησιμοποιούν ταυτόχρονα δεκάδες άνθρωποι, και διευθύνσεις από δεξαμενές μεταπωλούνται και νοικιάζονται ξανά για χρόνια. Μαζί με την IP παίρνετε και το παρελθόν της, μαζί και τις συνέπειες όσων έκαναν πριν από εσάς άλλοι.

Αν στη μαύρη λίστα μπήκε η δική σας IP, θα πρέπει να την βγάλετε με αφαίρεση, χωριστά σε κάθε βάση, και πριν από αυτό να σταματήσετε τη δραστηριότητα που την έβαλε εκεί. Με αγορασμένο proxy είναι απλούστερα: πιο γρήγορα ζητάτε από τον πωλητή αντικατάσταση. Ένας κανονικός πάροχος αλλάζει αποκλεισμένες IP χωρίς διαφωνίες, και τα αποτελέσματα του ελέγχου κάνουν τη συζήτηση συγκεκριμένη.

Οι περισσότεροι ελεγκτές δεν έχουν αυτή τη λειτουργία, αν και στην πράξη είναι χρησιμότερη από όλες τις άλλες. Μια διεύθυνση μπορεί να είναι ζωντανή, με άψογο ιστορικό και τη σωστή χώρα — και παρόλα αυτά άχρηστη για τη δουλειά, επειδή η πλατφόρμα που χρειάζεστε ήδη γνωρίζει αυτή τη διεύθυνση και δεν την αφήνει. Το διαπιστώνουμε εκ των προτέρων. Μέσω κάθε proxy ο ελεγκτής απευθύνεται σε έντεκα δημοφιλείς υπηρεσίες και βγάζει αποτέλεσμα για καθεμία χωριστά: αν άνοιξε η υπηρεσία, πόση ώρα πήρε η απάντηση, ποιος κωδικός HTTP ήρθε και ποιο σφάλμα προέκυψε, αν στάθηκε δυνατό να διαβαστεί.

Αρχικά είναι σημειωμένες και οι έντεκα πλατφόρμες. Όταν σας ενδιαφέρουν μόνο δύο-τρεις, αφαιρέστε τα υπόλοιπα πλαίσια στις σύνθετες ρυθμίσεις: η εκτέλεση γίνεται συντομότερη και η βαθμολογία αντικατοπτρίζει ακριβώς το δικό σας σύνολο. Στον πίνακα το αποτέλεσμα συμπτύσσεται σε μετρητή όπως «9 / 11», και το κλικ ανοίγει λίστα με λεπτομέρειες για κάθε πλατφόρμα.

Για κάθε υπηρεσία έρχονται τρεις τιμές: αν άνοιξε η σελίδα, πόση ώρα πήρε η απάντηση και ποιον κωδικό HTTP επέστρεψε η πλατφόρμα. Περισσότερα λέει ο κωδικός: από αυτόν φαίνεται γιατί η διεύθυνση δεν ταίριαξε και τι να κάνετε μετά.

Ο χρόνος απάντησης πρέπει να διαβάζεται μαζί με τον κωδικό. Αν μια υπηρεσία άνοιξε σε πέντε δευτερόλεπτα, τυπικά είναι διαθέσιμη, αλλά η δουλειά μέσω τέτοιας διεύθυνσης στη διεπαφή διαφημιστικού λογαριασμού θα είναι βασανιστική. Όταν σε μια ντουζίνα πλατφόρμες φαίνεται πού η απάντηση ήρθε ακαριαία και πού μετά βίας έφτασε, η πραγματική ποιότητα του καναλιού γίνεται προφανής.

Τα αποτελέσματα των πλατφορμών επηρεάζουν άμεσα τη βαθμολογία. Αν ανοίγουν όλες οι ελεγχόμενες υπηρεσίες, η διεύθυνση παίρνει +2 βαθμούς, και κάθε κλειστή υπηρεσία αφαιρεί 0.2, αλλά όχι πάνω από 2 βαθμούς συνολικά. Έτσι στη διαθεσιμότητα υπηρεσιών αντιστοιχεί έως 40% της αξιολόγησης — όσο και η φήμη στις μαύρες λίστες. Οι υπηρεσίες ελέγχονται στην πλήρη και την επιλεκτική λειτουργία. Η γρήγορη απαντά μόνο αν είναι διαθέσιμο το ίδιο το proxy. Στο API τα αποτελέσματα πλατφορμών έρχονται στο πεδίο s: για κάθε υπηρεσία υπάρχουν ο κωδικός της, ένδειξη επιτυχίας, χρόνος απάντησης και κατάσταση HTTP. Γι’ αυτό επιλογή όπως «μόνο διευθύνσεις μέσω των οποίων ανοίγει το Instagram» γράφεται σε μία γραμμή.

Η ανωνυμία δείχνει πόσο καλά το proxy κρύβει ότι το χρησιμοποιείτε και αν κρύβει την πραγματική σας IP. Συμβαίνει το proxy να περνά σωστά την κίνηση, αλλά στις κεφαλίδες να ομολογεί ειλικρινά στον ιστότοπο ότι είναι μεσάζων — ή και να γράφει εκεί τη δική σας διεύθυνση. Συνήθως διακρίνονται τρία επίπεδα.

Ένα επίπεδο ανωνυμίας δεν αρκεί για να εμπιστευτείτε ένα proxy. Διεύθυνση τυπικά ελίτ μπορεί να είναι σε βάσεις spam και να μην ανοίγει τις μισές υπηρεσίες, και τότε η ανωνυμία δεν δίνει τίποτα. Γι’ αυτό ο ελεγκτής δεν περιορίζεται στην ανωνυμία: μαθαίνει την IP εξόδου, βρίσκει από πού προήλθε η διεύθυνση, τη συγκρίνει με βάσεις και δοκιμάζει να ανοίξει ζωντανές υπηρεσίες μέσω αυτού. Την καταλληλότητα του proxy την ορίζει όλη αυτή η εικόνα μαζί, όχι μία κεφαλίδα.

Από το πρωτόκολλο εξαρτάται σε ποια γλώσσα μιλά το λογισμικό με το proxy και τι μπορεί να περάσει μέσω αυτού. Ο ελεγκτής δουλεύει με HTTP, HTTPS και SOCKS5 — στην πράξη αυτά τα τρία καλύπτουν σχεδόν τα πάντα.

Απλός κανόνας: πάρτε HTTP/HTTPS για ιστοτόπους και API, και SOCKS5 για αυθαίρετη κίνηση από εφαρμογές. Συχνά μία διεύθυνση υποστηρίζει και τα δύο, αλλά κάθε άλλο παρά πάντα, και οι πωλητές αναφέρουν συχνά το πρωτόκολλο ανακριβώς. Γι’ αυτό ελέγχουμε HTTP και SOCKS5 ανεξάρτητα: στην αναφορά φαίνεται αμέσως ποιο πρωτόκολλο πραγματικά δουλεύει στη διεύθυνση, και δεν θα χρειαστεί να ρυθμίσετε το λογισμικό με λανθασμένα δεδομένα.

Ένα proxy πολύ συχνά «δεν δουλεύει» ακριβώς λόγω του πρωτοκόλλου. Αν στο πρόγραμμα η διεύθυνση είναι HTTP, ενώ δέχεται μόνο SOCKS5, η σύνδεση δεν θα γίνει, αν και το ίδιο το proxy είναι απολύτως εντάξει. Γράψτε το πρωτόκολλο ρητά, με πρόθεμα socks5:// ή http://, και δεν θα υπάρξει σύγχυση.

Ένα νεκρό proxy σε parser ή σε πρόγραμμα περιήγησης antidetect εύκολα εκλαμβάνεται ως βλάβη του ίδιου του προγράμματος. Οι εργασίες πέφτουν, οι συνεδρίες κόβονται, τα αρχεία καταγραφής γεμίζουν ασαφή σφάλματα και μπορεί να περάσετε μισή μέρα ψάχνοντας την αιτία αλλού. Ο έλεγχος της λίστας παίρνει δευτερόλεπτα και αποκλείει αμέσως αυτή την εκδοχή: ξέρετε σίγουρα ότι οι διευθύνσεις είναι εντάξει και το πρόβλημα είναι αλλού.

Αυτός είναι ο ακριβότερος κίνδυνος. Αρκεί να μπείτε μία φορά σε λογαριασμό από διεύθυνση με κακή φήμη για να ζητηθεί επαλήθευση ταυτότητας, και συχνά και αποκλεισμός. Μαζί με τον λογαριασμό μπορείτε να χάσετε τους συνδεδεμένους διαφημιστικούς λογαριασμούς και όλο το ιστορικό. Η ανάκτηση τραβάει εβδομάδες και δεν πετυχαίνει πάντα. Ο έλεγχος στις μαύρες λίστες και η δοκιμή υπηρεσιών δείχνουν την επικίνδυνη διεύθυνση πριν μπείτε μέσω αυτής.

Η χώρα στην περιγραφή και η πραγματική χώρα εξόδου αποκλίνουν συνεχώς. Αν η εργασία είναι δεμένη σε περιοχή — τοπικά αποτελέσματα, τοπικές τιμές, υπηρεσία για μία χώρα — μια διεύθυνση με λάθος geo είναι άχρηστη. Και στη δουλειά αυτό δύσκολα φαίνεται: τεχνικά το καθετί δουλεύει, απλώς τα δεδομένα που μαζεύονται δεν είναι τα σωστά.

Ο τακτικός έλεγχος αγορασμένης δεξαμενής είναι ο μόνος τρόπος να μάθετε τι πουλάει πραγματικά ο πάροχος. Τι μερίδιο διευθύνσεων είναι ζωντανό, πόσες από αυτές είναι σε μαύρες λίστες, αν πουλιούνται IP διακομιστή ως οικιακές και αν η ταχύτητα ταιριάζει με την υποσχεμένη. Όταν έχετε τα αποτελέσματα, η αντικατάσταση κακών διευθύνσεων γίνεται ρουτίνα, όχι διαφωνία.

Αν η δεξαμενή είναι ελεγμένη και καθαρή, η επόμενη εκκίνηση θα πάει όπως η προηγούμενη. Με ανεξέλεγκτη δεξαμενή το αποτέλεσμα εξαρτάται από την τύχη: μία εκκίνηση θα μαζέψει τα πάντα, και άλλη θα σκοντάψει σε captcha στις μισές διευθύνσεις, και δεν θα βγαίνει άκρη τι άλλαξε.

Proxy που να ταιριάζει σε όλα δεν υπάρχει. Διεύθυνση ιδανική για εξαγωγή δεν θα ταιριάξει καλά σε διαφημιστικό λογαριασμό, και το αντίστροφο. Ξεκινήστε από την εργασία και από το πόσο πρέπει η πλατφόρμα να σας εμπιστεύεται.

Τα δωρεάν proxy αξίζουν ξεχωριστό λόγο. Για εφάπαξ εργασίες, μελέτη και πειράματα κάνουν, για δουλειά όχι. Διευθύνσεις από δημόσιες λίστες τις χρησιμοποιούν πολλοί ταυτόχρονα, γι’ αυτό είναι υπερφορτωμένες, συχνά ήδη σε μαύρες λίστες και ζουν λίγες ώρες. Αν η εργασία είναι σημαντική, τα ιδιωτικά proxy αποσβένονται αμέσως — έστω και μόνο επειδή η δεξαμενή δεν χρειάζεται επανέλεγχο κάθε ώρα.

Αν μια διεύθυνση δεν πέρασε τον έλεγχο, το σφάλμα — το κείμενό του σχεδόν πάντα δείχνει την αιτία. Να οι πιο συχνές περιπτώσεις:

Αν τα ίδια σφάλματα τρέχουν σε όλη τη λίστα, το θέμα συνήθως δεν είναι το proxy. Ελέγξτε τη μορφή των γραμμών, τα στοιχεία εξουσιοδότησης και το πρωτόκολλο. Αν τα σφάλματα είναι διαφορετικά και σκορπισμένα χωρίς σύστημα, η λίστα είναι πράγματι ανομοιογενής, και για δημόσιες διευθύνσεις αυτό είναι συνηθισμένο αποτέλεσμα.

Ο έλεγχος μπορεί να ενσωματωθεί στο δικό σας προϊόν: σε πίνακα παρόχου, σε parser, σε bot του Telegram, σε πρόγραμμα περιήγησης antidetect, σε εσωτερική παρακολούθηση δεξαμενής ή σε εργασία CI που περνά διευθύνσεις με χρονοδιάγραμμα. Μέσω του API είναι διαθέσιμα όσα δείχνει η διαδικτυακή διεπαφή: κατάσταση για κάθε πρωτόκολλο, IP εξόδου, χρόνος απόκρισης, ταχύτητα, geo, τύπος διεύθυνσης, αποτελέσματα μαύρων λιστών και υπηρεσιών , και η τελική βαθμολογία.

Η βασική διεύθυνση είναι https://checker.net. Οι εξωτερικές ενσωματώσεις εξουσιοδοτούνται με κλειδί στην κεφαλίδα x-api-key, που το παίρνετε στον λογαριασμό. Τα σχήματα αιτημάτων και τα παραδείγματα απαντήσεων περιγράφονται αναλυτικά στην τεκμηρίωση.

Τα αποτελέσματα είναι διαθέσιμα από τον σύνδεσμο 30 λεπτά μετά τη δημιουργία του ελέγχου. Ό,τι ξεπερνά το όριο 30,000 δεν γίνεται δεκτό. Το αίτημα ωστόσο θα ολοκληρωθεί επιτυχώς, και ο αριθμός απορριφθεισών γραμμών θα έρθει στο πεδίο skippedCount. Παρακολουθήστε το όταν ανεβάζετε μεγάλες λίστες.

Κάθε μέρα οι διευθύνσεις που πέρασαν τον έλεγχο μπαίνουν στο ανοιχτό αρχείο λειτουργικών proxy. Επιλέξτε ημερομηνία και πάρτε τη λίστα των proxy που δούλευαν τη στιγμή του ελέγχου — σε ένα εικοσιτετράωρο μαζεύονται από μερικές χιλιάδες έως αρκετές δεκάδες χιλιάδες διευθύνσεις. Το ιστορικό κρατιέται για μήνες και εξάγεται και στον ιστότοπο και μέσω API.

Θυμηθείτε ότι το αρχείο δείχνει κατάσταση σε συγκεκριμένη στιγμή και δεν εγγυάται ότι οι διευθύνσεις είναι ζωντανές τώρα. Τα δημόσια proxy δεν κρατούν πολύ και είναι φορτωμένα από πολλούς χρήστες ταυτόχρονα, οπότε μέσα σε ένα εικοσιτετράωρο αισθητό μέρος της λίστας σταματά να απαντά. Πριν από τη δουλειά περάστε την εξαγωγή άλλη μία φορά από τον ελεγκτή: θα πάρετε επίκαιρη δεξαμενή και φρέσκες βαθμολογίες. Για εφάπαξ εργασίες, πειράματα και μάθηση αρκεί. Για σταθερή δουλειά με λογαριασμούς και εξαγωγή χρειάζονται ιδιωτικές κινητές ή οικιακές διευθύνσεις.

Τα proxy σας μπαίνουν στο αρχείο μόνο αν το θέλετε εσείς. Για να μην συμβεί, πριν από την εκκίνηση σημειώστε στη φόρμα «Να μην αποθηκεύονται τα proxy μου στη δημόσια λίστα». Σε όσους ελέγχουν αγορασμένες ιδιωτικές διευθύνσεις αξίζει να το κρατούν πάντα ενεργό.

Για να ελέγξετε ιδιωτικό proxy, πρέπει να δώσετε όνομα και κωδικό, και εμείς τα χειριζόμαστε ανάλογα. Τα στοιχεία εξουσιοδότησης χρειάζονται μόνο για τον έλεγχο: με αυτά ο ελεγκτής συνδέεται στο proxy και στέλνει αιτήματα μέσω αυτού. Στο αρχείο και στις ανοιχτές λίστες δεν μπαίνουν.

Το πλαίσιο «Να μην αποθηκεύονται τα proxy μου στη δημόσια λίστα» βγάζει εντελώς τις ελεγμένες διευθύνσεις από τη δημοσίευση. Τα αποτελέσματα μένουν διαθέσιμα από τον σύνδεσμο για περιορισμένο χρόνο — 30 λεπτά από τη στιγμή που ξεκινά ο έλεγχος — και μετά γίνονται μη διαθέσιμα. Ο έλεγχος δεν απαιτεί εγγραφή, και κλειδί API χρειάζεται μόνο για εξωτερικές ενσωματώσεις.

Ο διαδικτυακός έλεγχος έχει ένα ακόμη πλεονέκτημα. Τις συνδέσεις με χιλιάδες διευθύνσεις τις ανοίγουν οι δικοί μας διακομιστές, όχι το δικό σας κανάλι. Η δική σας IP δεν συμμετέχει στις μαζικές συνδέσεις, γι’ αυτό δεν τραβά την προσοχή του παρόχου και δεν κινδυνεύει να βρεθεί στις ίδιες μαύρες λίστες με τις οποίες ελέγχετε τα proxy.