Wie umgeht ich Cloudflare Bot/DDOS -Schutz in Scrapy? ⇐ Python

[Guest]

Ich habe gelegentlich E-Commerce-Webseite gesetzt, um Produktpreiseinformationen zu erhalten. Ich habe den Schaber in einer Weile nicht mit Scrapy gebaut und gestern hat versucht, ihn zu verwenden - ich stieß auf ein Problem mit Bot -Schutz zu. < /p>

verwendet den DDOS -Schutz von CloudFlare, der im Grunde genommen die JavaScript -Bewertung verwendet, um die Browser (und damit Schaber) mit deaktiviert JS herauszufiltern. Sobald die Funktion bewertet wurde, wird die Antwort mit der berechneten Zahl generiert. Im Gegenzug sendet der Service zwei Authentifizierungs -Cookies zurück, die an jede Anfrage angehängt sind, die die Website normalerweise kriechen. Hier ist die Beschreibung, wie es funktioniert. . Ich bin mir jedoch nicht sicher, wie ich es in Scrapy integrieren soll. Oder gibt es vielleicht einen intelligenteren Weg, ohne JS -Ausführung zu verwenden? Am Ende ist es ein Formular ... < /p>

Ich würde jede Hilfe apriizieren. < /P>