Ich versuche, den Web-Scraper, den ich in Python schreibe, schneller zu machen.
Derzeit starte ich eine bestimmte Anzahl von Scraper-Threads, erstelle eine Warteschlange mit einer Liste von URLs, die ich scrapen möchte, und lasse sie Einträge aus der Warteschlange entfernen, damit sie scrapen können.
grequests gibt an, dass es asynchron ist, aber ich bin mir nicht sicher, was das bedeutet, außer mehrere Threads abzufeuern (wie ich es tue) und gevent zu verwenden um ein Ereignis auszulösen, wenn es fertig ist.
Kann Grequests mehr tun, als einen Thread pro Job zu erstellen, und wird es technisch gesehen schneller ausgeführt als das Programm, das ich oben beschrieben habe?
Python Web Scraping: Grequests vs. Multithread-Anfragen? ⇐ Python
-
- Similar Topics
- Replies
- Views
- Last post
Mobile version