Python Web Scraping: Grequests vs. Multithread-Anfragen?Python

Python-Programme
Anonymous
 Python Web Scraping: Grequests vs. Multithread-Anfragen?

Post by Anonymous »

Ich versuche, den Web-Scraper, den ich in Python schreibe, schneller zu machen.
Derzeit starte ich eine bestimmte Anzahl von Scraper-Threads, erstelle eine Warteschlange mit einer Liste von URLs, die ich scrapen möchte, und lasse sie Einträge aus der Warteschlange entfernen, damit sie scrapen können.
grequests gibt an, dass es asynchron ist, aber ich bin mir nicht sicher, was das bedeutet, außer mehrere Threads abzufeuern (wie ich es tue) und gevent zu verwenden um ein Ereignis auszulösen, wenn es fertig ist.
Kann Grequests mehr tun, als einen Thread pro Job zu erstellen, und wird es technisch gesehen schneller ausgeführt als das Programm, das ich oben beschrieben habe?

Quick Reply

Change Text Case: 
   
  • Similar Topics
    Replies
    Views
    Last post