Wie können Scrapy-Anfragen mit Socks5 weitergeleitet werden? ⇐ Python

[Guest]

Frage:

Wie können Scrapy-Anfragen mit SOCKS5 weitergeleitet werden?


Ich weiß, dass ich Polipo verwenden kann, um Socken-Proxy in HTTP-Proxy umzuwandeln


Aber:

Ich möchte eine Middleware oder einige Änderungen in scrapy.Request festlegen

Code: Select all

import scrapy

class BaseSpider(scrapy.Spider):
"""a base class that implements major functionality for crawling application"""
start_urls = ('https://google.com')

def start_requests(self):

proxies = {
'http': 'socks5://127.0.0.1:1080',
'https': 'socks5://127.0.0.1:1080'
}

for url in self.start_urls:
yield scrapy.Request(
url=url,
callback=self.parse,
meta={'proxy': proxies} # proxy should be string not dict
)

def parse(self, response):
# do ...
pass

Was soll ich den Proxys zuweisen? Variable?