Verwenden der Bibliothek mit freien Proxy mit Anfragen zum Zugriff auf allgemeine HTTPS-Websites ⇐ Python

[Anonymous]

Wenn es im Grunde genommen einen Proxy anfordern, ist es, dass es mir ein HTTP liefert, das mir derzeit unbrauchbar erscheint, weil die überwiegende Mehrheit der Websites HTTPS verwendet und dies dazu führt, dass die Anfrage mit meiner eigenen IP anstelle des gesammelten Proxys erstellt wird:

Code: Select all

from fake_useragent import UserAgent
from fp.fp import FreeProxy
import requests

def pack_requests(the_url, timeout=5):
ua = UserAgent()
proxy = FreeProxy(rand=True, timeout=timeout).get()
protocol = "https" if proxy.startswith("https") else "http"
pack_header = {
'User-Agent': ua.random
}
pack_response = requests.get(the_url, headers=pack_header, proxies={protocol: proxy}, timeout=timeout)
return pack_response

print(pack_requests('https://geolocation-db.com/json').text)

In der aktuellsten Version von Free-Proxy ( 1.1.3 ) wird die Option https = true einen Fehler generiert, so Rückgabe von Freeproxy (...). get () :
from fake_useragent import UserAgent
from fp.fp import FreeProxy
import requests

def pack_requests(the_url, timeout=5):
ua = UserAgent()
proxy = FreeProxy(rand=True, https=True, timeout=timeout).get()
pack_header = {
'User-Agent': ua.random
}
pack_response = requests.get(the_url, headers=pack_header, proxies={"http": proxy, "https": proxy}, timeout=timeout)
return pack_response

print(pack_requests('https://geolocation-db.com/json').text)
< /code>
Das Problem ist, dass diese Möglichkeit für Websites im Allgemeinen, wie Suchseiten im Allgemeinen, Nachrichten -Websites und die überwiegende Mehrheit von ihnen (einschließlich meiner eigenen Website, die ich auch getestet habe, nur um das Ergebnis zu sehen). Ein Verbindungsproblem mit dem Proxy wird zum Zeitpunkt der Anfragen generiert, oder ein Problem mit dem SSL -Zertifikat. ( frei-proxy und Anfragen ) zusammen, um zumindest die Grundbedürfnisse zu erreichen oder zu versuchen, diese Proxy-Basis zu verwenden, und sagen wir "unmöglich", um gute Ergebnisse zu erzielen?