Google Search Scraping gibt Status 200 zurück, aber keine Ergebnisse, nur ein verstecktes HTML-Div
Posted: 17 Jan 2025, 11:09
Ich habe Google-Suchergebnisse mit Python durchsucht, aber seit gestern ist ein Problem aufgetreten. Wenn ich eine Anfrage sende, wird der Statuscode 200 zurückgegeben, aber anstelle der Suchergebnisse enthält die Antwort ein verstecktes HTML-Div wie dieses:
Gewünschtes Verhalten: Ich erwarte, dass die Antwort die tatsächlichen Suchergebnisse in einem strukturierten Format enthält (wie JSON oder HTML mit Ergebnissen).
Problem: Google scheint seine Bot-Erkennungsmechanismen verbessert zu haben und ich erhalte nicht mehr die üblichen Suchergebnisse, sondern nur noch dieses HTML-Snippet.
Was ich versucht habe: Ich verwende eine große Proxy-Pool, um eine Erkennung zu vermeiden, aber es hat das Problem nicht gelöst Problem.
Minimaler Code zum Reproduzieren:
Ist das schon einmal jemandem passiert und hat einen Weg gefunden, es zu umgehen? Jede Hilfe wäre dankbar!
Code: Select all
Problem: Google scheint seine Bot-Erkennungsmechanismen verbessert zu haben und ich erhalte nicht mehr die üblichen Suchergebnisse, sondern nur noch dieses HTML-Snippet.
Was ich versucht habe: Ich verwende eine große Proxy-Pool, um eine Erkennung zu vermeiden, aber es hat das Problem nicht gelöst Problem.
Minimaler Code zum Reproduzieren:
Code: Select all
import requests
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}
url = 'https://www.google.com/search?q=example'
response = requests.get(url, headers=headers)
print(response.text)