Google Search Scraping gibt Status 200 zurück, aber keine Ergebnisse, nur ein verstecktes HTML-Div ⇐ Python

[Guest]

Ich habe Google-Suchergebnisse mit Python durchsucht, aber seit gestern ist ein Problem aufgetreten. Wenn ich eine Anfrage sende, wird der Statuscode 200 zurückgegeben, aber anstelle der Suchergebnisse enthält die Antwort ein verstecktes HTML-Div wie dieses:

Code: Select all

Gewünschtes Verhalten: Ich erwarte, dass die Antwort die tatsächlichen Suchergebnisse in einem strukturierten Format enthält (wie JSON oder HTML mit Ergebnissen).
Problem: Google scheint seine Bot-Erkennungsmechanismen verbessert zu haben und ich erhalte nicht mehr die üblichen Suchergebnisse, sondern nur noch dieses HTML-Snippet.
Was ich versucht habe: Ich verwende eine große Proxy-Pool, um eine Erkennung zu vermeiden, aber es hat das Problem nicht gelöst Problem.
Minimaler Code zum Reproduzieren:

Code: Select all

import requests

headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}

url = 'https://www.google.com/search?q=example'

response = requests.get(url, headers=headers)
print(response.text)

Ist das schon einmal jemandem passiert und hat einen Weg gefunden, es zu umgehen? Jede Hilfe wäre dankbar!