Ich habe ein Programm geschrieben, das Requests_Html verwendet, um JavaScript zu holen, JavaScript zu rendern und dann bestimmte Bits (mit CSS -Selektoren) aus bestimmten Webseiten auszuwählen. Es funktioniert auf meinem Ubuntu -Laptop, aber nicht auf dem kopflosen Himbeer -Pi (wo ich es als Cron -Job laufen möchte). Ich habe einige Tests in Repl gemacht und diese Diskrepanz gefunden: < /p>
Laptop in Idle3, Python 3.11.0: < /h1>
Code: Select all
s = requests_html.HTMLSession()
r = s.get(url)
h = r.html
len(h.html)
342318
h.render()
len(h.html)
461598
< /code>
Das habe ich erwartet - das JavaScript fügt den Inhalt hinzu, den ich auf der Seite möchte.>>> s = requests_html.HTMLSession()
>>> r = s.get(url)
>>> h = r.html
>>> len(h.html)
341539
>>> h.render()
>>> len(h.html)
339279
Das ist offensichtlich nicht richtig!>