Puppenspieler Scraping: Siehe XHR -Antwortdaten, bevor die Anforderung für Echtzeitdaten abgeschlossen ist ⇐ JavaScript

[Anonymous]

Ich verwende Puppenspieler, um eine Website für Echtzeitdaten in NodeJs zu kratzen. Anstatt die Seite zu kratzen, schaue ich mir die Backend -Anfragen an und erfasse die JSON-/Textantworten, damit ich strukturiertere Daten habe. (Und mehr Daten zu sehen als im Browser angezeigt.) Alles funktioniert, außer dass einige Daten mit einer Firestore -Anforderung aktualisiert werden. Ich kann die Antwort auf diese Anforderung erfassen, aber nur die Daten abrufen, wenn die Anforderung abgeschlossen ist.
Wenn ich die Anforderung/Antwort im Browser überwachte, kann ich sehen "Nachrichten" im Antwortpaket: < /p>

16
[[732, ["Noop"]]
16
[[733, ["noop"]]
123
[[734, [{
"targetChange": {
"Aufnahmeköpfe": "cgkigqb+n7tfiwm =" ,
"Readtime": "2025-02-15T09: 53: 39.558146z"
}
}
]]]
16
[[735) , ["noop"]] < /p>
< /blockquote>
, wobei jede Nachricht über mehrere Sekunden eingeht. Irgendwann wird die Anfrage abgeschlossen und eine neue Firebase -Anfrage wird gestellt. Das Problem ist, dass ich nur alle diese Nachrichten in meiner App sehe, sobald die Antwort abgeschlossen ist und nicht in Echtzeit, da jede Nachricht eingeht (was meine App benötigt, um Änderungen in Echtzeit anzuzeigen) < /p>
Gibt es eine Möglichkeit, die Antwortdaten so zu sehen, wie sie empfangen werden, und nicht nur, wenn die Anfrage abgeschlossen ist? < /p>

Code: Select all

    page.on('response', async (response) => {
if (response.request().resourceType() === 'xhr') {
console.log('Firestore Response URL:', response.url());
const theResponse = await response.text();
console.log('response.text: ', theResponse);
}
}