Ich habe ein Problem, bei dem ein Programm Folgendes tun muss:
1. Ein großes (4K+) JSON-Dokument einlesen;
2. Ändern Sie ein tief darin verschachteltes Objekt, oft nur ein Feld eines Objekts.
3. Schreiben Sie es noch einmal aus.
Selbst mit so etwas wie „orjson“ ist das für eine sehr kleine Änderung ein großer Aufwand. Gibt es etwas, das dies beschleunigen könnte und nicht die gesamte JSON-Struktur deserialisieren muss?
(Die zugrunde liegende Speicher-Engine ist PostgreSQL, aber ich bin bereit, andere mögliche Engines in Betracht zu ziehen, wenn dadurch die Leistung radikal verbessert wird.)
Dies auf PostgreSQL-Ebene zu tun, löst das Problem nur teilweise, da PostgreSQL derzeit keine Möglichkeit hat, direkte Änderungen an einem Teil eines JSONB-Felds vorzunehmen: it deserialisiert das Ganze, nimmt die Änderung vor und serialisiert es erneut.
Das zugrunde liegende Datenformat kann nicht geändert werden, und da es eine große Vielfalt an Daten mit tief verschachtelten Objekten enthält, ist es nicht praktikabel, es stattdessen auf relationale Daten abzubilden.
Inkrementelle/partielle Deserialisierung in Python für JSON? [geschlossen] ⇐ Python
-
- Similar Topics
- Replies
- Views
- Last post
Mobile version