Multiframe-ZSTD-Datei: Wie springe ich zur zweiten Datei und streame sie? ⇐ Python

[Anonymous]

Ich komprimiere zwei ndjson-Dateien in eine Multiframe-ZST-Datei, wobei jeder ndjson in einen Frame komprimiert wird. Ich habe die folgenden Metadaten meta_data (als Liste) der ZST-Datei:

Code: Select all

import zstandard as zstd
from pathlib import Path

input_file  = r"E:\Personal projects\tmp\test.zst"
input_file  = Path(output_file)

meta_data = [{'name'                : 'chunk_0.ndjson',
'uncompressed_size'   : 2147473321,
'compressed_offset'   : 0,
'uncompressed_offset' : 0,
'compressed_size'     : 175631248},
{'name'                : 'chunk_0.ndjson',
'uncompressed_size'   : 2147473321,
'compressed_offset'   : 175631248,
'uncompressed_offset' : 2147473321,
'compressed_size'     : 175631248}]

Wie können wir in Python die oben genannten Metadaten nutzen, um nach chunk_1.ndjson zu suchen, mit der Dekomprimierung zu beginnen und es Zeile für Zeile zu streamen? Auf diese Weise müssen wir nicht

• chunk_0.ndjson dekomprimieren,
• den gesamten komprimierten chunk_1.ndjson in den Speicher laden.