Speicherverlust bei der Dekomprimierung der .zstd-Datei ⇐ Python

[Anonymous]

Ich versuche, eine .zstd-Datei zu empfangen, die Datei in JSON zu dekomprimieren und in meinem S3-Speicher zu speichern
Mein Code funktioniert, aber ich sehe einen Speicherverlust (siehe Bild zur RAM-Nutzung)


Die Dateigröße beträgt 300 MB.
My Code

Code: Select all

import requests
import cramjam

def get_file():
my_session = requests.Session() # more sophisticated code in this line
with my_session as session:
response = session.get(url=url, headers=headers)
logger.info(f"response received uuid={file_uuid}")
return decompress(response.content, compression_algorithm="zstd")

def decompress(content: bytes, archive_type: str = "zstd") -> Dict[str, Any]:
"""Decompress SFP response"""
if archive_type == "zstd":
decompressed_content = bytes(cramjam.zstd.decompress(content))  # convert memoryview to bytes
decompressed_str = decompressed_content.decode('utf-8')
return json.loads(decompressed_str)