Effiziente Möglichkeit, mit großen Dateien umzugehen: Zu viele Speicherfehler ⇐ Python

[Anonymous]

Ich brauche bitte Rat. Ich arbeite an einem konditionierten Wartungsschulprojekt für Meeresmotoren mit KI- und ML -Techniken. Die Daten, die ich habe, enthält sowohl normale als auch fehlerhafte Dateien für unterschiedliche Lastbedingungen. Sie alle enthalten die gleiche Anzahl von Spalten (Motorparameter: Zylinderdruck usw.), aber die Anzahl der Zeilen ist massiv. Im Durchschnitt habe ich 30000000 Zeilen pro Spalte (29 Spalten pro Datei) für insgesamt 56 Dateien. Für das Leben von mir, egal wie viel ich versuche, mit meinem Projekt voranzukommen, bin ich aufgrund von Speicherfehler immer stecken. Jeder Rat wäre geschätzt.