Gibt es eine Möglichkeit, die Verkettung von Dateien zu optimieren, anstatt Dateidaten an eine Python -Liste anzuhängen? ⇐ Python

[Anonymous]

Ich erstelle einen Dateikompiler, der Daten aus CSV -Dateien aufnimmt, und nach 8 Dateien verkettet die Daten die Daten in eine separate CSV -Datei. Das Programm dauert ziemlich lange, um diese Funktionen auszuführen. Gibt es eine optimiertere Möglichkeit, dies zu erreichen? () Nach. Da ich os.walk verwende, um vom Ordner zum Ordner zu springen. Der Inhalt in jedem der Ordner ist eine inkonsistente Menge an CSV -Dateien, die Daten für die MSE RMSE und MAE eines Modells speichern. Der Grund, warum ich einen Datenrahmen verwende, ist, dass ich versuche, die Daten in jeder der CSV -Dateien für die weitere Datenanalyse zu verwenden (Grund, warum sie alle 8 Dateien verkettet, liegt darin, dass jedes Modell über 8 Ausgänge enthält). Alle CSV -Dateien haben eine Zeile für einen Header und sind 6 Spalten von 5 Zeilen.

Code: Select all

data = []

data_value = pd.read_csv(os.path.join(root, file), sep='\t') #Reading data into df

data.append(data_value) # appending df to a list

pd.concat(data) #concatenating all data in list into a data frame