Warum dauert das Lesen großer Datenmengen aus einer SQLite-Datenbank mit SQLAlchemy länger als mit Pandas oder CSV? ⇐ Python

[Guest]

Ich möchte Millionen von Einträgen aus einer lokal gehosteten Datenbank in den Speicher von Python einlesen. Ich verwende SQLAlchemy mit SQLite. Ich indiziere mit einer Datums-/Uhrzeitzeichenfolge und einem Symbol und alle Abfragen verwenden nur diese Indizes. Ich bin froh, die Schreibgeschwindigkeit zugunsten der Lesegeschwindigkeit zu opfern. Ich möchte, dass die Lesezeit zumindest einigermaßen mit einer CSV-Datei vergleichbar ist.
Mit einer Abfrage und dann fetchall habe ich 10 Minuten für 10 Millionen Zeilen mit 10 Spalten benötigt. Mit pd.readsql dauerte es eine Minute. Das Lesen derselben Daten aus der CSV-Datei dauerte 18 Sekunden.