Schreiben Sie Aktivitäten auf MySQL, während Sie Tabellendaten über Glue exportieren ⇐ MySql

[Guest]

Ich versuche, Tabellendaten (9 Millionen Zeilen mit 40 GB Daten) auf Vanilla MySQL RDS mit Glue nach S3 zu exportieren. Ich teste es auf einer kleineren Instanz t3.medium. Dies ist der einzige Job/die einzige Abfrage, die auf der DB-Instance ausgeführt wird.
Ich sehe, dass WriteOps stattfindet. Bei weiteren Nachforschungen sehe ich, dass temporäre Tabellen erstellt werden und die Anzahl weiter zunimmt.
Eine der Beobachtungen ist, dass der von Glue ausgeführte Befehl vom Typ „Ausführen“ und nicht vom Typ „Abfrage“ ist.
Die Abfrage hat keine jede where/groupby/order-Klausel.
Ich versuche herauszufinden, warum das passiert und welche Auswirkungen es auf die Leistung hätte, wenn ich es auf einer Produktionsinstanz ausführe.
I Ich habe auch versucht, die Abfrage so auszuführen, wie sie ist

Code: Select all

mysql  -u admin -p -e "SELECT * FROM "  \
--batch --silent --quick | sed 's/\t/,/g' > output.csv

Dies hat keine Schreiboperationen ausgelöst.
Ich dachte an einen Klebejob, da es einfacher wäre, im Parkettformat für die spätere Verwendung in S3 zu schreiben.
Aber die unnötigen WriteOps machen mir Sorgen. Können Sie mir helfen zu verstehen, warum die Glue-Job-Abfrage zu Schreibvorgängen führt und ob ich den richtigen Ansatz für die Archivierung der Daten in S3 verwende?