Ich baue Datenpipelines (ETL) mit Python und BigQuery. Mein Repository wird sicher in einem Github-ähnlichen Dienst gespeichert und die Pipeline wird in einem Docker-Container erstellt, der später auf einem Kubernetes-Cluster ausgeführt wird. Pipelines: < /p>
Laden Sie die Daten von BigQuery herunter. Die Quellabfragen sind hartcodiert und enthalten den Datensatz. zu bestimmten BigQuery -Tabellen. Auch hier sind die Namen der Zieltabelle hart codiert. Der private Schlüssel zum Generieren des Kunden wird zu einem Attribut des Clients. Der private Schlüssel wird sicher als Geheimnis an den Container übergeben.
Eine andere Sache, die ich ausprobiert habe, ist das Erstellen von Umgebungsvariablen für die Zieltabellennamen. Aber es scheint mir, dass dies dem Code eine unnötige Komplexität und Dunkelheit verleihen kann.
Ist es ein Sicherheitsrisiko? ⇐ Python
-
- Similar Topics
- Replies
- Views
- Last post