{{ds}} wird in meiner Luftstrom -DAG nicht interpretiert
Posted: 20 Mar 2025, 15:12
Mein Ziel ist es, einige sftptos3operator dynamisch zu erstellen, um Dateien von einem Server nach Amazon S3 abzurufen. Bediener.
Das Ziel von list_files_to_transfer besteht darin, eine Liste der Aufgaben zu erstellen, eine Aufgabe für jede Datei:
Und natürlich verwende ich dieses Datum, um Datei zu finden, aber OffioulSy fand keine Datei mit dem Namen xxx _ {{macros.ds_add (ds, -1)}}.>
Code: Select all
with DAG(...)
as dag:
init_task = DummyOperator(task_id='dag_start')
alertPerfOperatorsTask = list_files_to_transfer()
init_task >> alertPerfOperatorsTask
Code: Select all
def list_files_to_transfer():
logger = logging.getLogger('airflow.task')
yesterday_date = '{{ macros.ds_add(ds, -1) }}'
logger.info("yesterday_date: " + yesterday_date)
sftp_hook = SFTPHook(ssh_conn_id='SFTP__gas__PointBreakExporter')
with sftp_hook.get_conn() as sftp_client:
remote_path = 'out/IQUAL_DEV/'
...
return alertPerfOperatorsTask (list of SFTPToS3Operator)
< /code>
Wenn ich mir mein Protokoll anschaue, bekomme ich: < /p>
INFO - yesterday_date: `{{ macros.ds_add(ds, -1) }}` instead of yesterday_date: 2025-03-19