Identifizieren Sie mit Python geänderte Verzeichnisse im Objektspeicher seit einem bestimmten Datum/Uhrzeit ⇐ Python

[Anonymous]

Da ich einen S3-Objektspeicher habe, möchte ich wissen, welche Verzeichnisse in einem Basisverzeichnis sich seit einem bestimmten Datum und einer bestimmten Uhrzeit geändert haben.
Es würde ähnlich wie get_changed_directories funktionieren:

Code: Select all

bucket_directory = "your_bucket_name/base_directory"
since_datetime = datetime(2023, 1, 1, tzinfo=timezone.utc)

changed_dirs = get_changed_directories(s3_client, bucket_directory, since_datetime)
>>> ["your_bucket_name/base_directory/subdir_1", "your_bucket_name/base_directory/subdir_2", "your_bucket_name/base_directory/subdir_4"]

Der s3_client kann ein beliebiger Client sein; zum Beispiel boto3, aber asynchrones aiboto3 oder s3fs ist normalerweise schneller.
Anmerkungen
Nach einigen Experimenten scheint dies die schnellste Methode zu sein, Details in einem Verzeichnis aufzulisten:

Code: Select all

s3_file.ls(directory, detail=True, refresh=True)