by Guest » 17 Jan 2025, 09:51
Da ich einen S3-Objektspeicher habe, möchte ich wissen, welche Verzeichnisse in einem Basisverzeichnis sich seit einem bestimmten Datum und einer bestimmten Uhrzeit geändert haben.
Es würde ähnlich wie get_changed_directories funktionieren:
Code: Select all
bucket_directory = "your_bucket_name/base_directory"
since_datetime = datetime(2023, 1, 1, tzinfo=timezone.utc)
changed_dirs = get_changed_directories(s3_client, bucket_directory, since_datetime)
>>> ["your_bucket_name/base_directory/subdir_1", "your_bucket_name/base_directory/subdir_2", "your_bucket_name/base_directory/subdir_4"]
Der s3_client kann ein beliebiger Client sein; zum Beispiel boto3, aber asynchrones aiboto3 oder s3fs ist normalerweise schneller.
Anmerkungen
Nach einigen Experimenten scheint dies die schnellste Methode zu sein, Details in einem Verzeichnis aufzulisten:
Code: Select all
s3_file.ls(directory, detail=True, refresh=True)
Da ich einen S3-Objektspeicher habe, möchte ich wissen, welche Verzeichnisse in einem Basisverzeichnis sich seit einem bestimmten Datum und einer bestimmten Uhrzeit geändert haben.
Es würde ähnlich wie get_changed_directories funktionieren:
[code]bucket_directory = "your_bucket_name/base_directory"
since_datetime = datetime(2023, 1, 1, tzinfo=timezone.utc)
changed_dirs = get_changed_directories(s3_client, bucket_directory, since_datetime)
>>> ["your_bucket_name/base_directory/subdir_1", "your_bucket_name/base_directory/subdir_2", "your_bucket_name/base_directory/subdir_4"]
[/code]
Der s3_client kann ein beliebiger Client sein; zum Beispiel boto3, aber asynchrones aiboto3 oder s3fs ist normalerweise schneller.
[b]Anmerkungen[/b]
Nach einigen Experimenten scheint dies die schnellste Methode zu sein, Details in einem Verzeichnis aufzulisten:
[code]s3_file.ls(directory, detail=True, refresh=True)
[/code]