Wie funktioniert die Batch-Option in der Pipeline-Transformer-Bibliothek?
Posted: 03 Jan 2025, 17:45
Ich habe eine Sammlung von Nachrichtenartikeln und möchte einige neue (unvoreingenommene) Nachrichtenartikel mit meta-llama/Meta-Llama-3-8B-Instruct erstellen. Die Artikel befinden sich in einem huggingface Dataset und um die Pipeline der Transformers-Bibliothek zu versorgen, verwende ich ein KeyDataset wie dieses:
where prompt = "orders for LLM + Article_content"
Ich möchte neue Artikel in Stapeln produzieren, um die GPU besser zu nutzen dies:
Das Problem besteht darin, dass für einige Artikel manchmal überhaupt kein Text generiert wird. Warum ist das so? Funktioniert die Stapelverarbeitung nicht für Eingaben unterschiedlicher Länge?
Code: Select all
key_dataset = KeyDataset(content, "prompt")
Ich möchte neue Artikel in Stapeln produzieren, um die GPU besser zu nutzen dies:
Code: Select all
outputs = list(tqdm(pipeline(key_dataset,
batch_size=4,
max_new_tokens = 2*2024,
eos_token_id=terminators,
do_sample=True,
temperature=1,
top_p=0.9,),
total=len(key_dataset)))