Ich habe eine Sammlung von Nachrichtenartikeln und möchte einige neue (unvoreingenommene) Nachrichtenartikel mit
meta-llama/Meta-Llama-3-8B-Instruct erstellen. Die Artikel befinden sich in einem
huggingface Dataset und um die
Pipeline der Transformers-Bibliothek zu versorgen, verwende ich ein
KeyDataset wie dieses:
Code: Select all
key_dataset = KeyDataset(content, "prompt")
where prompt = "orders for LLM + Article_content"
Ich möchte neue Artikel in Stapeln produzieren, um die GPU besser zu nutzen dies:
Code: Select all
outputs = list(tqdm(pipeline(key_dataset,
batch_size=4,
max_new_tokens = 2*2024,
eos_token_id=terminators,
do_sample=True,
temperature=1,
top_p=0.9,),
total=len(key_dataset)))
Das Problem besteht darin, dass für einige Artikel manchmal überhaupt kein Text generiert wird. Warum ist das so? Funktioniert die Stapelverarbeitung nicht für Eingaben unterschiedlicher Länge?