Programmiererforum

key_dataset = KeyDataset(content, "prompt")

outputs = list(tqdm(pipeline(key_dataset,
batch_size=4,
max_new_tokens = 2*2024,
eos_token_id=terminators,
do_sample=True,
temperature=1,
top_p=0.9,),
total=len(key_dataset)))

Ich habe eine Sammlung von Nachrichtenartikeln und möchte einige neue (unvoreingenommene) Nachrichtenartikel mit [b]meta-llama/Meta-Llama-3-8B-Instruct[/b] erstellen. Die Artikel befinden sich in einem [b]huggingface[/b] [b]Dataset[/b] und um die [b]Pipeline[/b] der Transformers-Bibliothek zu versorgen, verwende ich ein [b]KeyDataset[/b] wie dieses:
[code]key_dataset = KeyDataset(content, "prompt")
[/code]
where prompt = "orders for LLM + Article_content"
Ich möchte neue Artikel in Stapeln produzieren, um die GPU besser zu nutzen dies:
[code]outputs = list(tqdm(pipeline(key_dataset,
batch_size=4,
max_new_tokens = 2*2024,
eos_token_id=terminators,
do_sample=True,
temperature=1,
top_p=0.9,),
total=len(key_dataset)))
[/code]
Das Problem besteht darin, dass für einige Artikel manchmal überhaupt kein Text generiert wird. Warum ist das so? Funktioniert die Stapelverarbeitung nicht für Eingaben unterschiedlicher Länge?