Wie funktioniert die Batch-Option in der Pipeline-Transformer-Bibliothek?Python

Python-Programme
Guest
 Wie funktioniert die Batch-Option in der Pipeline-Transformer-Bibliothek?

Post by Guest »

Ich habe eine Sammlung von Nachrichtenartikeln und möchte einige neue (unvoreingenommene) Nachrichtenartikel mit meta-llama/Meta-Llama-3-8B-Instruct erstellen. Die Artikel befinden sich in einem huggingface Dataset und um die Pipeline der Transformers-Bibliothek zu versorgen, verwende ich ein KeyDataset wie dieses:

Code: Select all

key_dataset = KeyDataset(content, "prompt")
where prompt = "orders for LLM + Article_content"
Ich möchte neue Artikel in Stapeln produzieren, um die GPU besser zu nutzen dies:

Code: Select all

outputs = list(tqdm(pipeline(key_dataset,
batch_size=4,
max_new_tokens = 2*2024,
eos_token_id=terminators,
do_sample=True,
temperature=1,
top_p=0.9,),
total=len(key_dataset)))
Das Problem besteht darin, dass für einige Artikel manchmal überhaupt kein Text generiert wird. Warum ist das so? Funktioniert die Stapelverarbeitung nicht für Eingaben unterschiedlicher Länge?

Quick Reply

Change Text Case: 
   
  • Similar Topics
    Replies
    Views
    Last post