Skalierung von Lag -QA mit großen Dokumenten, Tischen und 30k+ Stücken (keine Langchain)Python

Python-Programme
Anonymous
 Skalierung von Lag -QA mit großen Dokumenten, Tischen und 30k+ Stücken (keine Langchain)

Post by Anonymous »

Ich baue ein QA-System auf rappenbasiertem Dokument mit Python (no Langchain), Lama (50K-Kontext), PostgreSQL mit PGVector und Docling for Parsing. Benutzer können bis zu 10 große Dokumente hochladen (jeweils 300 Seiten), die häufig zahlreiche Tabellen und Diagramme enthalten. Chunk zur Verbesserung der rensiver, aber:
Es ist zu teuer, LLM-Zusammenfassungen für alle 30k-Abschnitte zu erzeugen. bewährte Strategien zu:
Präzision beim ersten Abrufen in der Skala
tabel-haavy-Inhalt effektiver
Kosten reduzieren und gleich

Quick Reply

Change Text Case: 
   
  • Similar Topics
    Replies
    Views
    Last post