Wie verbessert man die Kontextretention in einem Python -Chatbot, ohne große Transformatormodelle zu verwenden? [geschlo ⇐ Python

[Anonymous]

Ich erstelle einen Python -Chatbot, der sich über den Kontext über mehrere Benutzerinteraktionen hinweg erinnert. Ich habe jedoch ein Problem, bei dem der Chatbot frühere Benutzereingaben bei der Reaktion nicht behält. Aufgrund von Ressourcenbeschränkungen kann ich keine großen Transformatormodelle wie GPT-4 oder Bert verwenden, daher brauche ich eine leichte Alternative. spacy) < /strong> < /p>
Ausgabe: funktioniert für die Wortsegmentierung, behält jedoch keine Bedeutung oder Konversationshistorie auf. Wörter sinnvoll, aber keine Multi-Turn-Gespräche gut behandelt. Abhängigkeit). < /p>
Was ich bisher ausprobiert habe (mit Code -Beispiel)
Ich experimentiere derzeit mit LSTMS für den Sequenzspeicher, aber der Chatbot vergisst immer noch frühere Teile der Konversation. Hier ist eine vereinfachte Version meiner Implementierung: < /p>
from keras.models import Sequential
from keras.layers import LSTM, Dense, Embedding
import numpy as np

# Sample chatbot training data
X_train = np.array([[1, 2, 3], [4, 5, 6]]) # Example tokenized sentences
y_train = np.array([[3, 2, 1], [6, 5, 4]]) # Expected responses

# LSTM Model
model = Sequential()
model.add(Embedding(input_dim=10, output_dim=8, input_length=3))
model.add(LSTM(50, return_sequences=False))
model.add(Dense(3, activation="softmax"))

model.compile(optimizer="adam", loss="categorical_crossentropy",
metrics=["accuracy"])
model.fit(X_train, y_train, epochs=10)

# Problem: Model forgets earlier user inputs after a few interactions.
< /code>
Fragen < /strong>
Wie kann ich die kurzfristige Kontextretention in meinem Chatbot verbessern, ohne große Transformatormodelle zu verwenden? Leichte aufmerksamkeitsbasierte Modelle, die dazu beitragen könnten, den Kontext aufrechtzuerhalten?>