Verwenden von Local LLM mit LM Studio zum Erstellen von Agenten ⇐ Python

[Anonymous]

Ich verwende das Modell phi-3-mini-4k-instruct von LM Studio und starte den HTTP-Server auf meinem Computer. Dann habe ich ein Agentenskript, das dieses Modell verwendet. Das Problem besteht jedoch darin, dass es immer noch das Modell ist, wenn ich mein Agentenskript ausführe, anstatt als von mir erstellte Agenten erkannt zu werden. Unten ist mein aktuelles Drehbuch und wenn ich ihn frage: „Sind Sie Kirchenassistent?“ es antwortete mir
„Nein, ich bin kein Kirchenassistent per se. Ich kann jedoch Informationen über Kirchen bereitstellen, bei der Beantwortung von Fragen zu Religion und Glaubenspraktiken helfen oder bei der Online-Suche nach religiösen Gottesdiensten helfen. Als KI besteht meine Aufgabe darin, Benutzer mit dem Wissen zu unterstützen und anzuleiten, das bis zu meinen letzten Trainingsdaten verfügbar ist.“
Wie behebe ich das?

Code: Select all

from dotenv import load_dotenv
from langchain_openai import ChatOpenAI
from google_drive_csv import list_drive_files, read_csv_from_drive, read_google_sheet
from langchain_core.prompts import ChatPromptTemplate
from langchain.agents import create_tool_calling_agent, AgentExecutor

load_dotenv()

llm = ChatOpenAI(model="gpt-4o", base_url="http://localhost:1234/v1", api_key="lm-studio")
tools = [list_drive_files, read_csv_from_drive, read_google_sheet]

prompt = ChatPromptTemplate.from_messages(
[
(
"system",
"""
You are a church treasurer assistant that will help manage church finances using csv files.
Answer the user query and use neccessary tools to help the church treasurer with the monthly csv files.
""",
),
("human", "{query}"),
("placeholder", "{agent_scratchpad}"),
]
)

agent = create_tool_calling_agent(
llm=llm,
prompt=prompt,
tools=tools
)

agent_executor = AgentExecutor(agent=agent, tools=tools, verbose=True)
query = input("What can i help you assist? ")
raw_response = agent_executor.invoke({"query": query})
print(raw_response)