本地大模型编程实战(19)用langgraph实现RAG(Retrieval Augmented Generation,检索增强生成)(3)

embed_model_name = "shaw/dmeta-embedding-zh"
vector_store = Chroma(persist_directory=get_persist_directory(embed_model_name),embedding_function=OllamaEmbeddings(model=embed_model_name))

from langgraph.graph import MessagesState, StateGraph
graph_builder = StateGraph(MessagesState)

Human：“什么是任务分解？”
AI：“任务分解涉及将复杂任务分解为更小、更简单的步骤，以使代理或模型更易于管理。”
Human：“常见的做法是什么？”

@tool(response_format="content_and_artifact",parse_docstring=True)      # docstring的内容对agent自动推理影响比较大
def retrieve(query: str):
    """检索与 query参数内容 相关的信息

    Args:
        query: 要搜索的字符串。 
    """

    print(f"start retrieve:{query}")

    # 定义相似度阈值。因为这种相似性检索并不考虑相似性大小，如果不限制可能会返回相似性不大的文档， 可能会影响问答效果。
    similarity_threshold = 0.8
    retrieved_docs = vector_store.similarity_search_with_score(query, k=3)

    # 根据相似度分数过滤结果
    filtered_docs = [
        doc for doc, score in retrieved_docs if score <= similarity_threshold
    ]

    serialized = "\n\n".join(
        (f"Source: {doc.metadata}\n" f"Content: {doc.page_content}")
        for doc in filtered_docs
    )

    if not serialized:
        return "抱歉，我找不到任何相关信息。", None
    else:
        return serialized, filtered_docs

# 1: 生成可能包含工具调用（tool_call）的 AIMessage。
def query_or_respond(state: MessagesState):
    """生成用于检索或响应的工具调用。"""

    llm_with_tools = llm.bind_tools([retrieve])
    response = llm_with_tools.invoke(state["messages"])
    """
    这里会自动进行指代消解：根据上下文自动修改问题，把问题中的代词替换成上下文中的内容
    """
    # MessagesState 将消息附加到 state 而不是覆盖
    return {"messages": [response]}

# 2: 执行检索
tools = ToolNode([retrieve])

# 3: 使用检索到的内容生成响应。
def generate(state: MessagesState):
    """生成回答。"""

    # 获取生成的 ToolMessages
    recent_tool_messages = []
    for message in reversed(state["messages"]):
        if message.type == "tool":
            recent_tool_messages.append(message)
        else:
            break
    tool_messages = recent_tool_messages[::-1]

    # 获取 ToolMessages 的内容，并格式化为提示词
    docs_content = "\n\n".join(doc.content for doc in tool_messages)
    system_message_content = (
        "你是一个负责答疑任务的助手。 "
        "使用以下检索到的上下文来回答问题。 "
        "如果你不知道答案，就说你不知道。 "
        "最多使用三句话并保持答案简洁。 "
        "\n\n"
        f"{docs_content}"
    )
    conversation_messages = [
        message
        for message in state["messages"]
        if message.type in ("human", "system")
        or (message.type == "ai" and not message.tool_calls)
    ]
    prompt = [SystemMessage(system_message_content)] + conversation_messages

    # 执行
    response = llm.invoke(prompt)
    # MessagesState 将消息附加到 state 而不是覆盖
    return {"messages": [response]}

def build_graph(llm_model_name):
    """构建 langgraph 链"""
    
    llm = ChatOllama(model=llm_model_name,temperature=0, verbose=True)

    # 串联节点和边，构建图
    graph_builder = StateGraph(MessagesState)

    graph_builder.add_node(query_or_respond)
    graph_builder.add_node(tools)
    graph_builder.add_node(generate)

    graph_builder.set_entry_point("query_or_respond")
    graph_builder.add_conditional_edges(
        "query_or_respond",
        tools_condition,
        {END: END, "tools": "tools"},
    )
    graph_builder.add_edge("tools", "generate")
    graph_builder.add_edge("generate", END)

    graph = graph_builder.compile()
    return graph

def ask(llm_model_name,question):
    """提问"""

    graph = build_graph(llm_model_name)
    for step in graph.stream(
        {"messages": [{"role": "user", "content": question}]},
            stream_mode="values",
        ):
            step["messages"][-1].pretty_print()

query1 = "马的学名是什么？它有什么用途？"
query2 = "中国有多少个省份？"

================================ Human Message =================================

马的学名是什么？它有什么用途？
================================== Ai Message ==================================
Tool Calls:
  retrieve (729acad9-b8ae-4ed3-aa12-f48dd431d8ed)
 Call ID: 729acad9-b8ae-4ed3-aa12-f48dd431d8ed
  Args:
    query: 马 学名
start retrieve:马 学名
================================= Tool Message =================================
Name: retrieve

Source: {'row': 2, 'source': 'D:\\project\\programming-with-local-large-language-model\\server\\services\\practice\\assert/animals.csv'}
Content: 名称: 马
学名: Equus ferus caballus
特点: 速度快、耐力强、与人类有深厚的合作关系
作用: 交通、战马、农业、体育竞技
================================== Ai Message ==================================

马的学名是Equus ferus caballus。马的用途包括交通、作为战马、用于农业劳动以及参与体育竞技。

================================ Human Message =================================

中国有多少个省份？
================================== Ai Message ==================================

中国的行政区划中，通常指的是34个省级行政区，包括23个省、5个自治区、4个直辖市以及香港特别行政区和澳门特别行政区。如果您需要更详细的信息或者有其他问题，请告诉我！

================================ Human Message =================================

马的学名是什么？它有什么用途？
================================== Ai Message ==================================
Tool Calls:
  retrieve (c811874c-528f-4f17-878b-774452af14d8)
 Call ID: c811874c-528f-4f17-878b-774452af14d8
  Args:
    query: 王的学名我是，常用给为为
start retrieve:王的学名我是，常用给为为
================================= Tool Message =================================
Name: retrieve

抱歉，我找不到任何相关信息。
================================== Ai Message ==================================

马的学名是Equus caballus。马主要用于运输、耕作和骑乘等方面。

================================ Human Message =================================

中国有多少个省份？
================================== Ai Message ==================================
Tool Calls:
  retrieve (95b0f1ca-9292-4df6-b670-64a267ef1a60)
 Call ID: 95b0f1ca-9292-4df6-b670-64a267ef1a60
  Args:
    query: 中国有有二市综名
start retrieve:中国有有二市综名
================================= Tool Message =================================
Name: retrieve

抱歉，我找不到任何相关信息。
================================== Ai Message ==================================

中国共有34个省份。

================================ Human Message =================================

马的学名是什么？它有什么用途？
================================== Ai Message ==================================
Tool Calls:
  retrieve (9fcc67a2-e78e-489c-81d3-ed50688c4422)
 Call ID: 9fcc67a2-e78e-489c-81d3-ed50688c4422
  Args:
    query:  horse's scientific name
start retrieve: horse's scientific name
================================= Tool Message =================================
Name: retrieve

Source: {'row': 2, 'source': 'D:\\project\\programming-with-local-large-language-model\\server\\services\\practice\\assert/animals.csv'}
Content: 名称: 马
学名: Equus ferus caballus
特点: 速度快、耐力强、与人类有深厚的合作关系
作用: 交通、战马、农业、体育竞技
================================== Ai Message ==================================

<think>
好的，我现在需要回答用户的问题：“马的学名是什么？它有什么用途？”首先，我查看提供的上下文内容。内容中提到“名称: 马”和“学名: Equus ferus caballus”。所以，马的学名应该是Equus ferus caballus。

接下来，关于用途部分，内容里列出了几点：交通、战马、农业、体育竞技。这些都是马被广泛使用的领域。因此，我需要将这些信息整合成一个简洁的回答。

最后，确保回答不超过三句话，并且保持简洁明了。这样用户就能清楚地得到学名和用途的信息。
</think>

马的学名是Equus ferus caballus。它主要用作交通工具、军事马、农业动物以及体育竞技中的赛马。

================================ Human Message =================================

中国有多少个省份？
================================== Ai Message ==================================
Tool Calls:
  retrieve (3ce0bbec-2612-4e79-85b8-d7f9cbe0d422)
 Call ID: 3ce0bbec-2612-4e79-85b8-d7f9cbe0d422
  Args:
    query: 中国有多少个省份？
start retrieve:中国有多少个省份？
================================= Tool Message =================================
Name: retrieve

抱歉，我找不到任何相关信息。
================================== Ai Message ==================================

<think>
嗯，用户问的是中国有多少个省份。我记得中国有34个省份，对吧？不过有时候也会加上特别行政区和台湾地区，这样就是36个地方了。但通常在正式统计中，不包括香港和澳门，所以应该是34个省份。我应该确认一下这个数字是否正确 ，确保回答准确。
</think>

中国有34个省份。