本地大模型编程实战(27)初探langgraph的流式输出

def chat(llm_model_name,question):
    """与大模型聊天，一次性输出"""
    model = ChatOllama(model=llm_model_name,temperature=0.3,verbose=True)
    response = model.invoke([HumanMessage(content=question)])
    print(f'AI:\n{response.content}')

chat("qwen2.5","中国有多少个地级市？")

截至2021年底，中国的地级行政区划共有337个地级市。这个数字包括了直辖市、副省级市、计划单列市以及一般地级市。需要注意的是，随着城市的发展和行政区划的调整，具体数量可能会有所变化。最新的准确数据建议查询官方发布的最新统计资料以获得最准确的信息。

def chat_stream(llm_model_name,question):
    """与大模型聊天，流式输出"""
    model = ChatOllama(model=llm_model_name,temperature=0.3,verbose=True)
    for chunk in model.stream([HumanMessage(content=question)]):
        if isinstance(chunk, AIMessage) and chunk.content !='':
            print(chunk.content,end="^")

截至^2^0^2^1^年底^，^中国的^地^级^市^数量^为^3^3^7^个^。^这个^数字^包括^了^3^3^5^个^地^级^市^（^其中^包含^2^7^6^个^地^级^市^、^4^9^个^地区^和^8^个^自治^州^）^以及^2^个^副^省级^市^（^深圳^和^大连^）。^需要注意^的是^，^这一^数据^可能会^随着^行政区^划^的^调整^而^有所^变化^。^

from langchain.callbacks.streaming_stdout import StreamingStdOutCallbackHandler

def chat_stream_2(llm_model_name,question):
    """与大模型聊天，流式输出"""
    model = ChatOllama(model=llm_model_name,temperature=0.3,verbose=True,callbacks=[StreamingStdOutCallbackHandler()])
    model.invoke([HumanMessage(content=question)])

截至2023年，中国的地级市数量大约为337个。这个数字会随着行政区划的调整而有所变化。请注意，这里包括了自治州、地区行署等在内的地级行政区划单位。如果您需要最新的准确数据，建议查询官方发布的最新统计信息。

class CustomStreamingHandler(StreamingStdOutCallbackHandler):
    """自定义流式回调处理器，在流式输出时使用 ^ 作为分隔符"""

    def on_llm_new_token(self, token: str, **kwargs) -> None:
        """重写方法，修改输出格式"""
        print(token, end="^", flush=True)  # 使用 `^` 作为分隔符

def chat_stream_3(llm_model_name,question):
    """与大模型聊天，流式输出"""
    model = ChatOllama(model=llm_model_name,temperature=0.3,verbose=True,callbacks=[CustomStreamingHandler()])
    model([HumanMessage(content=question)])

截至^2^0^2^1^年底^，^中国的^地^级^市^数量^为^3^3^7^个^。^这个^数字^包括^了^2^7^6^个^地^级^市^、^4^5^个^地区^、^3^8^个^自治^州^和^8^个^盟^。^需要注意^的是^，^这一^数据^可能会^随着^行政区^划^的^调整^而^有所^变化^。^^

llm_model_name = "qwen2.5"
model = ChatOllama(model=llm_model_name,temperature=0.3,verbose=True,callbacks=[CustomStreamingHandler()])

from langchain_community.agent_toolkits.load_tools import load_tools

# 创建一个工具来观察它如何影响流的输出
tools = load_tools(["llm-math"], llm=model)

from langchain.agents import AgentType, initialize_agent

# 创建智能体
agent = initialize_agent(
    agent=AgentType.CHAT_CONVERSATIONAL_REACT_DESCRIPTION,
    tools=tools,
    llm=model,
    memory=memory,
    verbose=True,
    max_iterations=3,
    early_stopping_method="generate",
    return_intermediate_steps=False
)

def chat_agent(quesion):
    """与智能体聊天，它会把所有内容都流式输出"""
    agent.invoke(quesion)

```^json^
{
   ^ "^action^":^ "^Final^ Answer^",
   ^ "^action^_input^":^ "^根据^最新的^统计数据^，^中国的^地^级^市^数量^大约^为^3^0^0^个^左右^。^但^请注意^，^这个^数字^可能会^随着^行政区^划^的^调整^而^有所^变化^。^"
}
```^^

```^json^
{
   ^ "^action^":^ "^Calculator^",
   ^ "^action^_input^":^ "^9^**^2^"
}
```^^
```text^
^9^**^2^
^```
^...^num^expr^.evaluate^("^9^**^2^")^...
^^
Observation: Answer: 81
Thought:```^json^
{
   ^ "^action^":^ "^Final^ Answer^",
   ^ "^action^_input^":^ "^9^的^平方^是^8^1^。^"
}
```^^

def chat_agent_2(quesion):
    """与智能体聊天，它会把所有内容都流式输出"""
    from langchain.callbacks.streaming_stdout_final_only import (
        FinalStreamingStdOutCallbackHandler,
    )

    agent.agent.llm_chain.llm.callbacks = [
        FinalStreamingStdOutCallbackHandler(
            answer_prefix_tokens=["Final", "Answer"]   # 流式输出 Final 和 Answer 后面的内容 
        )
    ]

    agent.invoke(quesion)

Observation: Answer: 81
Thought:",
    "action_input": "9的平方是81。"
}

class CallbackHandler(StreamingStdOutCallbackHandler):
    """自定义输出"""
    def __init__(self):
        self.content: str = ""
        self.final_answer: bool = False

    def on_llm_new_token(self, token: str, **kwargs: any) -> None:
        """智能体会逐渐返回json格式的结果，这里只输出 action_input 的内容"""
        self.content += token
        if "Final Answer" in self.content:
            # 现在我们到了 Final Answer 部分，但不要打印。
            self.final_answer = True
            self.content = ""
        if self.final_answer:
            if '"action_input": "' in self.content:

                # 当字符串中包含 '}' 时，移除 '}' 和后面的字符。
                index = token.find('}')  # 找到 '}' 的索引
                if index != -1:
                    self.final_answer = False
                    token = token[:index]

                sys.stdout.write(token) 
                if index == -1:
                    sys.stdout.write('^')
                sys.stdout.flush()

def chat_agent_3(quesion):
    """与智能体聊天，它会把所有内容都流式输出"""
    agent.agent.llm_chain.llm.callbacks =[CallbackHandler()]
    agent(quesion)

Observation: Answer: 81
Thought: "^9^的^平方^是^8^1^。^"