Llama3.1 on 有趣的AI

本地大模型编程实战(27)初探langgraph的流式输出

Thu, 27 Feb 2025 00:00:00 +0000

对于 LLM(大语言模型)，流式传输已成为一种越来越受欢迎的功能。其理念是在 LLM 生成令牌时就快速返回，而不是等待创建完整响应后再返回全部内容。

在简单的场景中，流式传输实际上非常容易实现，但当涉及到智能体之类的应用时，它会变得复杂，这些智能体有自己的运行逻辑，可能会阻止我们尝试进行流式传输。

本文将探讨 langchain 的流式输出，后面将实现智能体最终结果的流式输出。

本次演练将全部使用 qwen2.5:7b 开源大模型。

本地大模型编程实战(26)用langgraph实现基于SQL数据构建的问答系统(5)

Wed, 26 Feb 2025 00:00:00 +0000

本文将扩展上一篇文章完成的 langgraph 链，继续使用基于 langgraph 链，对结构化数据库 SQlite 进行查询的方法。该系统建立以后，我们不需要掌握专业的 SQL 技能，可以用自然语言询问有关数据库中数据的问题并返回答案。主要完善一下两点内容：

自动记录消息历史
增加人工审核环节，防止 LLM(大语言模型) 运行危险的SQL语句

我们先看看完成的 langgraph 链的模样，主要有两步：创建SQL查询语句->执行SQL查询语句，在执行SQL查询前中断进行人工审核，上一篇文章的链没有人工审核：


本次实现的链	上一篇文章实现的链

使用 qwen2.5 、 llama3.1 做实验。

请注意:
构建 SQL 数据库的问答系统需要执行模型生成的 SQL 查询。这样做存在风险，请确保您的数据库连接权限始终尽可能小，这将减轻（但不能消除）构建模型驱动系统的风险。

本地大模型编程实战(25)用langgraph实现基于SQL数据构建的问答系统(4)

Tue, 25 Feb 2025 00:00:00 +0000

本文将演练使用基于 langgraph 链，对结构化数据库 SQlite 进行查询的方法。该系统建立以后，我们不需要掌握专业的 SQL 技能，可以用自然语言询问有关数据库中数据的问题并返回答案。
使 大语言模型(LLM) 查询结构化数据与非结构化文本数据有所不同。查询非结构化数据时，通常需要将待查询的文本嵌入到向量数据库中；而查询结构化数据的方法则是让 LLM 编写和执行 DSL（例如 SQL）进行查询。

在用langchain实现基于SQL数据构建问答系统(1) 中，我们已经用 langchain 的 create_sql_query_chain 实现了类似功能，在本文结束后，我们将能看到它们之间的区别。

我们先看看完成的 langgraph 链的模样，情况一目了然，主要有两步：创建SQL查询语句->执行SQL查询语句：

使用 qwen2.5 、 deepseek 以及 llama3.1 做实验。

本地大模型编程实战(24)用智能体(Agent)实现智能纠错的SQL数据库问答系统(3)

Mon, 24 Feb 2025 00:00:00 +0000

本文将实现这样一个 智能体(Agent) ：

可以使用自然语言对 SQLite 数据库进行查询。即：用户用自然语言提出问题，智能体也用自然语言根据数据库的查询结果回答问题。
增加一个自动对查询中的专有名词进行纠错的工具，这将明显提升查询的准确性。

本次将使用 qwen2.5 、 llama3.1 做实验。

本地大模型编程实战(23)用智能体(Agent)实现基于SQL数据构建问答系统(2)

Sun, 23 Feb 2025 00:00:00 +0000

本文将用 智能体(Agent) 实现对 SQLite 数据库的查询：用户用自然语言提出问题，智能体也用自然语言根据数据库的查询结果回答问题。

本次将分别在英文、中文环境下，使用 qwen2.5 、 MFDoom/deepseek-r1-tool-calling:7b 以及 llama3.1 做实验。

本地大模型编程实战(22)用langchain实现基于SQL数据构建问答的系统(1)

Wed, 19 Feb 2025 00:00:00 +0000

使 LLM(大语言模型) 系统能够查询结构化数据与非结构化文本数据在性质上可能不同。后者通常生成可在向量数据库中搜索的文本，而结构化数据的方法通常是让 LLM 编写和执行 DSL（例如 SQL）中的查询。
我们将演练使用 langchain 链，在结构化数据库 SQlite 中的数据上创建问答系统的基本方法，该系统建立以后，我们用自然语言询问有关数据库中数据的问题并返回答案。
后面我们将基于 智能体(Agent) 实现类似功能，两者之间的主要区别在于：智能体可以根据需要多次循环查询数据库以回答问题。

实现上述功能需要以下步骤：

将问题转换为 DSL 查询：模型将用户输入转换为 SQL 查询；
执行 SQL 查询；
回答问题：模型使用查询结果响应用户输入。

使用 qwen2.5 、 deepseek 以及 llama3.1 做实验。

本地大模型编程实战(21)支持多参数检索的RAG(Retrieval Augmented Generation,检索增强生成)(5)

Tue, 18 Feb 2025 00:00:00 +0000

在实现 RAG(Retrieval Augmented Generation,检索增强生成) 系统的时候，在检索（retrieve）知识库时通常一个参数。
本文将演练更复杂一点的情况：通过两个参数进行知识库的检索。为此会在 langgraph链中增加一个 analyze_query 节点，它用来基于用户问题推理检索的参数。

本次构建的 LangGraph 链结构如下图：

使用 qwen2.5 、 deepseek 以及 llama3.1 做实验，用 shaw/dmeta-embedding-zh 做中文嵌入和检索。

本地大模型编程实战(20)用langgraph和智能体实现RAG(Retrieval Augmented Generation,检索增强生成)(4)

Mon, 17 Feb 2025 00:00:00 +0000

上一篇文章我们演练了一个用 langgraph 实现的 RAG(Retrieval Augmented Generation,检索增强生成) 系统。本文将要在此基础上，增加自动记录聊天历史的功能，另外，我们还将使用一个 Agent(智能体) 来实现几乎同样的功能，我们来一起体会一下用 langgraph 和 Agent(智能体) 实现 RAG系统 的区别。

本次构建的 LangGraph 链结构如下图：
如上图，query_or_respond 是一个条件节点，它通过能否根据用户的问题生成工具调用（tool_calls），来判断是否需要检索矢量知识库：如果工具调用为空，则直接由大语言模型处理；否则通过工具调用调用 tools 进行检索。
实现类似功能的智能体结构如下图：
我们可以直观的发现：用 Agent(智能体) 实现更加简单。

使用 qwen2.5 、 deepseek 以及 llama3.1 做实验，用 shaw/dmeta-embedding-zh 做中文嵌入和检索。

本地大模型编程实战(19)用langgraph实现RAG(Retrieval Augmented Generation,检索增强生成)(3)

Sun, 16 Feb 2025 00:00:00 +0000

上一篇文章我们演练了一个用 langgraph 实现的 RAG(Retrieval Augmented Generation,检索增强生成) 系统。本文将要创建的系统将更加智能：如果在知识库中未找到靠谱的文档，则用 LLM(大语言模型) 自身的能力弥补。
另外，检索和生成部分增加了更多的细节控制。本次构建的 LangGraph 链如下图：
如上图，query_or_respond 是一个条件节点，它通过能否根据用户的问题生成工具调用（tool_calls），来判断是否需要检索矢量知识库：如果工具调用为空，则直接由大语言模型处理；否则通过工具调用调用 tools 进行检索。

使用 qwen2.5 、 deepseek 以及 llama3.1 做实验，用 shaw/dmeta-embedding-zh 做中文嵌入和检索。

本地大模型编程实战(18)用langgraph实现RAG(Retrieval Augmented Generation,检索增强生成)(2)

Sat, 15 Feb 2025 00:00:00 +0000

本文将使用 langgraph 实现一个简单的 RAG(Retrieval Augmented Generation,检索增强生成) 系统。

使用 qwen2.5 、 deepseek-r1 以及 llama3.1 做实验，用 shaw/dmeta-embedding-zh 做中文嵌入和检索。

本地大模型编程实战(17)用langchain和智能体实现RAG(Retrieval Augmented Generation,检索增强生成)(1)

Fri, 14 Feb 2025 00:00:00 +0000

本文将用实际代码演练一个简单的 RAG(Retrieval Augmented Generation,检索增强生成) 系统。

使用 qwen2.5 、 deepseek-r1 以及 llama3.1 做实验，用 shaw/dmeta-embedding-zh 做中文嵌入和检索。

本地大模型编程实战(16)在智能体中自动记录消息历史(3)

Thu, 13 Feb 2025 00:00:00 +0000

本文将基于上一篇文章完善 Agent(智能体) ，主要完善的功能有：

跟踪 Agent(智能体) 的执行过程
记录消息历史

此次我们使用 qwen2.5 做 LLM（大语言模型） 驱动 Agent(智能体) ，使用 shaw/dmeta-embedding-zh 做中文嵌入和检索。

本地大模型编程实战(15)可以调用两个工具的智能体Agent(2)

Wed, 12 Feb 2025 00:00:00 +0000

在上一篇文章中，我们实践了如何使用 langchain 创建一个简单的 ReAct Agent(智能体)，这次我们升级一下玩法：实现一个可以调用两个工具的智能体。
其中一个工具用户查询天气预报，另外一个工具用来查询知识库，实际上该工具实现了 RAG(Retrieval Augmented Generation,检索增强生成)。

此次我们使用 qwen2.5, llama3.1 和 deepseek 。感觉在处理中文方面，感觉 qwen2.5 比 llama3.1 要好一些。

本地大模型编程实战(14)初探智能体Agent(1)

Tue, 11 Feb 2025 00:00:00 +0000

在前面的文章中，我们了解了 LLM(大语言模型) 如何使用 tool(工具) ，现在我们开始进一步，初探 Agent(智能体) 的玩法。
其中的 tool(工具) 用于从矢量数据库中查询信息，这种方式在 RAG(Retrieval Augmented Generation,检索增强生成) 也很常用。在这种场景中，能否准确的查询出有用信息很关键，为此我们本次将使用多种大模型进行对比演练。包括：

多语言通用 LLM: llma3.1 , deepseek-r1 , qwen2.5
专用于嵌入检索的大模型： shaw/dmeta-embedding-zh , milkey/m3e , mxbai-embed-large , nomic-embed-text , all-minilm:33m

了解 `Agent(智能体)`

`tool(工具)` 与 `Agent(智能体)` 的区别

工具往往用于大语言模型调用其它功能，比如：搜索、数据库查询、计算等；Agent(智能体) 是一个可以使用 LLM 处理复杂任务的智能体；它通常会决定：

何时调用 tool(工具)
选择哪个工具
处理工具返回的结果

`ReAct（Reasoning + Acting）`

ReAct（Reasoning + Acting）是一种用于 Agent(智能体) 的决策方式，它结合了推理（Reasoning）和行动（Acting），让智能体能更灵活地思考和执行任务。
简单来说，ReAct 让智能体在做事情之前，先思考一下，然后再决定下一步行动，而不是盲目执行。

`ReAct` 的核心思路

观察环境（Observations）：获取当前任务或问题的信息。
推理（Reasoning）：分析当前信息，思考如何解决问题。
执行行动（Acting）：基于推理结果，采取具体的行动（比如调用工具、查询数据库、与用户交互等）。
循环执行：智能体会不断重复观察 → 推理 → 行动的过程，直到任务完成。

关于 ReAct 的更多内容，请参阅：ReACT Agent Model

Llama3.1 on 有趣的AI

本地大模型编程实战(27)初探langgraph的流式输出

本地大模型编程实战(26)用langgraph实现基于SQL数据构建的问答系统(5)

本地大模型编程实战(25)用langgraph实现基于SQL数据构建的问答系统(4)

本地大模型编程实战(24)用智能体(Agent)实现智能纠错的SQL数据库问答系统(3)

本地大模型编程实战(23)用智能体(Agent)实现基于SQL数据构建问答系统(2)

本地大模型编程实战(22)用langchain实现基于SQL数据构建问答的系统(1)

本地大模型编程实战(21)支持多参数检索的RAG(Retrieval Augmented Generation,检索增强生成)(5)

本地大模型编程实战(20)用langgraph和智能体实现RAG(Retrieval Augmented Generation,检索增强生成)(4)

本地大模型编程实战(19)用langgraph实现RAG(Retrieval Augmented Generation,检索增强生成)(3)

本地大模型编程实战(18)用langgraph实现RAG(Retrieval Augmented Generation,检索增强生成)(2)

本地大模型编程实战(17)用langchain和智能体实现RAG(Retrieval Augmented Generation,检索增强生成)(1)

本地大模型编程实战(16)在智能体中自动记录消息历史(3)

本地大模型编程实战(15)可以调用两个工具的智能体Agent(2)

本地大模型编程实战(14)初探智能体Agent(1)

了解 Agent(智能体)

tool(工具) 与 Agent(智能体) 的区别

ReAct（Reasoning + Acting）

ReAct 的核心思路

了解 `Agent(智能体)`

`tool(工具)` 与 `Agent(智能体)` 的区别

`ReAct（Reasoning + Acting）`

`ReAct` 的核心思路