有趣的AI

[合集]本地大模型编程实战

Thu, 23 Jan 2025 00:00:00 +0000

此系列文章讲述了：如何在普通电脑上自己写代码完成常见的基于大语言模型能力的任务。

[合集]从零搭建langchain+本地大模型+本地矢量数据库的RAG系统

Thu, 10 Oct 2024 00:00:00 +0000

此系列文章详细的阐述了如何从第一行代码开始搭建一个可以运行完全在本地服务器的RAG(Retrieval Augmented Generation)系统，包含了详细的步骤说明和代码，它是保姆级教程。
它主要包含以下功能：

使用本地大语言模型做语言翻译
使用本地大语言模型做专业领域的知识问答

从系统架构来看，本系统包含了前端、API网关、后台服务三大部分：

[合集]veutify3入门实战

Sun, 15 Dec 2024 00:00:00 +0000

此系列文章通过几个详细的经典案例，演示了如何从使用vuetify3前端框架快速开发简单的web程序。

【保姆级教程】自己搭建AI大模型实验室

Wed, 08 Oct 2025 00:00:00 +0000

如果我比别人看得更远，那是因为我站在巨人的肩上。 – 艾萨克·牛顿

不知道您是否像我一样：希望自己能有一个完全本地部署的AI实验室，它有可视化界面，可以与大模型聊天，可以做智能体，还可以提供标准化的接口…

Chatbox、Dify、Ollama 与 Qwen（通义千问）大模型完全可以整合在一起，且整合后能形成 “本地模型 + 可视化开发管理 + 多端交互” 的完整 AI 应用链路。四者的定位互补性强，整合核心逻辑是 Ollama 负责本地运行 Qwen 模型 → Dify 提供模型管理与应用开发能力 → Chatbox 作为轻量客户端实现多端交互：

系统/模型	核心定位	关键角色
Ollama	轻量本地大模型运行框架	「模型载体」：简化本地模型部署，支持一键启动 Qwen、Llama 等开源模型，提供 API 接口供外部调用
Qwen（通义千问）	阿里开源大模型（如 Qwen-8B/14B）	「核心能力源」：提供对话、生成、推理等 AI 能力，需依赖 Ollama 或其他框架运行
Dify	开源 LLM 应用开发平台	「开发与管理中枢」：支持接入 Ollama 部署的 Qwen 模型，提供可视化 workflow、RAG 检索、Agent 工具链，可快速搭建 AI 应用（如问答系统、智能助手）
Chatbox	多端 AI 客户端	「交互入口」：支持接入 Dify 或 Ollama 的 API，提供桌面（Windows/Mac/Linux）、移动端（iOS/Android）的轻量交互界面，优化用户使用体验

下面我们就一步一步的把这个AI实验室搭建起来。

【保姆级教程】用dify搭建智能体Agent

Tue, 07 Oct 2025 00:00:00 +0000

dify 是一个开源的 LLM 应用开发平台，其核心功能包括：

工作流：可在画布上构建和测试强大的 AI 工作流程。
全面的模型支持：与数百种专有 / 开源 LLMs 及数十种推理提供商和自托管解决方案无缝集成，支持 GPT、Mistral、Llama3、qwen 等及任何与 OpenAI API 兼容的模型。
Prompt IDE：提供直观界面，用于制作提示、比较模型性能及为聊天类应用添加文本转语音等功能。
RAG Pipeline：具备广泛的 RAG 功能，涵盖文档摄入到检索，支持从 PDF、PPT 等常见文档格式提取文本。
Agent 智能体：可基于 LLM 函数调用或 ReAct 定义 Agent，提供 50 多种内置工具如谷歌搜索、DALL・E 等。
LLMOps：能监测和分析应用日志与性能，基于生产数据和注释持续改进提示、数据集及模型。
Backend-as-a-Service：所有功能都提供 API，便于将 Dify 集成到自有业务逻辑中。

本文将把详细的讲述搭建 dify 并且用它的 Chatflow 搭建智能体应用的过程。

构建chatbox的web版本的docker镜像

Mon, 06 Oct 2025 00:00:00 +0000

Chatbox 是一款开源的跨平台 AI 聊天客户端，核心功能是聚合管理多个 AI 模型，并提供更高效、隐私可控的对话体验。
Chatbox 默认支持桌面端 Electron 应用，在构建纯 web 的 docker 容器时，需要自定义构建过程。
最近我因为构建AI实验室的需要，希望构建 Chatbox 的纯web的docker镜像，然后部署在服务器上，方便大家使用。

这个过程比较艰辛，希望它能让您少走弯路：）

在ubuntu中离线部署ollama和大模型qwen

Sun, 05 Oct 2025 00:00:00 +0000

Ollama 是一个致力于让每个人都能在本地设备上自由运行大型语言模型的开源平台。它可以在 windows 和 linux 平台上运行，即支持 GPU ，也支持 CPU，使用起来很方便。

本文介绍了如何在ubuntu中离线部署 ollama 和大模型 qwen3。

在ubuntu中离线安装docker和docker-compose

Sat, 04 Oct 2025 00:00:00 +0000

docker 作为容器化技术的代表，其核心优势在于解决了 软件在不同环境中运行不一致 的痛点，并通过轻量级虚拟化、标准化部署等特性显著提升了开发、测试和运维效率。

在绝大部分场合，掌握了 docker 和 docker-compose 就足够应对一般的应用场景了，本文将讲述在服务器不连接互联网的情况下，如何在ubuntu中离线部署 docker 和 docker-compose。

如何选择FAISS的索引类型

Fri, 03 Oct 2025 00:00:00 +0000

在之前的文章中，我们系统性的介绍了嵌入和语义检索以及向量相似度。
本文将在语义检索领域探讨更加接近实战的话题：如何如何选择FAISS的索引类型。
Faiss 是一个用于高效相似性搜索和密集向量聚类的库。它使用 C++ 编写，并提供了完整的 Python 封装。可以在 CPU 上运行，只是一些最有用的算法是在 GPU 上实现的。它的主要功能是：

k-NN 检索: 不仅返回最近的邻居，还返回第二近、第三近、……、第 k 近的邻居；
批量处理: 一次搜索多个向量，而不是一次搜索一个。对于许多索引类型，这比一个接一个地搜索向量更快；
以精度换取速度: 以 10% 的不正确结果为代价，换取 10 倍的速度或使用更少的内存；
范围搜索：返回查询点给定半径内的所有元素；
本地存储：将索引存储在磁盘上而不是在 RAM 中；
…

程序员应该熟悉的概念(9)向量相似度（vector similarity）

Thu, 02 Oct 2025 00:00:00 +0000

在之前的文章嵌入和语义检索中，我们了解了把文本变成向量的方法，由于这些向量相当于将文本做了分类：语义相近的距离越近，所以这些向量就可以很方便的应用于语义检索场景了。

比较向量相似度（vector similarity）的常见算法主要分为两大类：

1️⃣ 基于“角度/方向”的度量
2️⃣ 基于“距离/差异”的度量

下面我们系统的整理一下。

程序员应该熟悉的概念(8)嵌入和语义检索

Wed, 01 Oct 2025 00:00:00 +0000

语义检索是指系统能够理解用户查询的深层含义（语义），而不仅仅是匹配字面关键词。它通过分析上下文、同义词、相关概念等，查找与查询意图最相关的信息，即使文档中没有完全相同的词语。

与关键词检索的区别：

关键词检索：基于字面匹配，查找包含用户输入的特定词语的文档。它不理解词语的含义，因此可能遗漏意思相关但用词不同的内容，或返回用词相同但意思不符的结果。
语义检索：基于意义匹配，理解查询和文档的“意思”。它能找到表达方式不同但含义相近的内容，返回更符合用户真实意图的结果。

简单来说：关键词检索是“找词”，语义检索是“懂意”。
例如：如果用关键词检索“苹果”，那么可能找到我们吃的苹果以及苹果公司的相关信息；而语义检索会考虑检索内容的上下文，它能断定这个苹果是“苹果公司”，所以只会检索“苹果公司”的相关内容出来。

程序员应该熟悉的概念(7)vLLM和ollama

Mon, 29 Sep 2025 00:00:00 +0000

vLLM(Virtual Large Language Model) 和 Ollama 都是用于运行大语言模型 大语言模型/LLM 的工具，旨在降低本地部署和使用大模型的门槛。应用程序可以通过它们的统一接口，使用不同大模型。

程序员应该熟悉的概念(6)Fine-tuning和RAG

Sun, 28 Sep 2025 00:00:00 +0000

大语言模型/LLM 通常是由海量通用知识（如语法、常识、逻辑）训练的，在面对具体场景（如医疗问诊、法律文书生成）时，能力往往不足。
Fine-tuning/微调 正是为解决这一问题而生的核心技术，其本质是在预训练模型的基础上，用特定领域 / 任务的小数据集进一步训练，让模型 适配具体需求，最终输出更精准、更贴合场景的结果。

程序员应该熟悉的概念(5)MoE

Sat, 27 Sep 2025 00:00:00 +0000

MoE(Mixture of Experts,专家混合模型）)是当前大模型（尤其是 GPT-4、Gemini、Mixtral、DeepSeek 等）架构中非常核心的一个概念。
MoE 的思想非常直白：不同的 专家/Expert 只负责处理自己擅长的那一类输入，而不是让整个模型的所有参数都去处理所有任务。

也就是说：

一个 MoE 模型内部其实包含了很多个“子网络”（这些子网络叫做 专家/Expert）；
每次输入一句话或一段文本时，模型不会激活所有 专家/Expert，而是通过一个 路由/Router来挑选最合适的几个专家；
只有被选中的那几个 专家/Expert 会参与这次计算，从而节省大量算力。

本地大模型编程实战(39)MCP实战演练

Fri, 26 Sep 2025 00:00:00 +0000

之前两篇文章:MCP简介和MCP能做什么阐述了MCP的基本概念和原理。
本文将使用Visual Studio Code写一个MCP服务端和MCP客户端，演示MCP的基本功能。

MCP版本迭代很快，能用把代码顺利跑起来并不是一件容易的事：）

程序员应该熟悉的概念(4)MCP能做什么

Thu, 25 Sep 2025 00:00:00 +0000

在上一篇文章 MCP简介中，我们对 MCP(Model Context Protocol) 有了一个概念上的认识，本文将更加深入的介绍 MCP 的架构和功能。

程序员应该熟悉的概念(3)MCP简介

Wed, 24 Sep 2025 00:00:00 +0000

MCP(Model Context Protocol) 是由 Anthropic 在 2024 年 11 月提出并开源的一个协议标准，目的是统一 AI 模型（尤其是大语言模型）与外部资源 / 工具 / 数据源之间的交互方式。
MCP 被比喻为 AI 的 “USB-C 接口” —— 就像 USB-C 为各种外设提供统一接口一样，MCP 为 AI 模型与各类资源之间提供统一、标准化的接口。

OpenAI 在 2025 年 3 月宣布其 Agents SDK 已支持 MCP，从而使 OpenAI 的生态也兼容该协议。
多家厂商和工具也在采纳 MCP，包括 IDE、插件、代理框架、知识库 / 应用平台等。

本地大模型编程实战(38)实现一个通用的大模型客户端

Tue, 23 Sep 2025 00:00:00 +0000

由于大部分AI平台提供的API/接口都兼容 OpenAI API ,所以我们可以使用 OpenAI SDK 实现通用的 LLM（大语言模型） 客户端。

关于 OpenAI API 更多内容，可参考程序员应该熟悉的概念(2)OpenAI API

本文讲述了如何实现一个简单的大模型客户端。

程序员应该熟悉的概念(2)OpenAI API

Sun, 21 Sep 2025 00:00:00 +0000

大名鼎鼎的 OpenAI 发布之后，其 OpenAI API规范 逐渐成了事实上的工业标准，很多大模型API都兼容这个规范。这也就意味着：OpenAI的SDK可以使用很多大模型。

兼容 OpenAI API规范 的大模型API包括：百炼、本地部署的Ollama、Anthropic（Claude 系列）、Mistral、Google DeepMind (Gemini)、Cohere、xAI（Elon Musk 团队）…

下面我们简单了解一下 OpenAI API规范。

程序员应该熟悉的概念(1)RESTful

Sat, 20 Sep 2025 00:00:00 +0000

在这个前后端分离（前端和后端均为独立的应用，只通过API/接口通信）成为应用编程主流的时代，RESTful 规范（REST全称是：Representational State Transfer）应该是程序员必须掌握的API/接口设计规范。

RESTful 规范是一种基于 HTTP 协议设计网络接口的架构风格，旨在构建可扩展、清晰、易于理解的 Web 服务。
其核心思想是将资源作为中心，通过标准的 HTTP 方法对资源进行操作，强调无状态通信和统一接口。

本地大模型编程实战(37)使用知识图谱增强RAG(3)

Mon, 08 Sep 2025 00:00:00 +0000

本文将简单介绍如何使用 AutoSchemaKG 提升 RAG(Retrieval Augmented Generation,检索增强生成) 的问答效果。实现的主要思路是：

解析知识图谱文件：用 NetworkX 解析 GraphML 知识图谱文件；
嵌入：用 FAISS (Facebook AI Similarity Search) 矢量化节点（实体、事件、概念），并将边的 “源节点 + 关系 + 目标节点” 拼接为字符串之后再做嵌入；
语义检索：
- 检索 “源节点 + 关系 + 目标节点” 的矢量库，找出最相似的文档，再用大语言模型（LLM）对结果进一步筛选，筛选出节点；
- 检索相似的 passage(文本段落)；
- 将上述包含分数的结果合并，将分数作为初始权重，通过 NetworkX 的 Pagerank 方法在知识图谱中通过节点间的关联关系传播权重，权重更新后，选择权重最高的 passage(文本段落) 为结果。

PageRank 核心原理（知识图谱场景）：

给节点赋予初始权重（与查询相关的节点权重高）
每个节点将自身权重按 “出边数量” 平均分配给相邻节点（例如，节点 A 有 2 条出边，就将自身权重的 1/2 分别传给两个邻居）
迭代传播，直到权重分布稳定（误差小于 tol），最终每个节点的 pr[node] 即为 “综合相关度分数”。

通过权重传播，与查询节点间接关联的节点（例如 “苹果手机”→“苹果公司”→“芯片供应商”）也能获得较高分数，挖掘出 “字面不直接匹配但语义相关” 的内容。
传统的 RAG(Retrieval Augmented Generation,检索增强生成) 一般是直接查询返回相似的 passage(文本段落)，没有上述通过知识图谱调整权重的过程。

本地大模型编程实战(36)使用知识图谱增强RAG(2)生成知识图谱

Sun, 07 Sep 2025 00:00:00 +0000

本文将简单介绍如何把文本生成 知识图谱（Knowledge Graph）。具体来说，是使用开源项目 AutoSchemaKG 生成 GraphML 。
GraphML 是 XML（Extensible Markup Language）格式的文件，可以使用 NetworkX 等框架轻松处理这种格式的文件。下图是一个典型的 GraphML ：

本地大模型编程实战(35)使用知识图谱增强RAG(1)知识图谱简介

Sat, 06 Sep 2025 00:00:00 +0000

知识图谱（Knowledge Graph）本质上是一种结构化的语义知识库，它以 “实体 - 关系 - 实体” 的三元组形式，将现实世界中的概念、实体及其关联关系进行建模和存储，核心目标是让机器能够像人一样理解和运用知识。下图就是一个典型的知识图谱：

知识图谱的主要特点是建立了“知识”之间的关联，所以它的强项是推理，HugeGraph 、NetworkX 支持 PageRank（在后面RAG中会用到）、k-短路、LPA（标签传播算法）、Jaccard 相似度等算法。有了这些支持，它在搜索引擎、智能问答RAG（Retrieval Augmented Generation,检索增强生成）等领域都有广泛的应用，可以明显提升这些领域应用的智能化水平。

本地大模型编程实战(34)使用faiss实现语义检索

Fri, 05 Sep 2025 00:00:00 +0000

FAISS（Facebook AI Similarity Search）是 Facebook AI 研究院开发的一款高效的向量相似性搜索库，专门用于优化大规模高维向量的近邻搜索任务，广泛应用于语义检索、图像检索、推荐系统等场景。
本文将详细介绍如何使用 FAISS 实现语义检索。具体内容包括：

将内容矢量化并保存为索引
在保存索引的同时，保存每条信息的相关信息metadata
通过矢量库进行语义检索

语义检索是一种基于内容含义（语义）而非表面关键词的信息检索技术，核心目标是让计算机 “理解” 用户查询的真实意图，从而返回含义相关的结果，而非仅匹配字面关键词的内容。
传统检索（如早期搜索引擎）依赖关键词匹配，例如用户搜索 “如何缓解头痛”，仅会返回包含 “缓解”“头痛” 等字面词汇的内容，若某篇文章写 “应对偏头痛的方法”（未出现 “缓解”“头痛”），则会被遗漏。语义检索则通过语义嵌入（Embedding）技术解决这一问题：

将文本转化为 “语义向量”：用 AI 模型（如 BERT、BGE-M3 等）把用户的查询、待检索的文档（句子 / 段落）都转化为高维向量（类似 “数字指纹”），向量的相似度直接对应内容语义的相似度。

通过向量相似度匹配结果：计算 “查询向量” 与 “文档向量” 的相似度（如余弦相似度），排序后返回相似度最高的内容，实现 “含义相关即匹配”。

使用NetworkX查询GraphML图数据

Thu, 04 Sep 2025 00:00:00 +0000

当遇到展示小规模图谱时，使用 Nextworkx 和 GraphML 是一种性价比很高的解决方案。

GraphML 是通用的图数据交换格式，负责图数据的存储和跨工具共享。
NetworkX 是 Python 中一个强大的网络（图）分析与操作库，它可以处理 GraphML ，还提供丰富的图算法。

本文使用 Nextworkx 实现查询 GraphML 图数据的功能。

查询根节点，支持分页
查询某个节点的子图结构：即它的子节点以及子节点对应的边和下一级节点

内网的服务如何能在公网使用？

Wed, 03 Sep 2025 00:00:00 +0000

我在内网中有很棒的服务资源，但是没有固定IP，如何能够在公网使用呢？

要解决这种问题，内网穿透工具 frp（Fast Reverse Proxy） 是一个很棒的选择：既然外网不能访问内网，那么就主动从内网打通到外网的通道！
基本的原理是：

前提条件
- 要有一台有公网地址的服务器【配置可以比较低】，内网服务器可以连接到这台公网服务器
- 内网服务器安装frp客户端:frpc，公网服务器安装frp服务端:frps
建立 “长连接”—— 打通内网到公网的 “通道”
- 内网设备启动 frpc 客户端，并加载配置文件（配置中包含 frps 的公网 IP、端口、认证信息等）。
- frpc 主动向公网的 frps 发起 TCP 长连接（默认用 8000 端口，可自定义），并维持这个连接（通过心跳机制防止断开）。

这一步是穿透的关键：由于内网设备没有公网 IP，公网无法主动 “找到” 内网设备，因此必须由内网的 frpc “主动出击”，与公网的 frps 建立连接，形成一条稳定的 “数据通道”。
内网设备无法被公网访问的根本原因，是路由器的 NAT（网络地址转换）机制会隐藏内网 IP。frp 通过 “frpc 主动连接 frps” 的方式，让路由器将 frpc 与 frps 的连接加入 “NAT 映射表”，后续 frps 向 frpc 发送的数据（公网请求），会被路由器正确转发到内网的 frpc，从而实现 “穿透” NAT 的效果。

本文通过一个具体的例子来展示如何使用内网穿透工具frp将内网的web服务推向公网。

frp下载地址

使用pyHugeGraph查询HugeGraph图数据

Tue, 02 Sep 2025 00:00:00 +0000

在实际项目中，我们经常会遇到类似下面的查询图数据库的需求：

查询根节点，根节点可能有多个，需要分页
点击根节点，查询其子节点以及子节点关联的边和更下一层的子节点

本文使用 pyHugeGraph 实现上述查询 HugeGraph 图数据库的功能。

本地大模型编程实战(33)用SSE实现大模型的流式输出

Mon, 01 Sep 2025 00:00:00 +0000

SSE(Server-Sent Events)是一种基于 HTTP 协议的服务器向客户端单向推送数据的技术，允许服务器主动向已建立连接的客户端持续发送事件流（如实时通知、更新数据等），无需客户端频繁轮询。

核心特点：基于 HTTP 长连接，单向通信（仅服务器→客户端），数据以 “事件” 格式传输（包含事件类型、数据体等结构化信息），天然支持断线重连。
典型场景：大语言模型（LLM）客户端、股票行情实时更新、新闻推送、系统通知等只需服务器主动下发数据的场景。

它与websocket的主要区别是：

若场景仅需 “服务器推数据给客户端”（单向），优先选 SSE（实现简单、基于 HTTP 无额外协议成本）
若需 “客户端与服务器实时双向通信”（如聊天、互动），必须选 WebSocket（全双工能力是核心优势）

下面我们使用大语言模型qwen3实现翻译功能。它可以自动识别源语言，并翻译为目标语种。

像千问这种大模型是基于多语言训练的，所以它支持中文、英文、法文、西班牙等多个语种的翻译。

这是实现的效果：

本地大模型编程实战(32)用websocket显示大模型的流式输出

Sun, 27 Apr 2025 00:00:00 +0000

在与 LLM(大语言模型) 对话时，如果每次都等 LLM 处理完毕再返回给客户端，会显得比较卡顿，不友好。如何能够像主流的AI平台那样：可以一点一点吐出字符呢？
本文将模仿后端流式输出文字，前端一块一块的显示文字。主要的实现路径是：

LLM 采用 qwen3 ，使用 stream 方式输出
后端使用 langchain 框架
使用 fastapi 实现后端接口
前后端之间使用 websocket 长连接通信
前端使用一个简单的 html5 网页做演示

下面是最终实现的效果：

本地大模型编程实战(31)用Map-Reduce从大文本中提取摘要

Sat, 26 Apr 2025 00:00:00 +0000

在执行从文本中提取摘要的任务时，难免遇到大文本的情况：文本的长度超出了 LLM(大语言模型) 的token限制。
LangGraph 提供了 map-reduce 工作流，它先把大文本拆成小文档分别提取摘要，然后再提炼/压缩提取的摘要，直到最后提取的摘要的token长度满足既定要求。

本次演练使用 qwen2.5:7b 开源大模型。

本地大模型编程实战(30)从文本提取摘要

Fri, 25 Apr 2025 00:00:00 +0000

本文将演练如何使用 LLM(大语言模型) 提取文本摘要。

本次演练使用 qwen2.5:7b 开源大模型。

本地大模型编程实战(29)用大语言模型LLM查询图数据库NEO4J(2)

Thu, 24 Apr 2025 00:00:00 +0000

上一篇文章用大语言模型LLM查询图数据库NEO4J(1) 介绍了使用GraphQACypherChain查询NEO4J。用它实现简单快捷，但是不容易定制，在生产环境中可能会面临挑战。

本文将基于langgraph 框架，用LLM(大语言模型)查询图数据库NEO4J。它可以定义清晰复杂的工作流，能应对比较复杂的应用场景。

以下是即将实现的可视化LangGraph流程：

在windows系统中安装图数据库NEO4J

Thu, 24 Apr 2025 00:00:00 +0000

Neo4j是一个高性能的NOSQL图形数据库，它将结构化数据存储在网络上而不是表中。
Neo4j也可以被看作是一个高性能的图引擎，该引擎具有成熟数据库的所有特性。程序员工作在一个面向对象的、灵活的网络结构下而不是严格、静态的表中——但是他们可以享受到具备完全的事务特性、企业级的数据库的所有好处。

本文讲述了在如何在windows系统中安装NEO4J。

本地大模型编程实战(28)用大语言模型LLM查询图数据库NEO4J(1)

Wed, 23 Apr 2025 00:00:00 +0000

本文将基于langchain 框架，用LLM(大语言模型)查询图数据库NEO4J。

使用 qwen2.5 做实验，用 llama3.1 查不出内容。

本地大模型编程实战(27)初探langgraph的流式输出

Thu, 27 Feb 2025 00:00:00 +0000

对于 LLM(大语言模型)，流式传输已成为一种越来越受欢迎的功能。其理念是在 LLM 生成令牌时就快速返回，而不是等待创建完整响应后再返回全部内容。

在简单的场景中，流式传输实际上非常容易实现，但当涉及到智能体之类的应用时，它会变得复杂，这些智能体有自己的运行逻辑，可能会阻止我们尝试进行流式传输。

本文将探讨 langchain 的流式输出，后面将实现智能体最终结果的流式输出。

本次演练将全部使用 qwen2.5:7b 开源大模型。

本地大模型编程实战(26)用langgraph实现基于SQL数据构建的问答系统(5)

Wed, 26 Feb 2025 00:00:00 +0000

本文将扩展上一篇文章完成的 langgraph 链，继续使用基于 langgraph 链，对结构化数据库 SQlite 进行查询的方法。该系统建立以后，我们不需要掌握专业的 SQL 技能，可以用自然语言询问有关数据库中数据的问题并返回答案。主要完善一下两点内容：

自动记录消息历史
增加人工审核环节，防止 LLM(大语言模型) 运行危险的SQL语句

我们先看看完成的 langgraph 链的模样，主要有两步：创建SQL查询语句->执行SQL查询语句，在执行SQL查询前中断进行人工审核，上一篇文章的链没有人工审核：


本次实现的链	上一篇文章实现的链

使用 qwen2.5 、 llama3.1 做实验。

请注意:
构建 SQL 数据库的问答系统需要执行模型生成的 SQL 查询。这样做存在风险，请确保您的数据库连接权限始终尽可能小，这将减轻（但不能消除）构建模型驱动系统的风险。

本地大模型编程实战(25)用langgraph实现基于SQL数据构建的问答系统(4)

Tue, 25 Feb 2025 00:00:00 +0000

本文将演练使用基于 langgraph 链，对结构化数据库 SQlite 进行查询的方法。该系统建立以后，我们不需要掌握专业的 SQL 技能，可以用自然语言询问有关数据库中数据的问题并返回答案。
使 大语言模型(LLM) 查询结构化数据与非结构化文本数据有所不同。查询非结构化数据时，通常需要将待查询的文本嵌入到向量数据库中；而查询结构化数据的方法则是让 LLM 编写和执行 DSL（例如 SQL）进行查询。

在用langchain实现基于SQL数据构建问答系统(1) 中，我们已经用 langchain 的 create_sql_query_chain 实现了类似功能，在本文结束后，我们将能看到它们之间的区别。

我们先看看完成的 langgraph 链的模样，情况一目了然，主要有两步：创建SQL查询语句->执行SQL查询语句：

使用 qwen2.5 、 deepseek 以及 llama3.1 做实验。

本地大模型编程实战(24)用智能体(Agent)实现智能纠错的SQL数据库问答系统(3)

Mon, 24 Feb 2025 00:00:00 +0000

本文将实现这样一个 智能体(Agent) ：

可以使用自然语言对 SQLite 数据库进行查询。即：用户用自然语言提出问题，智能体也用自然语言根据数据库的查询结果回答问题。
增加一个自动对查询中的专有名词进行纠错的工具，这将明显提升查询的准确性。

本次将使用 qwen2.5 、 llama3.1 做实验。

本地大模型编程实战(23)用智能体(Agent)实现基于SQL数据构建问答系统(2)

Sun, 23 Feb 2025 00:00:00 +0000

本文将用 智能体(Agent) 实现对 SQLite 数据库的查询：用户用自然语言提出问题，智能体也用自然语言根据数据库的查询结果回答问题。

本次将分别在英文、中文环境下，使用 qwen2.5 、 MFDoom/deepseek-r1-tool-calling:7b 以及 llama3.1 做实验。

本地大模型编程实战(22)用langchain实现基于SQL数据构建问答的系统(1)

Wed, 19 Feb 2025 00:00:00 +0000

使 LLM(大语言模型) 系统能够查询结构化数据与非结构化文本数据在性质上可能不同。后者通常生成可在向量数据库中搜索的文本，而结构化数据的方法通常是让 LLM 编写和执行 DSL（例如 SQL）中的查询。
我们将演练使用 langchain 链，在结构化数据库 SQlite 中的数据上创建问答系统的基本方法，该系统建立以后，我们用自然语言询问有关数据库中数据的问题并返回答案。
后面我们将基于 智能体(Agent) 实现类似功能，两者之间的主要区别在于：智能体可以根据需要多次循环查询数据库以回答问题。

实现上述功能需要以下步骤：

将问题转换为 DSL 查询：模型将用户输入转换为 SQL 查询；
执行 SQL 查询；
回答问题：模型使用查询结果响应用户输入。

使用 qwen2.5 、 deepseek 以及 llama3.1 做实验。

本地大模型编程实战(21)支持多参数检索的RAG(Retrieval Augmented Generation,检索增强生成)(5)

Tue, 18 Feb 2025 00:00:00 +0000

在实现 RAG(Retrieval Augmented Generation,检索增强生成) 系统的时候，在检索（retrieve）知识库时通常一个参数。
本文将演练更复杂一点的情况：通过两个参数进行知识库的检索。为此会在 langgraph链中增加一个 analyze_query 节点，它用来基于用户问题推理检索的参数。

本次构建的 LangGraph 链结构如下图：

使用 qwen2.5 、 deepseek 以及 llama3.1 做实验，用 shaw/dmeta-embedding-zh 做中文嵌入和检索。

本地大模型编程实战(20)用langgraph和智能体实现RAG(Retrieval Augmented Generation,检索增强生成)(4)

Mon, 17 Feb 2025 00:00:00 +0000

上一篇文章我们演练了一个用 langgraph 实现的 RAG(Retrieval Augmented Generation,检索增强生成) 系统。本文将要在此基础上，增加自动记录聊天历史的功能，另外，我们还将使用一个 Agent(智能体) 来实现几乎同样的功能，我们来一起体会一下用 langgraph 和 Agent(智能体) 实现 RAG系统 的区别。

本次构建的 LangGraph 链结构如下图：
如上图，query_or_respond 是一个条件节点，它通过能否根据用户的问题生成工具调用（tool_calls），来判断是否需要检索矢量知识库：如果工具调用为空，则直接由大语言模型处理；否则通过工具调用调用 tools 进行检索。
实现类似功能的智能体结构如下图：
我们可以直观的发现：用 Agent(智能体) 实现更加简单。

使用 qwen2.5 、 deepseek 以及 llama3.1 做实验，用 shaw/dmeta-embedding-zh 做中文嵌入和检索。

本地大模型编程实战(19)用langgraph实现RAG(Retrieval Augmented Generation,检索增强生成)(3)

Sun, 16 Feb 2025 00:00:00 +0000

上一篇文章我们演练了一个用 langgraph 实现的 RAG(Retrieval Augmented Generation,检索增强生成) 系统。本文将要创建的系统将更加智能：如果在知识库中未找到靠谱的文档，则用 LLM(大语言模型) 自身的能力弥补。
另外，检索和生成部分增加了更多的细节控制。本次构建的 LangGraph 链如下图：
如上图，query_or_respond 是一个条件节点，它通过能否根据用户的问题生成工具调用（tool_calls），来判断是否需要检索矢量知识库：如果工具调用为空，则直接由大语言模型处理；否则通过工具调用调用 tools 进行检索。

使用 qwen2.5 、 deepseek 以及 llama3.1 做实验，用 shaw/dmeta-embedding-zh 做中文嵌入和检索。

本地大模型编程实战(18)用langgraph实现RAG(Retrieval Augmented Generation,检索增强生成)(2)

Sat, 15 Feb 2025 00:00:00 +0000

本文将使用 langgraph 实现一个简单的 RAG(Retrieval Augmented Generation,检索增强生成) 系统。

使用 qwen2.5 、 deepseek-r1 以及 llama3.1 做实验，用 shaw/dmeta-embedding-zh 做中文嵌入和检索。

本地大模型编程实战(17)用langchain和智能体实现RAG(Retrieval Augmented Generation,检索增强生成)(1)

Fri, 14 Feb 2025 00:00:00 +0000

本文将用实际代码演练一个简单的 RAG(Retrieval Augmented Generation,检索增强生成) 系统。

使用 qwen2.5 、 deepseek-r1 以及 llama3.1 做实验，用 shaw/dmeta-embedding-zh 做中文嵌入和检索。

本地大模型编程实战(16)在智能体中自动记录消息历史(3)

Thu, 13 Feb 2025 00:00:00 +0000

本文将基于上一篇文章完善 Agent(智能体) ，主要完善的功能有：

跟踪 Agent(智能体) 的执行过程
记录消息历史

此次我们使用 qwen2.5 做 LLM（大语言模型） 驱动 Agent(智能体) ，使用 shaw/dmeta-embedding-zh 做中文嵌入和检索。

本地大模型编程实战(15)可以调用两个工具的智能体Agent(2)

Wed, 12 Feb 2025 00:00:00 +0000

在上一篇文章中，我们实践了如何使用 langchain 创建一个简单的 ReAct Agent(智能体)，这次我们升级一下玩法：实现一个可以调用两个工具的智能体。
其中一个工具用户查询天气预报，另外一个工具用来查询知识库，实际上该工具实现了 RAG(Retrieval Augmented Generation,检索增强生成)。

此次我们使用 qwen2.5, llama3.1 和 deepseek 。感觉在处理中文方面，感觉 qwen2.5 比 llama3.1 要好一些。

本地大模型编程实战(14)初探智能体Agent(1)

Tue, 11 Feb 2025 00:00:00 +0000

在前面的文章中，我们了解了 LLM(大语言模型) 如何使用 tool(工具) ，现在我们开始进一步，初探 Agent(智能体) 的玩法。
其中的 tool(工具) 用于从矢量数据库中查询信息，这种方式在 RAG(Retrieval Augmented Generation,检索增强生成) 也很常用。在这种场景中，能否准确的查询出有用信息很关键，为此我们本次将使用多种大模型进行对比演练。包括：

多语言通用 LLM: llma3.1 , deepseek-r1 , qwen2.5
专用于嵌入检索的大模型： shaw/dmeta-embedding-zh , milkey/m3e , mxbai-embed-large , nomic-embed-text , all-minilm:33m

了解 `Agent(智能体)`

`tool(工具)` 与 `Agent(智能体)` 的区别

工具往往用于大语言模型调用其它功能，比如：搜索、数据库查询、计算等；Agent(智能体) 是一个可以使用 LLM 处理复杂任务的智能体；它通常会决定：

何时调用 tool(工具)
选择哪个工具
处理工具返回的结果

`ReAct（Reasoning + Acting）`

ReAct（Reasoning + Acting）是一种用于 Agent(智能体) 的决策方式，它结合了推理（Reasoning）和行动（Acting），让智能体能更灵活地思考和执行任务。
简单来说，ReAct 让智能体在做事情之前，先思考一下，然后再决定下一步行动，而不是盲目执行。

`ReAct` 的核心思路

观察环境（Observations）：获取当前任务或问题的信息。
推理（Reasoning）：分析当前信息，思考如何解决问题。
执行行动（Acting）：基于推理结果，采取具体的行动（比如调用工具、查询数据库、与用户交互等）。
循环执行：智能体会不断重复观察 → 推理 → 行动的过程，直到任务完成。

关于 ReAct 的更多内容，请参阅：ReACT Agent Model

本地大模型编程实战(13)与外部工具交互时注入参数(4)

Mon, 10 Feb 2025 00:00:00 +0000

在使用 LLM(大语言模型) 调用工具方法时，可能会在运行时才会将类似用户ID 的数值传递给工具。
大多数情况下，此类值不应由 LLM 控制。允许 LLM 控制用户ID 可能会导致安全风险。
相反，LLM 应该只控制本应由 LLM 控制的工具参数，而其他参数（如用户ID）应由应用程序逻辑固定。

本文将向您展示：如何防止大模型生成某些工具参数并在运行时直接注入它们。

本文使用 llama3.1 和 MFDoom/deepseek-r1-tool-calling:7b 进行演练。 deepseek-r1 不支持 langchain 的 bind_tools 方法。

本地大模型编程实战(12)与外部工具交互时进行人工审核(3)

Sun, 09 Feb 2025 00:00:00 +0000

本文将实践如何在 LLM(大语言模型) 调用工具函数时进行审核，即由人来确定是否应该调用工具函数。

本次使用 llama3.1 和 MFDoom/deepseek-r1-tool-calling:7b 进行演练。 deepseek-r1 不支持 langchain 的 bind_tools 方法。

本地大模型编程实战(11)用提示词提升与外部工具交互的能力并支持deepseek(2)

Sat, 08 Feb 2025 00:00:00 +0000

在使用 LLM(大语言模型) 时，经常需要调用一些自定义的工具方法完成特定的任务，比如：执行一些特殊算法、查询天气预报、旅游线路等。
很多大模型都具备使用这些工具方法的能力，Langchain 也为这些调用提供了便利。

之前的文章介绍了 llama3.1 与工具方法交互的实际例子，不过可惜 langchain 对 deepseek 支持还不够，导致：

llm.bind_tools 根据用户问题生成的工具方法签名与 llama3.1 不同，在后续在调用工具方法时报错

deepseek 返回的结果中包含了思考过程内容，显然 Langchain 还不能正确解析出最终结果，这会导致 langchain 的很多方法不能正常运行

这次我们将尝试通过以下两种方法解决 Langchain 使用 deepseek 时产生的上述问题：

使用提示词让大模型推理调用工具的方法名称和参数
使用自定义的 JsonOutputParser 处理 deepseek 返回的信息

这里使用 llama3.1 和 deepseek 等不同模型做对比，并不是为了说明孰优孰劣，而是仅仅为了技术演示需要。

本地大模型编程实战(10)与外部工具交互(1)

Fri, 07 Feb 2025 00:00:00 +0000

某些模型能够进行工具方法调用：生成用户自定义的方法的签名并调用它。一般来说，此交互过程主要包含下面几个步骤：

LLM(大语言模型) 根据用户的问题推理生成调用工具方法的名称和参数
调用工具，返回简单的结果
再次调用 LLM ，生成自然流畅的回答

下面我们来说明这一过程。

应该是因为 langchian 对 deepseek 的支持还完善，使用 deepseek-r1 无法生成工具方法签名，使用 MFDoom/deepseek-r1-tool-calling:7b 可以生成工具方法签名，但是在调用工具方法时不成功。
所以本文仅使用 llama3.1。

本地大模型编程实战(09)完善聊天机器人(3)

Thu, 06 Feb 2025 00:00:00 +0000

本文将实现一个比较完善的聊天机器人的主要功能。包括：

使用 LangGraph 构建聊天机器人
自动裁剪聊天历史
管理聊天会话的方法
以流的方式输出回复

我们将同时使用 llama3.1 和 deepseek 做演示。由于 langchain 可能对不同大模型支持程度不同以及其它限制，所以这个对比并不能说明哪个模型更好。

本地大模型编程实战(08)用提示词改变聊天机器人的能力(2)

Wed, 05 Feb 2025 00:00:00 +0000

本文将演示使用大语言模型自制聊天机器人。主要的内容有：

使用 LangGraph 进一步完善聊天机器人
使用提示词改变 LLM 的能力

我们将同时使用 llama3.1 和 deepseek 做演示。由于 langchain 可能对不同大模型支持程度不同，不同大模型的特点也不同，所以这个对比并不能说明哪个模型更好。

本地大模型编程实战(07)用langgraph自制聊天机器人(1)

Tue, 04 Feb 2025 00:00:00 +0000

本文将演示使用大语言模型自制聊天机器人。主要的内容有：

如何让机器人具有记忆
如何使用 langgraph 自动记录聊天历史

我们将同时使用 llama3.1 和 deepseek 做演示。由于 langchain 可能对不同大模型支持程度不同，不同大模型的特点也不同，所以这个对比并不能说明哪个模型更好。

本地大模型编程实战(06)从文本中提取重要信息(2)

Mon, 03 Feb 2025 00:00:00 +0000

本文将演示使用大语言模型从文本中提炼结构化信息。这次我们不直接使用提示词，而是使用大模型的 few-shot prompting 特性，即使用很少的例子来引导大模型做推理。
我们将用 llama3.1 和 deepseek 做一个简单的对比。

由于 langchain 可能对不同大模型支持程度不同，不同大模型的特点也不同，所以这个对比并不能说明哪个模型更好。

本地大模型编程实战(05)从文本中提取重要信息(1)

Wed, 29 Jan 2025 00:00:00 +0000

本文将演示使用大语言模型从文本中提炼结构化信息。
我们将用 llama3.1 和 deepseek 做一个简单的对比。

由于 langchain 可能对不同大模型支持程度不同，不同大模型的特点也不同，所以这个对比并不能说明哪个模型更好。

本地大模型编程实战(04)给文本自动打标签

Mon, 27 Jan 2025 00:00:00 +0000

使用本地大模型可以根据需要给文本打标签，本文介绍了如何基于 langchain 和本地部署的大模型给文本打标签。

本文使用 llama3.1 作为本地大模型，它的性能比非开源大模型要查一下，不过在我们可以调整提示词后，它也基本能达到要求。

本地大模型编程实战(03)用本地矢量数据库实现语义检索(2)

Sun, 26 Jan 2025 00:00:00 +0000

上一篇文章：本地大模型编程实战(02)语义检索(1) 详细介绍了如何使用 langchain 实现语义检索，为了演示方便，使用的是 langchain 提供的内存数据库。
在实际工作中，更多的使用场景是将矢量化的数据物理存储下来，在查询的时候在从存储介质中读取矢量数据进行查询，不会每次使用矢量数据时都必须想做嵌入。

本文描述了如何使用 Chroma 对csv数据进行矢量化，并且将矢量存储在硬盘中，未来查询矢量数据时，直接从硬盘中读取矢量数据进行查询。
另外，如果数据量大一些，矢量化数据是很花时间的，我们将使用进度条显示嵌入csv的进度。

本地大模型编程实战(02)语义检索(1)

Sat, 25 Jan 2025 00:00:00 +0000

我们在百度、必应、谷歌等搜索引擎中使用的检索都是基于字符串的：用户输入字符串后，搜索引擎先对搜索内容进行分词，然后在已经进行了倒排索引的巨大数据库中找出最符合用户要求的结果。
语义检索与其主要的区别是：它根据文本的真正含义进行搜索，其基本思路是将待检索的内容都转变成矢量（这个过程也叫做嵌入），转化矢量的基本原则是：语义相近的内容距离更近、相似性更高。
当用户输入检索内容时，也是先把检索内容变成矢量，然后去矢量数据库中找到最相似的文档。这样检索出来的结果并不依据字面的意思，而是依据语义的相似度。

本文描述了如何使用 langchain 和 大语言模型 以及 矢量数据库 完成pdf内容的语义检索。
在对内容进行矢量化时使用了 nomic-embed-text，这个模型个头小，英文嵌入效果不错。
后面还将涉及到以下内容：

文档和文档加载器
文本分割器
嵌入
向量存储和检索器

本地大模型编程实战(01)实现翻译功能

Fri, 24 Jan 2025 00:00:00 +0000

大语言模型的主要功能是预测：输入一些字符串，它预测输出另一些字符串，这个特点使它擅长翻译。

本文描述了如何使用大语言模型(LLM)实现基本的翻译功能，此翻译功能的特点是：无需指定源语言，只需要指定目标语言就可以进行翻译了。

用图形验证码增强用户认证安全性[python+vuetify]

Sun, 05 Jan 2025 00:00:00 +0000

这里通过代码讲述了使用python生成以及校验图片验证码，增强用户认证安全性的过程。
客户端则使用 vue3 和 vuetify3 框架使用后台API生成的图片验证码。

[python]实现可以自动清除过期条目的缓存

Sat, 04 Jan 2025 00:00:00 +0000

由于有缓存图片验证码的需要，所以我找了一些开源的缓存想直接使用，结果要么太老旧，要么太复杂，要么和 fastAPI 整合有问题，所以才想到自己写一个简单的，够用就好。

本文讲述了如何实现一个简单的内存缓存，他可以把过期的键值自动清除，在缓存验证码等场合应该很好用。

[Elasticsearch]使用search_after实现深度分页[附源码]

Wed, 01 Jan 2025 00:00:00 +0000

elasticsearch 在使用 from + size 这种方式进行分页查询时，因为 index.max_result_window 的默认值是 10K，所以当查询的文档超过第10K个文档时，会报错：Result window is too large…
当然，我们可以调整index.max_result_window的大小，不过这种办法会导致查询效率降低和内存占用增加。

本文讲述了在 elasticsearch 中包含几十万乃至上百万的大数据量时，使用 search_after 进行深度分页的方法。

基于OAuth2.0和JWT规范实现安全易用的用户认证

Wed, 01 Jan 2025 00:00:00 +0000

遵循OAuth2.0和JWT规范实现用户认证，不但具有很好的实用性，还能提供很不错的安全保障。
本文结合实用的代码讲述了基于OAuth2.0和JWT，在前后端分离的系统中，实现用户使用方便而又安全可靠的用户认证的基本思路。

用vuetify3实现待办事项管理

Thu, 19 Dec 2024 00:00:00 +0000

这是使用vuetify3可以开发的一个待办事项管理实例。
它主要包含事项概览、我的项目、我的团队。其中事项概览中以列表的方式列出所有的事项，在这里可以添加事项、对事项进行排序。

vuetify官网的组件部分有大量控件，我想绝大部分应用使用这些控件拼凑就足够酷了。一个快捷的方式是：到此官网找控件，把代码拷贝出来，修改一下直接使用。

请注意： 事项数据是存储在google的firebase中的，如果访问不便，可以使用代码中也提供的本地数据。

用vuetify3实现经典的登录页面

Tue, 17 Dec 2024 00:00:00 +0000

这是使用vuetify3可以开发的一个登录实例。
它包含了一个经典的包含系统消息、登录按钮、更换主题按钮的工具栏（toolbar）、轮播(carousel)和登录表单控件。

vuetify官网的组件部分有大量控件，我想绝大部分应用使用这些控件拼凑就足够酷了。

用vuetify3做一个简单的相册

Sun, 15 Dec 2024 00:00:00 +0000

这是使用vuetify3可以开发的一个简单的相册，通过菜单可以控制相册以彩色或者黑白方式显示。
在这个例子中，我们主要使用 抽屉式导航（Navigation drawers） 做导航，使用栅格（Grids）显示相册图片。

在整个过程中，我们可以直接使用vuetify3的各种控件，几乎不用写css。

用最快捷的方法创建vuetify3项目

Fri, 13 Dec 2024 00:00:00 +0000

有很多办法可以基于vue3创建vuetify3项目，本文介绍我认为最快捷的创建方式。

vuetify3是成熟的vue3框架：

严格遵循 Google 的 Material Design 规范，提供一致的设计语言和视觉体验，适合需要现代、简约风格的项目。

提供了超过 80 个功能强大的 UI 组件，例如按钮、表格、对话框、菜单等，能够满足大多数应用的开发需求，减少了第三方依赖。

完全重构以支持 Vue 3 的 Composition API 和其他新特性，与 Vue 3 的生态系统无缝集成。

提供动态主题和深色模式支持，允许开发者轻松自定义颜色、字体和其他主题元素，满足品牌化需求。

基于FastAPI和JWT实现OAuth2用户认证

Sun, 01 Dec 2024 00:00:00 +0000

本文阐述了如何基于FastAPI框架实现 OAuth2用户认证，其中使用哈希算法对密码进行了加密，使用 JWT 持有令牌。
附带完整的代码，避免大家再次踩坑。

使用FastAPI实现简单的OAuth2的Password和Bearer验证

Sun, 01 Dec 2024 00:00:00 +0000

本文讲述了基于FastAPI框架，实现实现简单的OAuth2的Password和Bearer验证。
附带完整的代码，避免大家再次踩坑。

使用FastAPI实现微服务API网关

Thu, 14 Nov 2024 00:00:00 +0000

本文阐述了基于FastAPI实现一个API网关的详细步骤，这样未来可以不断的在服务端像搭积木一样添加各种服务。
我们即将实现下面的简单的微服务架构，目前它只实现了请求转发功能：

如何给github开源项目提交修改

Tue, 05 Nov 2024 00:00:00 +0000

本文描述了如何参与github的项目合作：包括将要修改的项目fork到本地，修改后再提交到github的详细过程。

用FastAPI做langchain本地大模型的API

Tue, 05 Nov 2024 00:00:00 +0000

本文讲述了如何使用FastAPI和langchain框架，包装本地大模型llama3.1，实现语言翻译功能的API。
相对于 Flask ，使用FastAPI做接口要简便得多。

用Flask做langchain服务的API

Sun, 03 Nov 2024 00:00:00 +0000

本文讲述了如何使用一个利用本地大模型llama3.1实现语言翻译功能的API。
它用flask很轻松的将langchian服务开放为API，结合flasgger给文档添加注释并生成playground，并且使用jsonschema做json数据校验，轻松验证接口参数。
麻雀虽小，但五脏俱全，应该对langchain入门者有较大帮助。

使用LangServe做API开放本地大模型的能力

Sun, 27 Oct 2024 00:00:00 +0000

LangServe可以轻松的将langchain的能力包装为接口，为前端提供服务。本文通过一个简单的应用演示LangServe如何使用。

基于langchain和本地大模型以及会话式检索增强生成技术实现知识问答

Thu, 10 Oct 2024 00:00:00 +0000

本文概述了基于langchian框架和对话式增强生成（Conversational RAG(Retrieval Augmented Generation)）技术实现知识问答。
具体来说，系统自动记录聊天历史，并把它作为上下文提供给大模型，这样它让大模型产生了“记忆”，可以“理解”和关联上下文，体验更好。
此样例程序使用本地部署的nomic-embed-text模型做嵌入检索，使用本地部署的llama3.1做回答内容生成。

基于langchain和本地大模型以及会话式检索增强生成技术实现知识问答

Wed, 09 Oct 2024 00:00:00 +0000

本文讲述了基于langchian框架，使用本地部署的nomic-embed-text模型做嵌入检索、llama3.1做回答内容生成的知识问答系统实例。

会话式检索增强生成，即：Conversational RAG。
nomic-embed-text：一个高性能开放嵌入模型，具有较大的标记上下文窗口。这个模型只有274M，但实际做嵌入和检索时，感觉比llama3好。

通过对比测试使用历史聊天记录和不使用历史聊天记录两种情况，我们可以明显看出来使用历史聊天记录的优点：它让大模型产生了“记忆”，可以“理解”和关联上下文，体验更好。

使用langchain+本地lamma3.1+本地chroma做RAG系统

Tue, 01 Oct 2024 00:00:00 +0000

本文详细讲述了如何使用langchain+本地lamma3.1+本地chroma做RAG系统。

在langchian中使用本地部署的llama3.1大模型

Tue, 01 Oct 2024 00:00:00 +0000

本文讲述如何在langchian中使用本地部署的llama3.1大模型。

在Visual Studio Code中配置venv

Tue, 01 Oct 2024 00:00:00 +0000

介绍如何在Visual Studio Code中配置venv

大语言模型能做什么

Fri, 20 Sep 2024 00:00:00 +0000

当前AI的本质能力上是预测：AI能通过大数据训练，总结过去的规律，预测未来。
比如我们问AI：“内蒙古的首府是哪个城市？”，其实AI并不会透彻“理解”这句话的意思，但是它可以预测：当人们提出这样一个问题时，他们寻找的是一个特定的答案：呼和浩特。
从经济的角度看，AI能让各种“中低端”的服务变得更廉价，可见AI必然会逐渐替代这些服务有其必然性。

大模型的涌现能力

Thu, 19 Sep 2024 00:00:00 +0000

涌现能力是在模型参数增加到某一临界点后突然出现的，这些能力包括但不限于语言理解能力、生成能力、逻辑推理能力等，而这种能力是小模型所不具备的。
这也是为什么chat GPT出现后让人眼前一亮：和它聊天与真人无异，不像是机器了！这主要应该归功于大模型的涌现能力。

在Centos7中搭建vpn服务器

Tue, 20 Aug 2024 00:00:00 +0000

这是一篇保姆式的在centos中搭建PPTP VPN Server的教程。

Bitwise:一款好用的ssh工具

Mon, 19 Aug 2024 00:00:00 +0000

最近发现一款很好用的免费的SSH客户端：Bitwise SSH Client。

阿里云windows服务器远程桌面不能连接了怎么办

Mon, 19 Aug 2024 00:00:00 +0000

在无法通过windows远程桌面远程连接管理阿里云windows服务器的情况下，其实还有其它办法可以远程连接控制阿里云服务器。

使用开源的SoftEther VPN在windows服务器上搭建VPN服务器

Mon, 19 Aug 2024 00:00:00 +0000

最近发现一款非常好用的开源的vpn server和client：SoftEther VPN。我觉得用这款软件自建vpn server挺方便。希望对您有帮助。

有趣的AI

[合集]本地大模型编程实战

[合集]从零搭建langchain+本地大模型+本地矢量数据库的RAG系统

[合集]veutify3入门实战

【保姆级教程】自己搭建AI大模型实验室

【保姆级教程】用dify搭建智能体Agent

构建chatbox的web版本的docker镜像

在ubuntu中离线部署ollama和大模型qwen

在ubuntu中离线安装docker和docker-compose

如何选择FAISS的索引类型

程序员应该熟悉的概念(9)向量相似度（vector similarity）

程序员应该熟悉的概念(8)嵌入和语义检索

程序员应该熟悉的概念(7)vLLM和ollama

程序员应该熟悉的概念(6)Fine-tuning和RAG

程序员应该熟悉的概念(5)MoE

本地大模型编程实战(39)MCP实战演练

程序员应该熟悉的概念(4)MCP能做什么

程序员应该熟悉的概念(3)MCP简介

本地大模型编程实战(38)实现一个通用的大模型客户端

程序员应该熟悉的概念(2)OpenAI API

程序员应该熟悉的概念(1)RESTful

本地大模型编程实战(37)使用知识图谱增强RAG(3)

本地大模型编程实战(36)使用知识图谱增强RAG(2)生成知识图谱

本地大模型编程实战(35)使用知识图谱增强RAG(1)知识图谱简介

本地大模型编程实战(34)使用faiss实现语义检索

使用NetworkX查询GraphML图数据

内网的服务如何能在公网使用？

使用pyHugeGraph查询HugeGraph图数据

本地大模型编程实战(33)用SSE实现大模型的流式输出

本地大模型编程实战(32)用websocket显示大模型的流式输出

本地大模型编程实战(31)用Map-Reduce从大文本中提取摘要

本地大模型编程实战(30)从文本提取摘要

本地大模型编程实战(29)用大语言模型LLM查询图数据库NEO4J(2)

在windows系统中安装图数据库NEO4J

本地大模型编程实战(28)用大语言模型LLM查询图数据库NEO4J(1)

本地大模型编程实战(27)初探langgraph的流式输出

本地大模型编程实战(26)用langgraph实现基于SQL数据构建的问答系统(5)

本地大模型编程实战(25)用langgraph实现基于SQL数据构建的问答系统(4)

本地大模型编程实战(24)用智能体(Agent)实现智能纠错的SQL数据库问答系统(3)

本地大模型编程实战(23)用智能体(Agent)实现基于SQL数据构建问答系统(2)

本地大模型编程实战(22)用langchain实现基于SQL数据构建问答的系统(1)

本地大模型编程实战(21)支持多参数检索的RAG(Retrieval Augmented Generation,检索增强生成)(5)

本地大模型编程实战(20)用langgraph和智能体实现RAG(Retrieval Augmented Generation,检索增强生成)(4)

本地大模型编程实战(19)用langgraph实现RAG(Retrieval Augmented Generation,检索增强生成)(3)

本地大模型编程实战(18)用langgraph实现RAG(Retrieval Augmented Generation,检索增强生成)(2)

本地大模型编程实战(17)用langchain和智能体实现RAG(Retrieval Augmented Generation,检索增强生成)(1)

本地大模型编程实战(16)在智能体中自动记录消息历史(3)

本地大模型编程实战(15)可以调用两个工具的智能体Agent(2)

本地大模型编程实战(14)初探智能体Agent(1)

了解 Agent(智能体)

tool(工具) 与 Agent(智能体) 的区别

ReAct（Reasoning + Acting）

ReAct 的核心思路

本地大模型编程实战(13)与外部工具交互时注入参数(4)

本地大模型编程实战(12)与外部工具交互时进行人工审核(3)

本地大模型编程实战(11)用提示词提升与外部工具交互的能力并支持deepseek(2)

本地大模型编程实战(10)与外部工具交互(1)

本地大模型编程实战(09)完善聊天机器人(3)

本地大模型编程实战(08)用提示词改变聊天机器人的能力(2)

本地大模型编程实战(07)用langgraph自制聊天机器人(1)

本地大模型编程实战(06)从文本中提取重要信息(2)

本地大模型编程实战(05)从文本中提取重要信息(1)

本地大模型编程实战(04)给文本自动打标签

本地大模型编程实战(03)用本地矢量数据库实现语义检索(2)

本地大模型编程实战(02)语义检索(1)

本地大模型编程实战(01)实现翻译功能

用图形验证码增强用户认证安全性[python+vuetify]

[python]实现可以自动清除过期条目的缓存

[Elasticsearch]使用search_after实现深度分页[附源码]

基于OAuth2.0和JWT规范实现安全易用的用户认证

用vuetify3实现待办事项管理

用vuetify3实现经典的登录页面

用vuetify3做一个简单的相册

用最快捷的方法创建vuetify3项目

基于FastAPI和JWT实现OAuth2用户认证

使用FastAPI实现简单的OAuth2的Password和Bearer验证

使用FastAPI实现微服务API网关

如何给github开源项目提交修改

用FastAPI做langchain本地大模型的API

用Flask做langchain服务的API

了解 `Agent(智能体)`

`tool(工具)` 与 `Agent(智能体)` 的区别

`ReAct（Reasoning + Acting）`

`ReAct` 的核心思路