程序猿

如果我比别人看得更远，那是因为我站在巨人的肩上。 – 艾萨克·牛顿 不知道您是否像我一样：希望自己能有一个完全本地部署的AI实验室，它有可视化界面，可以与大模型聊天，可以做智能体，还可以提供标准化的接口… Chatbox、Dify、Ollama 与 Qwen（通义千问）大模型完全可以整合在一起，且整合后能形成 “本地模型 + 可视化开发管理 + 多端交互” 的完整 AI 应用链路。四者的定位互补性强，整合核心逻辑是 Ollama 负责本地运行 Qwen 模型 → Dify 提供模型管理与应用开发能力 → Chatbox 作为轻量客户端实现多端交互： 系统/模型 核心定位 关键角色 Ollama 轻量本地大模型运行框架 「模型载体」：简化本地模型部署，支持一键启动 Qwen、Llama 等开源模型，提供 API 接口供外部调用 Qwen（通义千问） 阿里开源大模型（如 Qwen-8B/14B） 「核心能力源」：提供对话、生成、推理等 AI 能力，需依赖 Ollama 或其他框架运行 Dify 开源 LLM 应用开发平台 「开发与管理中枢」：支持接入 Ollama 部署的 Qwen 模型，提供可视化 workflow、RAG 检索、Agent 工具链，可快速搭建 AI 应用（如问答系统、智能助手） Chatbox 多端 AI 客户端 「交互入口」：支持接入 Dify 或 Ollama 的 API，提供桌面（Windows/Mac/Linux）、移动端（iOS/Android）的轻量交互界面，优化用户使用体验 下面我们就一步一步的把这个AI实验室搭建起来。 ...

dify 是一个开源的 LLM 应用开发平台，其核心功能包括： 工作流：可在画布上构建和测试强大的 AI 工作流程。 全面的模型支持：与数百种专有 / 开源 LLMs 及数十种推理提供商和自托管解决方案无缝集成，支持 GPT、Mistral、Llama3、qwen 等及任何与 OpenAI API 兼容的模型。 Prompt IDE：提供直观界面，用于制作提示、比较模型性能及为聊天类应用添加文本转语音等功能。 RAG Pipeline：具备广泛的 RAG 功能，涵盖文档摄入到检索，支持从 PDF、PPT 等常见文档格式提取文本。 Agent 智能体：可基于 LLM 函数调用或 ReAct 定义 Agent，提供 50 多种内置工具如谷歌搜索、DALL・E 等。 LLMOps：能监测和分析应用日志与性能，基于生产数据和注释持续改进提示、数据集及模型。 Backend-as-a-Service：所有功能都提供 API，便于将 Dify 集成到自有业务逻辑中。 本文将把详细的讲述搭建 dify 并且用它的 Chatflow 搭建智能体应用的过程。 ...

在之前的文章 嵌入和语义检索 中，我们了解了把文本变成向量的方法，由于这些向量相当于将文本做了分类：语义相近的距离越近，所以这些向量就可以很方便的应用于语义检索场景了。 比较向量相似度（vector similarity）的常见算法主要分为两大类： 1️⃣ 基于“角度/方向”的度量 2️⃣ 基于“距离/差异”的度量 下面我们系统的整理一下。 ...

语义检索是指系统能够理解用户查询的深层含义（语义），而不仅仅是匹配字面关键词。它通过分析上下文、同义词、相关概念等，查找与查询意图最相关的信息，即使文档中没有完全相同的词语。 与关键词检索的区别： 关键词检索：基于字面匹配，查找包含用户输入的特定词语的文档。它不理解词语的含义，因此可能遗漏意思相关但用词不同的内容，或返回用词相同但意思不符的结果。 语义检索：基于意义匹配，理解查询和文档的“意思”。它能找到表达方式不同但含义相近的内容，返回更符合用户真实意图的结果。 简单来说：关键词检索是“找词”，语义检索是“懂意”。 例如：如果用关键词检索“苹果”，那么可能找到我们吃的苹果以及苹果公司的相关信息；而语义检索会考虑检索内容的上下文，它能断定这个苹果是“苹果公司”，所以只会检索“苹果公司”的相关内容出来。 ...

vLLM(Virtual Large Language Model) 和 Ollama 都是用于运行大语言模型 大语言模型/LLM 的工具，旨在降低本地部署和使用大模型的门槛。应用程序可以通过它们的统一接口，使用不同大模型。 ...