Chroma

此系列文章讲述了：如何在普通电脑上自己写代码完成常见的基于大语言模型能力的任务。 ...

此系列文章详细的阐述了如何从第一行代码开始搭建一个可以运行完全在本地服务器的RAG(Retrieval Augmented Generation)系统，包含了详细的步骤说明和代码，它是保姆级教程。 它主要包含以下功能： 使用本地大语言模型做语言翻译 使用本地大语言模型做专业领域的知识问答 从系统架构来看，本系统包含了前端、API网关、后台服务三大部分： ...

上一篇文章： 本地大模型编程实战(02)语义检索(1) 详细介绍了如何使用 langchain 实现语义检索，为了演示方便，使用的是 langchain 提供的内存数据库。 在实际工作中，更多的使用场景是将矢量化的数据物理存储下来，在查询的时候在从存储介质中读取矢量数据进行查询，不会每次使用矢量数据时都必须想做嵌入。 本文描述了如何使用 Chroma 对csv数据进行矢量化，并且将矢量存储在硬盘中，未来查询矢量数据时，直接从硬盘中读取矢量数据进行查询。 另外，如果数据量大一些，矢量化数据是很花时间的，我们将使用进度条显示嵌入csv的进度。 ...

本文概述了基于langchian框架和对话式增强生成（Conversational RAG(Retrieval Augmented Generation)）技术实现知识问答。 具体来说，系统自动记录聊天历史，并把它作为上下文提供给大模型，这样它让大模型产生了“记忆”，可以“理解”和关联上下文，体验更好。 此样例程序使用本地部署的nomic-embed-text模型做嵌入检索，使用本地部署的llama3.1做回答内容生成。 ...

本文讲述了基于langchian框架，使用本地部署的nomic-embed-text模型做嵌入检索、llama3.1做回答内容生成的知识问答系统实例。 会话式检索增强生成，即：Conversational RAG。 nomic-embed-text：一个高性能开放嵌入模型，具有较大的标记上下文窗口。这个模型只有274M，但实际做嵌入和检索时，感觉比llama3好*。 通过对比测试使用历史聊天记录和不使用历史聊天记录两种情况，我们可以明显看出来使用历史聊天记录的优点：它让大模型产生了“记忆”，可以“理解”和关联上下文，体验更好。 ...