基于langchain和本地大模型以及会话式检索增强生成技术实现知识问答

本文概述了基于langchian框架和对话式增强生成(Conversational RAG(Retrieval Augmented Generation))技术实现知识问答。 具体来说,系统自动记录聊天历史,并把它作为上下文提供给大模型,这样它让大模型产生了“记忆”,可以“理解”和关联上下文,体验更好。 此样例程序使用本地部署的nomic-embed-text模型做嵌入检索,使用本地部署的llama3.1做回答内容生成。 ...

十月 10, 2024 · 3 分钟 · 火云

基于langchain和本地大模型以及会话式检索增强生成技术实现知识问答

本文讲述了基于langchian框架,使用本地部署的nomic-embed-text模型做嵌入检索、llama3.1做回答内容生成的知识问答系统实例。 会话式检索增强生成,即:Conversational RAG。 nomic-embed-text:一个高性能开放嵌入模型,具有较大的标记上下文窗口。这个模型只有274M,但实际做嵌入和检索时,感觉比llama3好*。 通过对比测试使用历史聊天记录和不使用历史聊天记录两种情况,我们可以明显看出来使用历史聊天记录的优点:它让大模型产生了“记忆”,可以“理解”和关联上下文,体验更好。 ...

十月 9, 2024 · 3 分钟 · 火云

使用langchain+本地lamma3.1+本地chroma做RAG系统

本文详细讲述了如何使用langchain+本地lamma3.1+本地chroma做RAG系统。 ...

十月 1, 2024 · 2 分钟 · 火云

在langchian中使用本地部署的llama3.1大模型

本文讲述如何在langchian中使用本地部署的llama3.1大模型。 ...

十月 1, 2024 · 1 分钟 · 火云

在Visual Studio Code中配置venv

介绍如何在Visual Studio Code中配置venv ...

十月 1, 2024 · 1 分钟 · 火云