基于langchain和本地大模型以及会话式检索增强生成技术实现知识问答

本文概述了基于langchian框架和对话式增强生成(Conversational RAG(Retrieval Augmented Generation))技术实现知识问答。 具体来说,系统自动记录聊天历史,并把它作为上下文提供给大模型,这样它让大模型产生了“记忆”,可以“理解”和关联上下文,体验更好。 此样例程序使用本地部署的nomic-embed-text模型做嵌入检索,使用本地部署的llama3.1做回答内容生成。 ...

十月 10, 2024 · 3 分钟 · 火云

基于langchain和本地大模型以及会话式检索增强生成技术实现知识问答

本文讲述了基于langchian框架,使用本地部署的nomic-embed-text模型做嵌入检索、llama3.1做回答内容生成的知识问答系统实例。 会话式检索增强生成,即:Conversational RAG。 nomic-embed-text:一个高性能开放嵌入模型,具有较大的标记上下文窗口。这个模型只有274M,但实际做嵌入和检索时,感觉比llama3好。 通过对比测试使用历史聊天记录和不使用历史聊天记录两种情况,我们可以明显看出来使用历史聊天记录的优点:它让大模型产生了“记忆”,可以“理解”和关联上下文,体验更好。 ...

十月 9, 2024 · 3 分钟 · 火云

使用langchain+本地lamma3.1+本地chroma做RAG系统

本文详细讲述了如何使用langchain+本地lamma3.1+本地chroma做RAG系统。 ...

十月 1, 2024 · 2 分钟 · 火云

在langchian中使用本地部署的llama3.1大模型

本文讲述如何在langchian中使用本地部署的llama3.1大模型。 ...

十月 1, 2024 · 1 分钟 · 火云

大语言模型能做什么

当前AI的本质能力上是预测:AI能通过大数据训练,总结过去的规律,预测未来。 比如我们问AI:“内蒙古的首府是哪个城市?”,其实AI并不会透彻“理解”这句话的意思,但是它可以预测:当人们提出这样一个问题时,他们寻找的是一个特定的答案:呼和浩特。 从经济的角度看,AI能让各种“中低端”的服务变得更廉价,可见AI必然会逐渐替代这些服务有其必然性。 ...

九月 20, 2024 · 1 分钟 · 火云