http://wfcoding.com/tags/websocket/ Recent content in Websocket on 有趣的AI Hugo -- 0.125.7 zh 火云 Sun, 27 Apr 2025 00:00:00 +0000 http://wfcoding.com/articles/practice/0332/ Sun, 27 Apr 2025 00:00:00 +0000 http://wfcoding.com/articles/practice/0332/ <p>在与 <code>LLM(大语言模型)</code> 对话时，如果每次都等 <code>LLM</code> 处理完毕再返回给客户端，会显得比较卡顿，不友好。如何能够像主流的AI平台那样：可以一点一点吐出字符呢？<br> 本文将模仿后端流式输出文字，前端一块一块的显示文字。主要的实现路径是：</p> <ul> <li><code>LLM</code> 采用 <code>qwen3</code> ，使用 <code>stream</code> 方式输出</li> <li>后端使用 <code>langchain</code> 框架</li> <li>使用 <code>fastapi</code> 实现后端接口</li> <li>前后端之间使用 <strong><code>websocket</code></strong> 长连接通信</li> <li>前端使用一个简单的 <code>html5</code> 网页做演示</li> </ul> <p>下面是最终实现的效果： <img loading="lazy" src="assert/demo.gif" alt="前端流式显示LLM(大语言模型)的流式输出内容" /> </p>