AnythingLLM是一个全栈应用,可以使用现有的商业化LLM(大型语言模型)或者流行的开源LLM和向量数据库方案,来建立一个没有妥协的私人ChatGPT,既能在本地运行,也能远程托管,能和您提供的任何文件智能对话。
AnythingLLM把您的文件分成了叫作工作区的东西。工作区的作用有点像线程,但是你的文件都被容器化了。工作区间可以分享文件,但他们不互相交流,这样可以让每个工作区的环境都很清爽。
AnythingLLM的一些有趣特性:
- 支持多用户和权限设置
- 支持多种文件类型(如PDF、TXT、DOCX等)通过简洁的用户界面管理向量数据库中的文件
- 两种聊天模式:会话模式和查询模式。会话模式会保存之前的问题和更正;查询模式则是针对文件的基本问答。在聊天中加入引用链接至原文档源和文字
- 方便快速迭代的技术栈
- 云端部署准备就绪
- “自己带LLM”的模式
- 非常有效的成本节约措施,对于处理庞大的文件来说特别划算。您永远不会因为多次嵌入大文件或转录文件而支付额外费用。相比于其他文件聊天机器人的解决方案,它提供了高达90%的成本效益提升。
- 提供完全的开发者API以实现自定义集成!
Github地址:https://github.com/Mintplex-Labs/anything-llmgithub.com/Mintplex-Labs/anything-llm
本地部署
llama.cpp server
提供兼容Openai 的 API,为anythingLLM提供运行后端
/data/llama.cpp/server -m qwen/qwen72b-chat-q4_0.gguf -ngl 100 --host 0.0.0.0 -c 2048
anythingLLM
docker 启动
官方文档:
本地简单临时启用,无数据持久化
docker run -d -p3001:3001 mintplexlabs/anythingllm:master
界面配置
访问 http://<yourip>:3001
![](https://pic4.zhimg.com/80/v2-76d7d8564c7bae4879bebcc5919e27e7_1440w.webp)
选择LM Studio 配置base url
http://<yourip>:8080/v1
embedding 选择 第一个
![](https://pic4.zhimg.com/80/v2-8919101e7d0db17822dc0c12280254ef_1440w.webp)
向量数据库选择最后一个
![](https://pic3.zhimg.com/80/v2-a44e37b107d5bae23497804c54be1382_1440w.webp)
最终配置后的界面如下:
![](https://pic3.zhimg.com/80/v2-91a3d1226424c1eb1855cda79723ad5e_1440w.webp)
使用展示
chat模式
![](https://pic4.zhimg.com/80/v2-46e65d5fcfc85636e059637de32eb103_1440w.webp)
文档问答模式
![](https://pic1.zhimg.com/80/v2-3bdf3a0138a798b069ad52f06c0f3a7c_1440w.webp)
点击上图红色标记处位置切换为文档问答模式
![](https://pic1.zhimg.com/80/v2-01b39bd34bd572a77f140f41b39d370c_1440w.webp)
点击设置按钮,上传文档
![](https://pic3.zhimg.com/80/v2-7f066ed59000619ae666cf9a5c4d2d46_1440w.webp)
返回主界面进行文档问答
![](https://pic4.zhimg.com/80/v2-792031add2d24279d6019c460a844abb_1440w.webp)
问答模式下,会显示该回答所引用的原文,方便查看确认信息
![](https://pic2.zhimg.com/80/v2-a4d73e43a37fd7b6580b5757339ee245_1440w.webp)