Anything LLM 是一个集成了 RAG 和 AI Agent 功能的 AI 桌面应用，它可以将多种格式的文档、网址或内容转化为上下文，以便与大型语言模型（LLM）交流时使用，支持本地运行或部署为服务供多人使用，还可以搭配各种 LLM 和向量数据库构建私人 ChatGPT。
Anything LLM 将您的文档划分为称为 workspaces (工作区)的对象。工作区的功能类似于线程，同时增加了文档的容器化。工作区可以共享文档，但工作区之间的内容不会互相干扰或污染，因此您可以保持每个工作区的上下文清晰。
Anything LLM 的一些酷炫特性
- 多用户实例支持和权限管理
- 工作区内的智能体 Agent（浏览网页、运行代码等）
- 为您的网站定制的可嵌入聊天窗口
- 支持多种文档类型（PDF、TXT、DOCX 等）
- 通过简单的用户界面管理向量数据库中的文档
- 两种对话模式：聊天和查询。聊天模式保留先前的对话记录。查询模式则是是针对您的文档做简单问答
- 聊天中会提供所引用的相应文档内容
- 100% 云部署就绪
- 部署你自己的 LLM模型
- 管理超大文档时高效、低耗。只需要一次就可以嵌入（Embedding)一个庞大的文档或文字记录。比其他文档聊天机器人解决方案节省 90% 的成本。
- 全套的开发人员 API，用于自定义集成
Anything LLM 支持的 LLM、嵌入模型、转录模型和向量数据库
支持的 LLM
- 任何与llama.cpp兼容的开源模型
- OpenAI
- OpenAI (通用)
- Azure OpenAI
- Anthropic
- Google Gemini Pro
- Hugging Face (聊天模型)
- Ollama (聊天模型)
- LM Studio (所有模型)
- LocalAi (所有模型)
- Together AI (聊天模型)
- Perplexity (聊天模型)
- OpenRouter (聊天模型)
- Mistral
- Groq
- Cohere
- KoboldCPP
支持的嵌入模型
- AnythingLLM原生嵌入器（默认）
- OpenAI
- Azure OpenAI
- LocalAi (全部)
- Ollama (全部)
- LM Studio (全部)
- Cohere
支持的转录模型
- AnythingLLM 内置 （默认）
- OpenAI
支持的向量数据库
- LanceDB （默认）
- Astra DB
- Pinecone
- Chroma
- Weaviate
- QDrant
- Milvus
- Zilliz
🏷️ Github 地址：https://github.com/Mintplex-Labs/anything-llm 🏷️ 官方地址：https://useanything.com
