工程团队何时应选择 Dust 而非自研维护内部 RAG 管道

构建一个检索增强生成（RAG）的原型系统非常简单：利用 LangChain 或 LlamaIndex，搭配一个向量嵌入模型和 pgvector 或 Pinecone 等向量数据库，利用一个周末就能让系统从几个 Markdown 目录中检索出相关片段。然而，要在整个工程与业务团队中长期稳定运行一套生产级内部知识检索平台，面临的挑战截然不同。

技术团队应当在以下场景果断引入 Dust：核心目标是内部团队赋能与跨系统知识检索——让工程师、产品经理、技术支持和业务运营人员能够无缝查询分散在 Notion、Slack、Google Drive、Confluence 和 GitHub 中的碎片化知识，而无需抽调高薪平台工程师全职维护连接器同步、权限继承映射与模型编排。

相反，如果向量检索是公司对外商业化产品的核心壁垒、系统必须满足低于 100 毫秒的 p99 延迟 SLA、需要深度定制专有混合检索算法或多模态嵌入模型，或者处于完全物理隔离且禁止访问外部商业云端大模型的合规环境，技术团队则应继续自研与维护定制 RAG 管道。

浮出水面的冰山：自研 RAG 的“第 2 天”运营困境

多数工程管理者容易低估自研检索系统的全生命周期拥有成本（TCO）。原型开发只占整体工作量的不到 20%，剩下的 80% 均消耗在持续的工程维护与运维摩擦中：

1. SaaS 连接器持续维护与数据摄取脆弱性

连接企业 SaaS 平台绝不是调用一次 API 那么简单。各大外部服务存在完全不同的边界场景：

• 速率限制与退避策略：Slack 和 Notion 在全量爬取工作区时会触发严格的 API 限流，需要工程师搭建高可用的分布式队列与指数退避重试逻辑。
• Webhook 生命周期：第三方 Webhook 经常在网络波动时丢失事件，对深层嵌套文件夹的权限变更容易漏检，OAuth 令牌也会定期过期或被重置。
• 复杂文档解析与解构：解析 Google 幻灯片、Notion 多维表格、多工作表 Excel 以及扫描版 PDF，需要持续维护格式解析库并针对版面结构优化分块策略。

2. 权限继承与访问控制列表（ACL）泄漏风险

内部知识库的安全性是零容忍的：普通工程师绝不能搜出管理层薪酬文件，客服人员也不能随意调取包含敏感客户隐私的文档。 在自研管道中，将身份提供商（IdP）的用户组映射到底层向量库中跨多个 SaaS 的文档级 ACL，需要工程师自主研发一套实时同步引擎。一旦文件在 Google Drive 或 Notion 中修改了分享权限，向量元数据必须立即更新。若查询阶段的元数据过滤出现逻辑遗漏，便会酿成严重的数据外泄事故。

3. 重索引延迟与孤立数据碎片清理

知识库内容随时都在变动。在朴素向量库架构中，更新一份 50 页的技术方案不仅需要删除旧分块、写入新分块，还要彻底清理关联孤立分块。一旦向量数据与源数据脱节，大模型便会生成幻觉或基于过时规则作答。此外，一旦团队想要将底层嵌入模型升级（例如从旧版升级到 text-embedding-3-large），整个知识库必须在不停机的前提下全量重新嵌入与重构索引。

4. 前沿模型快速更迭与路由成本

基础大语言模型几乎每月都在推陈出新。自研管道需要持续重构应用层编排代码，以适配 OpenAI、Anthropic Claude、Google Gemini、Mistral 以及 DeepSeek 等不同模型在上下文窗口、结构化输出（JSON 模式）和思考推理等级上的差异。

5. 跨终端用户交互界面的维护开销

研发人员习惯在 Slack、终端与 GitHub 工作，业务人员则依赖网页端、Google Workspace 与工单系统。自研 RAG 意味着工程团队还需额外开发并长期维护 Slack 机器人、带打字机效果的 Server-Sent Events（SSE）前端界面、引用溯源浮层以及权限认证体系。

架构拆解：Dust 托管平台的核心优势

Dust 定位为企业级智能体操作系统，旨在彻底消除团队在全公司级知识检索与智能协同上的底层基建负担。

全托管数据源与连接器体系

Dust 提供了针对 Slack、Notion、Google Drive、Confluence、GitHub、Zendesk、Intercom、Snowflake 及 BigQuery 等工具的开箱即用原生集成：

• 自动化文档生命周期：所有摄入的文档均分配全局唯一文档 ID。文档写入本质为 Upsert 操作：更新已有文档会自动在向量库中替换旧分块，彻底避免脏数据与孤儿分块。
• 预处理与分块：系统自动清洗多余空格，并按设定阈值（max_chunk_size）进行语义切分。
• 嵌入基础设施：默认采用 OpenAI 的 text-embedding-3-large 模型生成向量（企业版支持定制专属嵌入模型）。查询时，Dust 自动对 Prompt 进行向量化并执行相似度检索，按文档维度聚合关联分块，并按最高分值降序排列返回。

基于 Spaces 的双层安全与权限隔离体系

不同于在向量库中勉强拼接脆弱的单文件级 ACL，Dust 采用了基于 Spaces（空间） 的结构化权限治理模式：

• 开放空间（Open Spaces）：工作区内所有成员均可访问，适用于工程手册、通用开发规范和全员文档。每个工作区均内置不可修改的全局 Company Data 空间。
• 受限空间（Restricted Spaces）：仅限指定成员或通过 SCIM 从企业 IdP（如 Okta、Microsoft Entra ID）同步的用户组访问。
• 双层访问隔离机制：
  1. 智能体与数据之间：智能体仅能查询其所配置空间内的数据源。
  2. 用户与智能体之间：用户仅能查看、@ 调用和执行其自身拥有成员权限的智能体。敏感信息绝对不会通过智能体的回复内容跨权限泄露。
• 专用管理服务账号：对于 Google Drive 与 Notion，Dust 推荐配置专用管理账号（例如 dust-admin@company.com），让 IT 与信息安全部门能够集中审核并明确授权哪些共享云端硬盘或团队空间可以同步到平台。

多模型敏捷路由与使用量治理

Dust 将多模型抽象为统一界面。团队无需修改任何底层代码，即可为不同的智能体分配 20 多款前沿大模型（包括 OpenAI GPT-4o、Anthropic Claude 3.5 / 3.7 Sonnet、Google Gemini 1.5 / 2.0、Mistral Large 以及 DeepSeek 等）。管理员还可针对不同用户群组设置模型等级与推理算力上限，有效控制成本。

开发者平台与生态扩展（REST API 与 MCP）

Dust 并非封闭的无代码玩具，而是具备完备的开发者生态：

• 开发者 API 与 OpenAPI 3.0：提供完善的 RESTful 接口，支持通过程序代码创建与管理数据源、批量 Upsert 文本或 PDF 文件、发起对话并接收 SSE 流式事件。
• Model Context Protocol（MCP）支持：Dust 原生支持标准 MCP 服务端（包括远程服务器及客户端 MCP 预览模式），使智能体能够安全调用公司内部的微服务、查询内部业务数据库或触发 CI/CD 流程。
• 自动化触发器与定时任务：支持按 Cron 定时调度或基于外部系统 Webhook 触发自主运行。
• 开源内核与透明度：Dust 的核心系统在 GitHub 开源（dust-tt/dust），技术架构师可随时查阅源码实现细节，彻底消除商业黑盒与被厂商锁定的后顾之忧。

关键维度横向对比：自研 RAG 对比 Dust

全生命周期拥有成本（TCO）测算

技术负责人在权衡自研还是采购时，必须将 SaaS 采购预算与被占用的工程师薪酬及机会成本放在同一天平上考量。

典型测算场景：150 人的科技公司（含 50 名研发人员）

自研并维护方案的实际成本

• 初始研发周期（约 4 个月）：投入 2 名资深工程师负责数据管道、向量索引、评估指标及 Slack 机器人开发。按工程师年化综合人力成本 12 万美元测算，初始研发投入约 8 万美元。
• 持续维护与运维（按年计）：折合 0.75 名全职工程师持续处理 Notion / Slack 接口调整、嵌入模型升级、数据重新切片与向量库运维：每年约 9 万美元。
• 云基础设施与 API 调用费用：托管向量数据库（如 Pinecone / Qdrant Cloud）、计算集群、文档解析服务及商业 LLM API 账单：每年约 1.5 万至 2.5 万美元。
• 首年综合支出：约 18.5 万至 19.5 万美元，且后续每年固定产生超 10 万美元 运维沉没成本。

采用 Dust 平台的实际成本

• 商业自助版（Business）：标准成员 Pro 席位按年付每月 24 欧元（约 26 美元），深度构建者 Max 席位每月 120 欧元，按使用量充值消耗额度（Credits）。
• 企业版（Enterprise）：提供跨工作区共享积分池与阶梯费率，连接器与 MCP 无限制，包含 SCIM 同步、企业级 SLA 及独立多租户/指定数据驻留区域。
• 总费用规模：对于该规模团队，全年在 Dust 上的软件开销通常仅占单个资深工程师薪酬成本的一小部分。
• 机会成本释放：核心研发人员得以将全部精力聚焦于能够带来直接营收的主营业务，无需陷入低产出的内部工具维护泥潭。

决策框架：何时选择哪种路径？

果断选择 Dust 的情形：

1. 企业知识散落在异构 SaaS 中：技术方案、运营规范、项目归档与客服工单分散在 Slack、Notion、Google Drive、Confluence 和 GitHub。
2. 希望非工程业务专家自主构建 Agent：产品经理、售前架构师和运营主管能通过自然语言或 MCP 工具自行配置专属知识智能体，无需反复给工程团队提工单。
3. 平台工程研发资源高度紧张：团队面临产品交付核心里程碑，无法抽调人力专门应对三方 API 变动与重索引问题。
4. 必须满足即时企业级合规：需要立即可用的 SOC 2 认证、GDPR 符合性、SAML SSO 统一登录与审计日志。

维持与自研内部 RAG 的情形：

1. RAG 管道是公司的核心商业产品：例如你正在开发一款法律文献深度检索系统、医疗影像诊断检索平台或代码级深度分析工具，专属检索算法是公司的核心知识产权。
2. 有着极致的低延迟要求（<100ms）：需要将向量索引直接部署在内存中、使用定制计算缓存，或在核心交易服务中内嵌张量加速硬件。
3. 完全物理隔离的专有网络环境：受国防或金融极度严苛监管要求，全链路绝对禁止与外部公网及商业云端 LLM 产生交互，必须使用纯本地离线部署（如基于 vLLM + Ollama 与本地 Milvus 集群）。
4. 数千万级海量公开数据检索且访问逻辑单一：例如对 5000 万个公开电商 SKU 进行语义匹配，此时按席位计费的 SaaS 经济模型不划算，完全统一的权限模型也更适合采用自建向量引擎。

混合架构模式：务实的工程落地方案

越来越多的优秀技术团队正在采用一种务实的混合架构：

• 企业内部通用知识归属 Dust：通过 Dust 统一纳管跨部门文档，驱动内部研发入职答疑、标准流程索引、代码仓库上下文解析与日常运营协同。
• 内部专有系统通过 MCP 接入 Dust：研发团队无需从头搭建检索外壳，而是编写轻量级的内部 MCP 服务端或提供 REST API，将私有数据库与内部系统作为工具挂载给 Dust 智能体。Dust 负责用户鉴权、前端交互、多模型路由与基础切片检索，工程师则专注于输出高质量的核心业务数据。

将毫无差异化价值的连接器修修补补工作交给成熟的托管平台，工程团队才能真正把精力投向最具业务影响力的核心软件工程之中。

参考资料

• Dust Pricing: Business and Enterprise Plans for AI Agents
• Understanding Retrieval Augmented Generation (RAG) and the search method in Dust
• Chunks and Documents
• Datasources
• Access Controls and Permissions
• Spaces management
• Google Drive Connection
• Notion Connection
• The economics of multiplayer AI