엔지니어링 팀이 사내 자체 RAG 파이프라인 유지보수 대신 Dust를 도입해야 하는 시점

검색 증강 생성(RAG, Retrieval-Augmented Generation)의 프로토타입을 만드는 것은 어렵지 않습니다. LangChain이나 LlamaIndex를 사용하고 임베딩 모델과 pgvector, Pinecone 같은 벡터 데이터베이스를 결합하면 주말 며칠 만에 사내 마크다운 문서에서 유의미한 답변을 찾아내는 데모를 완성할 수 있습니다. 하지만 전체 개발팀과 사업 조직이 매일 업무에 활용할 수 있는 실서비스급 내부 지식 검색 시스템을 안정적으로 운영하는 것은 완전히 다른 차원의 문제입니다.

엔지니어링 팀이 Dust를 도입해야 하는 핵심 기준은 프로젝트의 목적이 사내 조직의 업무 생산성 향상과 파편화된 지식 검색에 있을 때입니다. Notion, Slack, Google Drive, Confluence, GitHub 전반에 흩어진 기업 지식을 검색하기 위해 플랫폼 엔지니어를 커넥터 동기화, 권한 매핑, 파이프라인 장애 대응에 상시 투입할 여유가 없는 조직이라면 Dust 매니지드 플랫폼이 정답입니다.

반대로 검색 파이프라인 자체가 회사의 핵심 상용 제품의 차별화 요소이거나, p99 지연 시간 100ms 미만의 극단적인 초저지연 SLA가 요구되거나, 독자적인 하이브리드 검색 알고리즘 및 전용 멀티모달 임베딩 모델 최적화가 필수적이거나, 클라우드 LLM 접근이 법적으로 완전히 차단된 폐쇄망(Air-gapped) 환경인 경우에는 자체 RAG 파이프라인을 직접 구축하고 유지보수해야 합니다.

수면 아래의 빙산: 자체 구축 RAG의 'Day 2' 운영 장벽

많은 엔지니어링 리더들이 자체 구축 RAG의 총소유비용(TCO)을 과소평가하는 이유는 초기 프로토타입 개발이 전체 수명주기 업무량의 20%도 되지 않기 때문입니다. 나머지 80%는 시스템 릴리즈 이후 발생하는 지속적인 운영 마찰에서 비롯됩니다.

1. SaaS 커넥터의 지속적인 규격 변경과 수집 취약성

엔터프라이즈 SaaS 도구와의 연동은 단순히 API를 한 번 호출하는 것으로 끝나지 않습니다.

• 호출 제한(Rate Limit) 및 지수 백오프: Slack이나 Notion에서 대규모 워크스페이스를 크롤링할 때 엄격한 API 속도 제한이 발생합니다. 이에 대응하려면 안정적인 분산 큐와 재시도 메커니즘을 자체 개발해야 합니다.
• 웹훅 라이프사이클 관리: 타사 웹훅은 네트워크 순단 시 이벤트를 유실하기 쉽고, 깊은 중첩 폴더의 권한 변경을 감지하지 못하거나 OAuth 토큰 만료로 연결이 끊어지는 일이 빈번합니다.
• 복합 문서 파싱 및 분할 한계: Google 슬라이드, Notion 관계형 데이터베이스, 다중 시트 스프레드시트, 스캔된 PDF를 정확하게 파싱하고 청크(Chunk)로 나누는 작업은 파서 라이브러리의 끊임없는 유지보수를 요구합니다.

2. 권한 상속 및 접근 제어 목록(ACL) 누출 리스크

사내 지식 검색에서 보안은 타협할 수 없는 영역입니다. 주니어 엔지니어가 경영진의 보수 회의록을 검색할 수 없어야 하며, 고객 지원 담당자가 비인가 고객 개인정보(PII)를 조회해서는 안 됩니다. 자체 파이프라인에서 IdP(Okta, Microsoft Entra ID) 그룹 정보를 여러 SaaS의 문서 단위 ACL과 일치시키려면 별도의 실시간 동기화 엔진을 만들어야 합니다. Google Drive나 Notion에서 공유 권한이 변경될 때마다 벡터 메타데이터가 즉시 업데이트되어야 하며, 검색 시점의 필터링에 작은 결함만 있어도 심각한 데이터 유출 사고로 이어집니다.

3. 재색인 지연과 고아 청크(Orphaned Chunks) 파편화

사내 문서는 매일 수정됩니다. 단순 벡터 저장소 구성에서는 50페이지짜리 사양서가 업데이트될 때 구버전 청크를 삭제하고 새 청크를 등록하며 고아 청크를 정리하는 작업이 완벽하게 동기화되어야 합니다. 동기화가 어긋나면 모델은 폐기된 사내 규정에 기반해 오답을 생성합니다. 또한 임베딩 모델을 신버전(예: text-embedding-ada-002에서 text-embedding-3-large로)으로 교체할 때마다 무중단 상태에서 수만 건 이상의 문서를 전량 재임베딩하고 색인을 재구축해야 합니다.

4. 프론티어 모델의 급격한 변화와 라우팅 비용

최상위 LLM은 매달 새로운 모델이 등장합니다. 자체 파이프라인은 OpenAI, Anthropic Claude, Google Gemini, Mistral, DeepSeek 등이 제공하는 새로운 컨텍스트 윈도우, JSON 구조화 출력, 추론 강도 옵션에 맞춰 오케스트레이션 코드를 계속해서 리팩토링해야 합니다.

5. 멀티 서피스 사용자 인터페이스 유지보수

엔지니어는 Slack, 터미널, GitHub에서 작업하지만 사업 부서는 웹 브라우저나 티켓 관리 도구를 주로 사용합니다. 자체 RAG를 운영하려면 각 환경에 맞춘 Slack 봇, Server-Sent Events(SSE) 스트리밍 웹 인터페이스, 출처 표기 팝업, 사용자 인증 체계를 직접 개발하고 유지보수해야 합니다.

아키텍처 분석: Dust 매니지드 플랫폼이 제공하는 핵심 가치

Dust는 전사적 지식 검색과 다중 에이전트 협업의 인프라 부담을 해소하도록 설계된 기업용 에이전트 운영체제입니다.

전담 관리형 데이터 소스와 네이티브 커넥터

Dust는 Slack, Notion, Google Drive, Confluence, GitHub, Zendesk, Intercom, Snowflake, BigQuery 등에 대한 네이티브 연동을 기본 지원합니다.

• 자동화된 문서 라이프사이클: 수집된 문서는 고유한 문서 ID를 부여받습니다. 저장은 Upsert 방식으로 처리되어, 기존 문서가 업데이트되면 하부 벡터 데이터베이스에서 이전 청크가 자동으로 교체되므로 찌꺼기 데이터가 남지 않습니다.
• 전처리 및 청크 분할: 불필요한 공백을 제거하고 설정된 토큰 상한(max_chunk_size)에 따라 텍스트를 최적으로 분할합니다.
• 임베딩 인프라: 기본적으로 OpenAI의 text-embedding-3-large를 사용합니다(Enterprise 플랜에서는 전용 모델 선택 가능). 검색 쿼리가 입력되면 질문을 벡터화하여 관련 청크를 찾고, 문서 단위로 취합한 후 최고 유사도 점수 순으로 정렬하여 반환합니다.

Spaces 기반의 이중 계층 보안 및 권한 격리

여러 SaaS의 취약한 파일별 ACL을 무리하게 복제하는 대신, Dust는 Spaces(스페이스) 구조를 통해 체계적인 거버넌스를 구현합니다.

• 오픈 스페이스(Open Spaces): 워크스페이스의 모든 구성원이 접근 가능하며, 사내 핸드북이나 기술 표준 문서에 적합합니다. 변경 불가능한 기본 공간인 Company Data가 포함됩니다.
• 제한된 스페이스(Restricted Spaces): 지정된 구성원 또는 기업 IdP(Okta, Entra ID)에서 SCIM을 통해 동기화된 그룹만 접근할 수 있습니다.
• 이중 계층 접근 통제:
  1. 에이전트-데이터 계층: 에이전트는 자신이 배치된 스페이스 내의 데이터 소스만 쿼리할 수 있습니다.
  2. 사용자-에이전트 계층: 사용자는 자신이 멤버십을 보유한 스페이스에 속한 에이전트만 조회하고 실행할 수 있습니다. 권한 없는 구성원에게 대화를 통해 민감한 정보가 노출되는 현상이 원천 차단됩니다.
• 전용 서비스 계정 권장: Google Drive 및 Notion 연동 시 dust-admin@company.com과 같은 전용 서비스 계정을 사용하도록 권장하여, IT 및 보안팀이 동기화 대상 공유 드라이브와 팀스페이스를 중앙에서 엄격하게 관리할 수 있습니다.

멀티 모델 유연성과 동적 라우팅

Dust는 복잡한 LLM 제공사를 단일 인터페이스로 추상화합니다. 인프라 코드를 수정할 필요 없이 20개 이상의 프론티어 모델(OpenAI GPT-4o, Anthropic Claude 3.5 및 3.7 Sonnet, Google Gemini 1.5 및 2.0, Mistral Large, DeepSeek 등)을 에이전트별로 즉시 지정할 수 있습니다. 관리자는 그룹별 모델 접근 등급과 추론 자원 제한을 설정하여 예산 초과를 방지합니다.

개발자 확장성: REST API 및 MCP(Model Context Protocol) 지원

Dust는 단순한 노코드 툴에 머무르지 않습니다.

• 개발자 API 및 OpenAPI 3.0: 데이터 소스 생성, 텍스트 및 PDF 문서의 Upsert, 에이전트 호출, SSE 스트리밍을 제어할 수 있는 공식 REST API를 완비하고 있습니다.
• MCP(Model Context Protocol) 지원: 원격 및 클라이언트 사이드 MCP 서버(프리뷰)를 지원하여, 사내 마이크로서비스, 독자적인 데이터베이스, CI/CD 자동화 파이프라인을 에이전트 도구로 안전하게 연동할 수 있습니다.
• 트리거 및 스케줄러: 정기 Cron 스케줄에 따른 자동 실행이나 외부 웹훅 이벤트를 통한 워크플로우 구동이 가능합니다.
• 오픈 코어의 투명성: Dust의 핵심 시스템 코드는 GitHub(dust-tt/dust)에 오픈소스로 공개되어 있어, 아키텍트가 내부 청킹 로직과 동작 구조를 직접 검증할 수 있습니다.

핵심 비교: 사내 자체 RAG vs. Dust 매니지드 플랫폼

총소유비용(TCO) 재무 분석

빌드(Build)와 바이(Buy)를 저울질할 때 기술 리더는 소프트웨어 구독 비용과 투입되는 엔지니어의 인건비 및 기회비용을 함께 계산해야 합니다.

시뮬레이션: 직원 150명(엔지니어 50명) 규모의 기술 기업

자체 구축 및 유지보수 시 실제 비용

• 초기 개발 단계(4개월): 시니어 엔지니어 2명이 데이터 파이프라인, 벡터 인덱스, 평가 지표, Slack 연동 구축에 투입. 엔지니어 1인당 연간 보수 1억 5천만 원 기준 약 1억 원.
• 지속 운영 및 유지보수(연간): SaaS API 변경 대응, 임베딩 모델 업그레이드, 데이터 클리닝에 0.75명의 엔지니어 공수 지속 투입: 연간 약 1억 1,250만 원.
• 인프라 및 LLM 사용료: 관리형 벡터 DB(Pinecone/Qdrant Cloud), 컴퓨팅 인스턴스, 파싱 및 상용 LLM API 비용: 연간 약 1,800만~3,000만 원.
• 첫해 총 지출 비용: 약 2억 3,000만~2억 4,250만 원 (이후 매년 1억 3,000만 원 이상의 고정 운영비 발생).

Dust 도입 시 비용

• Business 플랜: 일반 사용자용 Pro 시트 연간 결제 시 월 24유로(약 3만 5천 원), 파워 유저용 Max 시트 월 120유로 및 월간 크레딧 제공.
• Enterprise 플랜: 워크스페이스 단위 크레딧 풀, 무제한 커넥터 및 MCP 서버, SCIM 프로비저닝, 전담 SLA, EU/US 데이터 레지던시 제공.
• 연간 총비용: 동일 조직 규모 기준 시니어 엔지니어 1명 연봉의 일부 수준에 불과합니다.
• 기회비용 회수: 시니어 엔지니어 2명이 내부 도구 유지보수 대신 고객 매출을 직접 견인하는 핵심 제품 개발에 전념할 수 있습니다.

의사결정 프레임워크: 무엇을 선택해야 하는가?

Dust를 선택해야 하는 경우:

1. 사내 지식이 여러 SaaS 도구에 분산되어 있는 경우: 아키텍처 문서, 회의록, 지식 베이스가 Slack, Notion, Google Drive, Confluence, GitHub에 흩어져 있을 때.
2. 도메인 전문가가 스스로 에이전트를 만들게 하고 싶은 경우: PM, 고객지원 리드, 운영 담당자가 개발팀에 티켓을 넣지 않고도 자연어와 MCP 도구로 RAG 에이전트를 직접 구축하고 운영하고자 할 때.
3. 엔지니어링 리소스가 극도로 부족한 경우: 핵심 제품 출시에 집중해야 하여 외부 API 연동이나 재색인 작업에 엔지니어링 공수를 낭비할 수 없을 때.
4. 기업 보안 및 규정 준수가 즉시 필요한 경우: SOC 2 인증, GDPR 준수, SAML SSO, 감사 로그가 즉시 요구될 때.

자체 RAG 파이프라인을 구축해야 하는 경우:

1. RAG 파이프라인 자체가 회사의 핵심 상용 제품인 경우: 법률 문서 분석 플랫폼, 의료 영상 판독 검색기, 전용 코드베이스 인텔리전스 도구 등 검색 알고리즘 자체가 회사의 핵심 지식재산권일 때.
2. 100ms 미만의 극단적인 초저지연 SLA가 필요한 경우: 인메모리 커스텀 벡터 인덱스나 실시간 트랜잭션 서비스 내 임베딩 가속 하드웨어가 직접 결합되어야 할 때.
3. 완전 폐쇄망(Air-gapped) 환경인 경우: 국방, 금융 규제로 인해 외부 클라우드 SaaS 및 상용 LLM 연동이 완전히 금지되어 온프레미스(vLLM + Ollama, 로컬 Milvus 클러스터) 환경만 허용될 때.
4. 단순한 접근 제어를 가진 수천만 건의 대규모 공개 데이터인 경우: 5,000만 건 이상의 공개 이커머스 상품 카탈로그 검색처럼 시트 기반 과금이 비효율적이고 문서별 세부 권한 격리가 필요 없는 경우.

현실적인 대안: 하이브리드 아키텍처

선도적인 기술 팀들은 점차 실용적인 하이브리드 방식을 채택하고 있습니다.

• 사내 전사 지식은 Dust로 일원화: 전사 온보딩, 기술 문서 검색, 팀 간 협업 지식은 Dust에 맡겨 빠르게 생산성을 확보합니다.
• 사내 전용 시스템은 MCP를 통해 Dust에 연결: RAG 검색 외피를 밑바닥부터 다시 만들지 않고, 사내 마이크로서비스나 데이터베이스와 통신하는 경량 MCP 서버를 개발하여 Dust 에이전트의 도구로 등록합니다. 사용자 인증, 프론트엔드 인터페이스, LLM 라우팅은 Dust가 처리하고, 개발팀은 고품질의 사내 데이터 파이프라인 제공에만 집중합니다.

차별화되지 않는 커넥터 유지보수 작업을 매니지드 플랫폼에 위임함으로써, 엔지니어링 팀은 비즈니스 성공을 결정짓는 핵심 제품 개발에 온전히 집중할 수 있습니다.

참고 자료

• Dust Pricing: Business and Enterprise Plans for AI Agents
• Understanding Retrieval Augmented Generation (RAG) and the search method in Dust
• Chunks and Documents
• Datasources
• Access Controls and Permissions
• Spaces management
• Google Drive Connection
• Notion Connection
• The economics of multiplayer AI