인공지능은 텍스트 및 코드 생성을 넘어 GUI(그래픽 사용자 인터페이스)를 직접 제어하는 단계로 진입했습니다. 2026년 8월, Anthropic은 Claude의 Computer Use API 공개 베타를 발표했습니다(Anthropic 발표). 이와 함께 실시간 샌드박스인 Artifacts와 대규모 입력 비용을 절감하는 Prompt Caching이 전면 도입되었습니다(프롬프트 캐싱 안내).
이를 통해 Claude는 단순 조언자를 넘어 운영체제와 데스크톱 소프트웨어를 직접 조작하는 자율 실행 에이전트로 도약했습니다.
Computer Use: 시각적 피드백 기반 운영체제 직접 제어
전용 API가 없는 레거시 소프트웨어라도 Claude는 화면 픽셀을 분석하여 마우스와 키보드를 직접 조작할 수 있습니다:
- 화면 시각 분석: 연속 캡처를 통해 윈도우 레이아웃, 버튼 위치, 팝업 상태를 정확히 파악합니다.
- 입력 이벤트 실행: 좌표 기반 마우스 클릭, 드래그, 키보드 단축키를 환경 내에서 직접 실행합니다.
- 자율 오류 복구: 예상치 못한 경고창이 나타나도 변경된 화면을 재인식하여 다음 동작을 스스로 보정합니다.
인터랙티브 Artifacts와 프롬프트 캐싱 경제성
분할 화면에서 React 앱과 SVG 다이어그램을 실시간 실행하는 Artifacts와 함께, Prompt Caching을 통해 반복 입력 토큰 비용을 최대 90%, 응답 지연 시간을 85% 줄였습니다.
| 비교 구분 | 일반 대화형 AI | Claude GUI 조작 및 캐시 아키텍처 |
|---|---|---|
| 소프트웨어 제어 | 정형화된 API 연동에 국한 | 데스크톱 및 웹 GUI 직접 제어 |
| 코드 실행 | 텍스트 코드 블록 표시 | 실시간 분할 화면 인터랙티브 샌드박스 (Artifacts) |
| 긴 문맥 비용 | 매 턴마다 전체 비용 재청구 | 캐싱을 통해 최대 90% 비용 할인 및 지연 감소 |
핵심 요약: Computer Use와 프롬프트 캐싱은 엔터프라이즈 환경에서 경제적이고 실용적인 데스크톱 자동화 파이프라인을 완성했습니다.
상세 정보는 Claude 공식 홈페이지에서 확인할 수 있습니다.