Claude로 영상 편집하는 법 — CapCut에서도 될까요?

Claude로 영상을 편집하는 방법을 찾다 보면 두 가지 질문이 함께 나옵니다. 하나는 Claude가 편집 작업 자체를 할 수 있느냐이고, 다른 하나는 이미 쓰고 있는 편집기 안에서 작업할 수 있느냐입니다. 많은 크리에이터에게 그 편집기는 CapCut입니다.

Claude Code와 ffmpeg로 초벌 편집과 자막을 만드는 방법을 테스트했습니다. 결과 파일은 CapCut으로 가져올 수 있습니다. Claude Desktop의 computer use를 통한 CapCut 조작은 검증하지 않았습니다.

Claude로 CapCut에서 영상을 편집할 수 있나요?

2026년 10월 13일 기준으로 Claude용 공식 CapCut 커넥터, 공식 CapCut MCP 서버, CapCut 타임라인을 편집하는 공개 API는 찾지 못했습니다.

Claude Desktop에는 화면, 마우스, 키보드로 앱과 상호 작용하는 computer use도 있습니다. 기능을 켜고 필요한 앱 권한을 부여해야 합니다. CapCut 호환성과 편집 결과는 검증하지 않았습니다.

• 커뮤니티 드래프트 생성기. VectCutAPI(구 CapCutAPI)는 CapCut과 JianYing에서 열 수 있는 드래프트 파일을 만들어 주는 독립 오픈소스 프로젝트로, Claude Code가 호출할 수 있는 MCP 서버도 들어 있습니다. 커뮤니티의 "capcut-mcp" 프로젝트 중 일부는 이를 기반으로 만들어졌습니다. 검토와 내보내기는 여전히 CapCut에서 드래프트를 열어서 해야 하고, CapCut이 드래프트 형식을 공개하지 않기 때문에 앱이 업데이트되면 이런 도구가 망가질 수 있습니다. Orkas 안에서는 아직 테스트하지 않았습니다.
• CapCut 자체 어시스턴트. CapCut PC 앱에는 CapCut에 내장된 채팅형 편집기 EditPilot이 있습니다. Claude가 아니라 CapCut 쪽에서 동작합니다.
• 일반 파일. 연동이 전혀 필요 없는 방법입니다. Claude에게 가편집본과 자막 파일을 만들게 한 뒤, 둘 다 CapCut에서 엽니다. CapCut 데스크톱 편집기와 웹 편집기는 자막 패널에서 .srt 파일을 가져올 수 있습니다.

Claude가 영상으로 실제로 할 수 있는 일

Claude 채팅 앱은 이 작업에 맞는 곳이 아닙니다. 촬영 원본은 용량이 크고, 편집하려면 ffmpeg 같은 프로그램을 내 파일에 직접 실행해야 하기 때문입니다. Claude Code는 내 컴퓨터에서 프로그램을 실행하므로 이 일을 할 수 있습니다. 무료 도구 두 가지만 갖춰 주면 반복 작업 대부분을 맡길 수 있습니다.

• ffmpeg는 영상을 자르고, 이어 붙이고, 크기를 바꾸고, 다시 인코딩하며, 자막을 화면에 입힐 수도 있습니다.
• whisper.cpp 같은 음성 텍스트 변환 모델은 오디오를 타임스탬프가 붙은 대본으로 바꿉니다.

이 두 가지가 있으면 Claude Code는 긴 멈춤을 없애고, 군말을 잘라 내고, 자막을 만들어 영상에 입히고, 세로 버전을 만들고, 원하는 구간만 잘라 내고, 여러 형식으로 내보낼 수 있습니다. 다만 사람처럼 영상을 보지는 않습니다. 대본, 오디오 레벨, 그리고 직접 뽑아낸 프레임을 바탕으로 작업하므로 스토리, 호흡, 가장 좋은 테이크에 대한 판단은 여러분의 몫으로 남습니다. 기계적인 작업은 맡기고 창의적인 결정은 직접 하세요.

테스트: 30초짜리 말하는 영상

Mac(Apple M4 Max)에서 Orkas 안에 Claude Code 2.1.294를 띄워 실행했고, ffmpeg 7.0과 다국어 base 모델을 쓰는 whisper.cpp를 함께 사용했습니다. 원본은 토킹헤드 촬영본을 대신한 것으로, 컴퓨터 음성이 짧은 대본을 읽는 1080p 클립이며 긴 멈춤과 "um", "uh" 소리 네 번을 그대로 남겨 두었습니다.

요청 내용을 쉬운 말로 옮기면 이렇습니다. 0.6초보다 긴 멈춤은 없애되 0.25초는 남기고, 군말을 잘라 내고, 자막을 입히고, 16:9 버전과 9:16 버전을 내보낼 것. 결과는 다음과 같습니다.

1. Claude Code는 먼저 클립을 단어별 타임스탬프와 함께 받아썼습니다. 그런데 작은 모델의 타임스탬프가 어긋났습니다. 말은 1.5초에 시작했는데 첫 단어가 0.0초로 찍혔습니다. 그 시점대로 잘랐다면 단어가 잘려 나갔을 겁니다.
2. 그래서 방법을 바꿨습니다. ffmpeg의 무음 감지로 모든 멈춤을 찾고, 오디오를 짧은 발화 구간 17개로 나눈 뒤, 구간마다 따로 받아써서 군말 하나만 담긴 4개를 버렸습니다. 남긴 구간과 지운 구간은 모두 이유와 함께 컷 리스트에 기록됐습니다.
3. 잘라 낸 결과를 렌더링하고, 자막을 만들기 위해 결과물을 다시 받아쓴 다음 두 버전 모두에 자막을 입혔습니다.

실제 촬영본에도 그대로 적용되는 교훈이 두 가지 있습니다. 작은 모델은 흔한 단어도 틀리므로, 게시하기 전에 자막을 한 줄도 빠짐없이 읽어 보세요. 그리고 멈춤 기준값은 조정해야 한다고 생각하세요. 실내 소음이나 음악이 깔린 녹음에는 저희의 깨끗한 테스트 음성과는 다른 레벨이 필요합니다.

설정 방법

1. Claude Code를 설치하고 로그인합니다. Claude Code가 포함된 Claude 요금제나 Anthropic API 키가 필요합니다.
2. ffmpeg와 whisper.cpp를 설치하고 whisper 모델 파일도 받습니다. Mac에서는 Homebrew로 둘 다 설치할 수 있고(brew install ffmpeg whisper-cpp), Windows에서는 공식 빌드나 패키지 관리자를 사용하세요. Claude Code에게 설치를 부탁하고 단계마다 승인하는 방법도 있습니다.
3. Orkas에서 Claude Code를 연결합니다. 사이드바에서 에이전트 연결을 선택하고 Claude Code를 고릅니다. Orkas는 내 컴퓨터에서 찾은 코딩 에이전트 목록을 보여 주고, 설치된 사본을 기존 로그인 상태 그대로 실행합니다.
4. 영상 파일을 알려 주고 원하는 편집을 설명합니다. 원본 파일은 남겨 두고, 렌더링 전에 컷 리스트를 보여 달라고 요청하고, 자막을 꼭 읽어 보세요.

바로 고쳐 쓸 수 있는 요청 예시:

~/Videos/take-01.mp4 파일에서:
- 받아쓰기해서 자막을 .srt 파일로 저장
- 0.6 s보다 긴 멈춤은 없애고 0.25 s만 남기기
- "um"과 "uh" 잘라 내기
- 자막을 영상에 입히기
- 원본 옆에 16:9 버전과 9:16 버전 내보내기
렌더링하기 전에 컷 리스트를 먼저 보여 줘.

Claude Code를 맨 터미널 대신 Orkas에서 실행하면 편집 자체가 아니라 주변 환경이 달라집니다. 대화와 그 파일이 데스크톱 창 하나에 모이고, 같은 채팅에서 다음 단계를 Codex나 다른 에이전트에 넘길 수 있으며, 명령어를 직접 입력할 일이 없습니다. Orkas는 macOS와 Windows에서 실행되며, 저희 테스트는 macOS에서 진행했습니다. ffmpeg와 whisper.cpp를 직접 설치하고 싶지 않다면, Orkas에는 두 도구가 내장된 영상 에이전트 VideoStudio도 있습니다. 렌더링 전에 편집 계획을 먼저 보여 줍니다.

CapCut이 들어갈 자리

매번 똑같은 작업은 Claude Code에, 편집자의 눈이 필요한 부분은 CapCut에 맡기세요.

• Claude Code: 멈춤, 군말, 자막, 트리밍, 세로·정사각형 버전, 여러 파일에 같은 작업 반복.
• CapCut: 음악, 효과, 템플릿, 전환, 최종 룩.

넘겨줄 파일은 두 개입니다. 가편집본(.mp4)과 자막(.srt)입니다. 영상을 CapCut 데스크톱 프로젝트로 가져온 다음, 자막 패널에서 .srt를 가져오면 됩니다. Claude가 CapCut 프로젝트까지 직접 조립하게 하고 싶다면 위에서 소개한 커뮤니티 드래프트 생성기로 시도해 볼 수 있습니다. 단, 거기서 설명한 주의 사항이 그대로 적용됩니다.

자주 묻는 질문

Claude로 영상을 편집할 수 있나요?

네, Claude Code를 통해서라면 가능합니다. Claude Code는 ffmpeg, whisper.cpp 같은 도구를 내 컴퓨터에서 실행해 멈춤과 군말을 잘라 내고, 자막을 넣고, 새 형식으로 내보낼 수 있습니다. 채팅 앱은 큰 영상 파일을 편집하도록 만들어지지 않았습니다.

Claude로 CapCut에서 영상을 편집할 수 있나요?

Claude Code와 ffmpeg로 초벌 편집과 자막을 만드는 방법을 테스트했습니다. 결과 파일은 CapCut으로 가져올 수 있습니다. Claude Desktop의 computer use를 통한 CapCut 조작은 검증하지 않았습니다. 2026년 10월 13일 기준으로 Claude용 공식 CapCut 커넥터, 공식 CapCut MCP 서버, CapCut 타임라인을 편집하는 공개 API는 찾지 못했습니다.

공식 CapCut MCP 서버가 있나요?

2026년 10월 13일 기준으로는 찾지 못했습니다. 현재 있는 CapCut MCP 서버는 커뮤니티 프로젝트이며, 대부분 VectCutAPI를 기반으로 합니다.

Claude가 영상을 보나요?

사람처럼 보지는 않습니다. 대본, 오디오 레벨, 직접 추출한 프레임을 바탕으로 작업합니다. 그래서 스토리와 가장 좋은 테이크에 대한 판단은 여러분이 직접 하는 것이 좋습니다.

Windows에서도 되나요?

Claude Code, ffmpeg, whisper.cpp, Orkas 모두 Windows에서 실행됩니다. 다만 저희 테스트는 Mac에서 했으므로 Windows 절차는 검증되지 않은 것으로 봐 주세요.

비용은 얼마인가요?

ffmpeg와 whisper.cpp는 무료이며 내 컴퓨터에서 실행됩니다. Claude Code는 Claude 요금제나 API 크레딧을 사용합니다. Orkas는 무료로 다운로드할 수 있습니다.

같은 프로젝트에서 Claude Code와 Codex를 함께 실행하려면 Claude Code와 Codex를 함께 실행하는 방법을 참고하세요. 공식 MCP 서버를 실제로 제공하는 편집기가 궁금하다면 DaVinci Resolve MCP 가이드를 보세요.