AssemblyAI API
AssemblyAI API
AssemblyAI API의 핵심 매개변수 및 통계
AssemblyAI는 단일 채팅 제품이나 엔드 투 엔드 애플리케이션이 아니라 음성 처리의 전체 링크를 위한 REST + WebSocket API 컬렉션 세트입니다. 핵심 결과물은 기능 수가 아니라 전사 정확도와 처리 대기 시간 간의 엔지니어링 균형입니다. 다음 표에는 주요 제품 라인과 사양이 요약되어 있습니다.
| 제품 라인 | API 양식 | 핵심 모델 | 청구 단위 | 일반적인 지연 시간 |
|---|---|---|---|---|
| 사전 녹음된 음성을 텍스트로 변환(사전 녹음된 STT) | REST API(비동기) | 유니버설-3.5 프로, 유니버설-2 | 시간별 오디오 | 파일 기간 × ~0.3-0.5(실시간 요소) |
| 실시간 음성-문자 변환(실시간 STT) | WebSocket(스트리밍) | Universal-3.5 Pro 실시간, 범용 스트리밍 | WebSocket 세션 기간 | 300-800ms 첫 번째 단어 |
| 음성 에이전트 API | 단일 WebSocket(전이중) | U3.5 Pro 실시간 + LLM + TTS(캐스케이드) | 분당 세션 | ~500-1500ms 엔드투엔드 응답 |
| 음성 이해 | REST(녹취 위에 겹쳐짐) | 전사 후 기반의 독립적 분석 모델 | 시간별 오디오(추가 기능은 개당 요금이 청구됨) | 전사와 함께 반환 |
| 난간 | REST/웹소켓 | 독립적 중재 모델 | 시간별 오디오(추가 기능은 개당 요금이 청구됨) | 전사하여 반환 |
| LLM 게이트웨이 | REST/웹소켓 | 25개 이상의 모델(OpenAI/Anthropic/Google/Qwen/Kimi) | 백만당 토큰 수(입력/출력 별도) | 선택한 모델에 따라 다름 |
제품 포지셔닝의 경계: AssemblyAI는 엔드투엔드 고객 서비스 시스템, 녹음 하드웨어, NLP 교육 플랫폼을 제공하지 않습니다. 해당 값 앵커는 변환 레이어 "오디오 입력 → 구조화된 텍스트/의도/메타데이터"에 있습니다. "팟캐스트를 텍스트로 변환하고 레이블을 지정"하는 것이 필요하다면 적합합니다. 상담원 예약을 위한 완전한 고객 서비스 플랫폼이 필요한 경우 이는 모듈 중 하나일 뿐입니다.
커뮤니티 및 산업 현황: 공개 정보에 따르면 AssemblyAI는 1천만 시간 이상의 오디오 데이터를 처리하여 독립 개발자부터 Fortune 500대 기업에 이르기까지 다양한 고객에게 서비스를 제공하고 있습니다. 회사는 2022년에 시리즈 C 파이낸싱을 완료할 예정이며, 누적 파이낸싱 금액은 1억1500만 달러가 넘습니다. 투자자로는 Insight Partners, Accel 등이 있습니다. GitHub 오픈 소스 프로젝트(예: Python SDK, Go SDK, 샘플 코드)는 수천 개의 별을 축적했지만 핵심 모델 가중치는 오픈 소스가 아닙니다.
AssemblyAI API에 대한 사용자 및 시장 인지도
음성 API 시장에서 AssemblyAI의 위치는 "순수한 학문적 오픈 소스 모델(예: Whisper)"과 "풀 스택 클라우드 음성 플랫폼(예: Azure Speech, Google Cloud Speech-to-Text)" 사이에 있습니다. 경쟁하는 것은 모델 수가 아니라 "기본적인 정확성 + 개발자 경험 + 규정 준수 준비"의 조합입니다.
C 측/독립 개발자 수준: $50 무료 크레딧 및 신용카드 등록 절차가 없으므로 경험 기준치가 크게 낮아집니다. 이는 일반적으로 팟캐스트 전사, 비디오 자막 생성 및 개인 음성 비서 프로토타입을 위해 독립 개발자가 사용합니다. Reddit 및 Hacker News의 AssemblyAI에 대한 토론은 "API 문서 명확성" 및 "중국어/다국어 긴 오디오 정확도"에 중점을 두고 있습니다. 중국어의 복잡한 오디오 시나리오에서 사용자는 정확도가 Alibaba Cloud 또는 Tencent Cloud와 같은 로컬 솔루션에 비해 여전히 느리지만 영어 시나리오에서는 업계 최고라고 보고했습니다.
B측/엔터프라이즈 수준: 의료 전사는 AssemblyAI의 가장 경쟁력 있는 수직 시나리오입니다. 의료 모드(+$0.15/hr)는 의료 용어에 특별히 최적화되어 있으며 HIPAA BAA(추가 비용 및 영업 커뮤니케이션 서명 필요 없음)와 결합되어 원격 의료 및 전자 의료 기록 음성 입력과 같은 시나리오에 안정적으로 채택될 수 있습니다. 고객 서비스 센터(컨택 센터)는 두 번째로 큰 채택 시나리오입니다. 실시간 전사 + 감정 분석 + 콘텐츠 검토의 조합은 상담원 지원, 통화 품질 검사 및 규정 준수 모니터링의 세 가지 일반적인 요구 사항을 충족합니다. 공개된 기업 고객에는 다수의 선도적인 의료 기술 회사와 아웃소싱 고객 서비스 센터 운영자가 포함됩니다.
경쟁 제품과의 포지셔닝 차이: Azure Speech와 Google Cloud STT는 언어 적용 범위와 클라우드 네이티브 통합에서 장점이 있지만 AssemblyAI는 "기록 + 이해 + 검토를 완료하는 단일 API"의 링크 통합에서 더 컴팩트합니다. Whisper(OpenAI)는 오프라인 시나리오와 사용자 정의 미세 조정이 자유롭지만 실시간 스트리밍, 스피커 분리 및 호환 바인딩이 부족합니다. AssemblyAI의 진입점은 둘 사이에 있습니다. 즉, 클라우드 공급업체보다 음성에 더 중점을 두고 오픈 소스 솔루션보다 더 생산 준비가 되어 있습니다.
AssemblyAI API의 비용 이점
AssemblyAI의 비용 구조는 '라인당 가격'이 아닌 '총 소유 비용(TCO)' 측면에서 평가되어야 합니다. 단가가 가장 낮지는 않지만 "전사 + 이해 + 검토 + 규정 준수 + 운영 및 유지 관리"의 패키징 효과는 특정 시나리오에서 엔지니어링 통합 비용을 크게 줄일 수 있습니다.
가격 경쟁력 계층화: AssemblyAI의 가격은 "백만 개 토큰당 몇 센트"라는 대형 모델 시대의 논리에 의존하지 않고 "시간당 오디오 기준"으로 청구됩니다. 모델 등급에 따라 가격 차이가 3~10배 정도 차이가 나고, 빌링에 추가 기능이 중첩돼 수수료를 세밀하게 조절할 수 있는 가격 체계가 형성된다.
| 청구 항목 | 미국/EU 가격(동일) | 청구 지침 |
|---|---|---|
| 사전 녹음 - Universal-3.5 Pro | $0.21/시간 | 복잡한 오디오, 의료, 중요한 전사에 권장되는 플래그십 모델 |
| 사전녹음 - 유니버설-2 | $0.15/시간 | 범용 모델, 27개 이상의 언어, 명확한 녹음의 일괄 전사에 적합 |
| 스트리밍 - U3.5 Pro 실시간 | $0.45/시간 | WebSocket 세션 길이에 따라 비용이 청구되는 대표적인 실시간 기록 |
| 스트리밍 - 유니버설 스트리밍 | $0.15/시간 | 영어 또는 다국어로만 제공되는 저렴한 실시간 솔루션 |
| 음성 에이전트 API | $4.50/시간($0.075/분) | 엔드투엔드 음성 에이전트(STT+LLM+TTS+오케스트레이션), 모든 것이 포함된 가격 |
| 의료 모드(추가) | +$0.15/시간 | 전사 모델 위에 계층화된 의학 용어 최적화 |
| 콘텐츠 조정(가드레일) | +$0.01~$0.15/시간 | PII 텍스트 둔감화 PII 오디오 음소거, 음란물/폭력적 콘텐츠 조정 |
| LLM 게이트웨이 | 토큰으로 청구 | $0.05~$5.00/M 입력 토큰 범위의 25개 이상의 모델 |
고객/인디 개발자: $50의 무료 크레딧은 중간 규모의 팟캐스트 전사 프로젝트(~50-100시간)에 충분합니다. 그러나 스트리밍 청구의 함정에 주의해야 합니다. WebSocket 유휴 시간도 청구되며, 연결이 닫히는 것을 잊어버린 경우 몇 시간 내에 무료 할당량을 모두 소모할 수 있습니다. 최초 등록에는 신용카드가 필요하지 않으며, 무료 할당량 소진 후 API 호출이 중단되므로 예상치 못한 청구가 발생하지 않습니다.
개발자/API 통합자: 핵심 비용 관리 도구는 모델 선택입니다. Universal-2의 정확도는 명확한 녹음 시나리오에서 충분합니다. Universal-3.5 Pro로 전환하면 비용이 40% 더 비싸지만 정확도 향상은 일반적으로 5~10% 이내입니다. 핵심은 장면이 5~10%에 속하는지 여부입니다. 시끄럽고 의학 용어가 밀집되어 있으며 여러 사람이 중복해서 말하는 시나리오의 경우 플래그십 모델의 추가 비용은 긍정적인 ROI를 갖습니다. Keyterms Prompting(+$0.05/hr)은 모델을 업그레이드하지 않고도 특정 용어의 인식률을 향상시킬 수 있으며 비용에 민감한 시나리오에서 우선순위 최적화 방법입니다.
기업/규정 준수 시나리오: HIPAA BAA 및 SOC 2 인증은 추가 비용 없이 표준 가격에 포함됩니다. 즉, 의료 및 금융 업계는 "규정 준수 프리미엄"을 지불할 필요가 없습니다. PCI-DSS 인증은 Voice Agent API 제품으로 제한됩니다. 다중 채널 오디오는 채널 수의 두 배로 청구됩니다. 스테레오 파일(2개 채널)의 실제 비용은 정가 × 2이며, 전화 녹음을 처리할 때 미리 평가해야 합니다(일반적으로 2채널: 상담원용 트랙 1개 + 고객용 트랙 1개).
숨겨진 비용: 가장 큰 숨겨진 비용은 API 호출 비용이 아니라 "잘못된 모델 선택으로 인한 재작업"입니다. 공식 문서에는 무료 계정과 유료 계정 간에 기본 모델(speech_models 매개변수가 명시적으로 설정되지 않음)이 다를 수 있으며, 기본값에 의존하면 업그레이드 후 전사 동작에 변형이 발생할 수 있다는 점을 명확하게 명시하고 있습니다. 또 다른 숨겨진 비용은 스트리밍 모드에서 연결을 닫는 것을 잊어버려서 발생하는 초과 청구입니다. 이는 토큰으로 청구하는 대형 모델 API의 관성과 다릅니다. 팀이 이를 사용하도록 전환하면 재무 감사 프로세스를 조정해야 합니다.
AssemblyAI API의 주요 기능
AssemblyAI의 기능은 "기능 수"를 기반으로 승리하는 것이 아니라 "오디오 입력에서 구조화된 출력까지의 링크 완전성"을 기반으로 장벽을 구축하는 것입니다. 다음은 제품 라인별로 핵심 기능과 적용 가능한 시나리오를 분석한 것입니다.
-
사전 녹음된 음성을 텍스트로(사전 녹음된 STT): 오디오/비디오 파일 업로드를 지원하고 전사 결과를 비동기적으로 반환합니다. 핵심 매개변수에는 'audio_url'(오디오 파일 지정), 'speech_models'(모델 선택), '언어_코드'(언어 지정 또는 자동 감지)가 포함됩니다. 적용 가능한 시나리오: 팟캐스트 전사, 텍스트로 회의 녹음, 비디오 자막 생성, 의료 받아쓰기 녹음. 수용 문제: 중국어 장편 오디오(>60분)의 화자 분리 정확도 및 용어 인식률은 테스트 세트에서 독립적으로 검증되어야 합니다.
-
실시간 STT: WebSocket을 통해 오디오를 스트리밍하고 텍스트 조각(발화)을 실시간으로 반환합니다. 3가지 실시간 모델 및 실시간 화자 라벨링 지원(U3.5 Pro Realtime은 2026년 3월부터 인라인 실시간 화자 분리 지원) 적용 가능한 시나리오: 실시간 자막, 실시간 전화 통화 녹음, 음성 에이전트 입력 레이어, 실시간 회의 녹음. 수용 문제: 약한 네트워크 환경에서는 첫 번째 단어 지연(TTFF)이 2초 이상 증가할 수 있습니다. 네트워크 지터의 영향은 모바일 시나리오에서 평가되어야 합니다.
-
Voice Agent API: 2026년 4월 정식 출시되었으며, 단일 WebSocket을 통해 음성 입력 → 음성 출력(STT → LLM → TTS)을 완료합니다. 회전 감지, 중단 처리 및 도구 호출 기능이 내장되어 있습니다. 가격은 시간당 4.50달러로 모든 것이 포함되어 있어 STT/LLM/TTS 3개 제공업체의 청구 및 통합을 별도로 관리할 필요가 없습니다. 적용 가능한 시나리오: 고객 서비스 음성 로봇, 전화 상담 사전 심사, 판매 아웃바운드 전화 자격 확인. 핵심 제한 사항: LLM 선택은 AssemblyAI의 LLM 게이트웨이에서 사용 가능한 모델 풀에 의해 제한됩니다. 팀이 자체적으로 미세 조정된 모델에 액세스해야 하는 경우 자체 구축된 링크를 구축해야 합니다.
-
음성 이해: 화자 식별, 엔터티 감지(50개 이상의 엔터티 유형), 감정 분석(단락 수준), 자동 장(더 이상 사용되지 않음, LLM 게이트웨이로 마이그레이션 권장), 핵심 문구, 주제 감지(IAB), 번역(100개 이상) 대상 언어), 요약(요약, 더 이상 사용되지 않음, LLM 게이트웨이로 마이그레이션 권장)을 포함한 분석 레이어를 전사 결과 위에 오버레이합니다. 적용 가능한 시나리오: 고객 서비스 통화 분석(고객 감정 변동 지점 추출, 고빈도 문제 식별), 영업 회의 요약(회의록 및 조치 항목 자동 생성), 미디어 콘텐츠의 2차 활용(팟캐스트에서 인용 가능한 조각 추출 및 주제 분류).
-
가드레일(콘텐츠 보안 가드레일): 전사 계층에서 동시에 보안 감사를 수행합니다. - PII 텍스트 둔감화(신용카드 번호, 주민등록번호, 전화번호 등의 자동 대체), PII 오디오 음소거(원본 녹음의 경고음 범위), 민감한 단어/불법 콘텐츠 필터링(욕설 필터링), 음란물/폭력/증오심 표현 및 기타 금지된 콘텐츠 감사(콘텐츠 조정). 적용 가능한 시나리오: 미성년자를 위한 음성 애플리케이션, 금융 고객 서비스 녹음 규정 준수 검토, 공개 팟캐스트 콘텐츠 필터링. 전문가 의견: 가드레일과 전사는 추가 섹션이 필요 없이 동일한 API 호출로 완료됩니다. 즉, "먼저 전사한 후 별도로 검토" 링크보다 대기 시간 및 통합 비용 측면에서 더 많은 이점이 있습니다.
-
LLM 게이트웨이: 2026년 4월에 출시된 신제품. 본질적으로 재판매 계층입니다. AssemblyAI의 API 키를 사용하여 OpenAI, Anthropic, Google, Qwen 및 Kimi를 포함한 5개 공급업체의 25개 이상의 모델을 균일하게 호출합니다. 주요 기능에는 자동 장애 조치(한 모델을 사용할 수 없을 때 대기 시간 추가 없이 자동으로 대체 모델로 전환), 힌트 캐싱(Anthropic/OpenAI/Google 모델 지원), 구조화된 JSON 출력(Claude 4.5+)이 포함됩니다. 적용 가능한 시나리오: 음성 에이전트의 LLM 추론 단계, 통화 후 자동 요약 생성, 오디오 콘텐츠 기반 도구 호출 체인. 주요 제한 사항: LLM 게이트웨이는 모델 미세 조정 서비스를 제공하지 않으며 사용자 정의 모델에 대한 액세스도 지원하지 않습니다.
AssemblyAI API의 모델 및 버전 발전
AssemblyAI의 제품 진화는 "모델 반복 + API 확장"의 병렬 리듬을 따릅니다. Conformer-1에서 Universal-3.5 Pro까지 모델 측면에서 핵심 변경 사항은 인코더 아키텍처, 교육 데이터 규모 및 언어 적용 범위에 중점을 둡니다. API 측면에서는 단일 전사에서 음성 이해 Guardrails, 음성 에이전트 및 LLM 게이트웨이로 확장하여 레이어별 제품 매트릭스를 형성했습니다.
주요 모델 라인: Conformer부터 Universal 시리즈까지
- Conformer-1(~2021): 초기 모델은 Conformer 인코더 아키텍처를 기반으로 하며 중국어와 같은 영어가 아닌 장면의 적용 범위가 제한됩니다. 폐기되었으며 새로운 통합에는 권장되지 않습니다.
- Conformer-2(2023-11): 인코더 구조 개선, 영문 표기 정확도 대폭 향상, 화자 분리, 감정 분석 등 이해 기능 최초로 지원. 현재 사용 가능하지만 권장되지 않는 모델입니다.
- Universal-2(2024-06): 중국어, 일본어, 스페인어, 독일어, 프랑스어 및 기타 주요 언어를 포함하여 언어 적용 범위가 27개 이상으로 확장되었습니다. 사용자가 키워드 목록을 사용하여 특정 용어를 식별하도록 모델을 안내할 수 있는 핵심 용어 프롬프트 메커니즘을 도입합니다. 일반 전사용 메인 모델로 자리잡고 있으며, 플래그십 모델과의 가격차이가 있습니다.
- Universal-3.5 Pro(2025-03): 플래그십 사전 녹음 모델로 시끄러운 상황, 여러 사람의 대화, 빠른 말하기, 악센트 등 어려운 오디오 장면에서 정확도가 Universal-2보다 훨씬 앞서 있습니다. 스트리밍 버전(Universal-3.5 Pro Realtime)이 동시에 출시되어 음성 에이전트가 선호하는 입력 모델이 되었습니다. 새로운 통합에서는 기본적으로 이 모델을 사용하는 것이 좋습니다.
API 제품 라인 확장 이정표
- 2024년 이전: 사전 녹음된 STT 및 스트리밍 STT를 핵심으로, 음성 이해를 추가 기능으로 사용합니다. 비즈니스 모델은 순수한 API 종량제입니다.
- 2025년: Guardrails 제품 라인은 PII 둔감화, 콘텐츠 검토 및 민감한 단어 필터링을 통합하여 독립적으로 출시됩니다. 의료 전사 시나리오를 다루는 의료 모드가 공식적으로 지원됩니다. 가격 체계는 "기본 모델 + 추가 기능을 개별적으로 청구하는" 방향으로 개선됩니다.
- 2026년 4월: Voice Agent API가 공식 출시되고(원래 Speech-to-Speech API에서 이름 변경 및 업그레이드) LLM 게이트웨이가 동시에 출시됩니다. 두 가지 신제품은 AssemblyAI의 포지셔닝을 "음성-텍스트"에서 "음성-음성 + 음성 워크플로를 위한 LLM 라우팅"으로 확장합니다.
주목할만한 지원 중단 및 마이그레이션 경로
- 'best' 및 'nano' 모델 별칭은 더 이상 사용되지 않으며 각각 Universal-3.5 Pro 및 Universal-2에 매핑됩니다.
speech_model(단수) 매개변수는 더 이상 사용되지 않습니다. 대신speech_models(복수)를 사용하세요.- 'auto_chapters' 및 'summarization' 기능은 Universal-3.5 Pro에서 자동으로 500 오류를 반환하며 LLM 게이트웨이(Claude Sonnet 또는 GPT-5 시리즈를 통해 장 요약 및 요약 생성)로 마이그레이션하는 것이 공식적으로 권장됩니다.
- 'u3-pro' 스트리밍 모델 별칭이 'u3-rt-pro'에 매핑되었으므로 새 통합에서는 표준 이름을 사용해야 합니다.
AssemblyAI API의 기술적 이점
AssemblyAI의 기술 로드맵은 단순히 모델 매개변수 수나 언어 적용 범위의 폭을 추구하는 것이 아니라 "표준 GPU 하드웨어에서 최고의 전사 정확도 달성"이라는 목표를 중심으로 진행됩니다.
인코더 아키텍처의 실용적인 방향: 순수 인코더-디코더 변환기를 사용하는 Whisper와 같은 오픈 소스 모델과 달리 AssemblyAI의 Conformer 시리즈는 인코더에 컨볼루션 모듈(CNN)과 셀프 어텐션(Self-Attention)을 결합합니다. 이 하이브리드 아키텍처의 장점은 컨볼루션 모듈이 오디오의 로컬 타이밍 패턴(예: 음소 전환)을 효율적으로 캡처할 수 있는 반면 self-attention은 전역 종속성을 모델링하는 데 적합하다는 것입니다. 이 아키텍처는 순수 Transformer 인코더보다 실제 시나리오의 잡음, 악센트 및 굴절에 더 강력하므로 잡음이 있는 상황에서 단어 오류율(WER)이 10~20% 더 낮습니다.
캐스케이딩 제어 흐름 설계 철학: Voice Agent API의 실제 아키텍처는 STT(Universal-3.5 Pro Realtime) → LLM(Gateway Routing) → TTS(Self-hosted LiveKit)이지만 단일 WebSocket 엔드포인트로 외부에 노출됩니다. 이 캐스케이드 솔루션과 종단 간 음성 모델(예: GPT-4o의 기본 음성 모드)의 차이점은 각 계층의 중간 제품(텍스트 전사 LLM 응답 텍스트)을 감사하고 디버깅할 수 있다는 것입니다. 이 감사 가능한 캐스케이드 아키텍처는 "설명 가능한 AI 중간 결과"가 필요한 금융 및 의료와 같은 규정 준수 시나리오에서 대체할 수 없습니다.
실시간 전사를 위한 저지연 엔지니어링: 실시간 STT의 핵심 기술 과제는 "전체 컨텍스트가 도착하기 전에 읽을 수 있는 출력을 생성하는 방법"입니다. AssemblyAI의 접근 방식은 처음 100~200ms 오디오가 도착하자마자 디코딩을 시작하고, 로컬 정렬 알고리즘을 사용하여 임시 발언을 생성하고, 후속 오디오가 도착할 때 지속적으로 수정 및 개선하는 것입니다. 이는 첫 번째 단어 지연이 300-800ms에서 제어될 수 있지만 첫 번째 출력 단어는 컨텍스트가 개선된 후에 수정될 수 있음을 의미합니다. 실시간 자막 시나리오의 경우 이 "먼저 처리한 후 변경" 전략은 "모든 것이 처리될 때까지 기다린 후 종료"하는 것보다 더 유용합니다.
스피커 분리를 위한 기술 솔루션 선택: AssemblyAI는 두 가지 수준의 스피커 분리, 즉 표준 버전(+$0.02/hr, 오디오 기능 클러스터링 기반)과 실험 버전(+$0.065/hr, 보다 정교한 임베딩 모델 사용)을 제공합니다. 표준 버전은 2~3명의 명확한 대화에 충분하지만, 실험 버전은 화자가 4명 이상이거나 오디오가 많이 겹치는 경우 상당한 개선을 보일 것입니다. 실시간 화자 분리는 2026년 3월 이후 U3.5 Pro Realtime의 인라인 주석을 지원합니다. 이는 음성 에이전트 시나리오의 엄격한 요구 사항입니다. 실시간 화자 레이블이 없으면 에이전트는 "고객이 말함"과 "에이전트가 말함"을 구별할 수 없습니다.
AssemblyAI API 사용 방법
AssemblyAI에는 GUI 데스크톱 앱이나 모바일 앱이 없으며 모든 기능은 REST API 및 WebSocket API를 통해 노출됩니다. 사용 경로는 '상품 페이지 경험 → API 통합 → 프로덕션 배포' 3단계로 나누어집니다.
제품 체험 포털: 공식 웹사이트에서는 코드를 작성하지 않고도 오디오 파일을 업로드하여 전사 효과를 테스트하고, 모델을 전환하고, 매개변수를 조정할 수 있는 플레이그라운드 페이지를 제공합니다. 이것이 정확성을 평가하는 가장 직접적인 방법입니다. 구매하기 전에 자신의 장면에 대한 10-20개의 오디오 샘플을 테스트하는 것이 좋습니다.
API 통합 단계:
- AssemblyAI 계정을 등록하고 API 키를 받으세요. 가입하시면 자동으로 $50의 무료 크레딧을 받으실 수 있습니다. 신용카드는 필요하지 않습니다.
- 제품 라인을 선택합니다. 사전 녹음된 전사는 REST POST를 사용하여 오디오 URL을 제출하고, 실시간 전사는 WebSocket 연결을 열고, 음성 에이전트는 에이전트 WebSocket 끝점을 사용합니다.
- 주요 요청 매개변수:
audio_url(사전 녹음됨) / WebSocket URL(실시간),speech_models(모델을 명시적으로 지정, 기본값에 의존하지 않음),언어_코드(언어를 지정하거나 자동 감지를 위해 비워두기), 추가 기능 매개변수(예: 스피커 분리를 활성화하려면speaker_labels: true). - 결과 수신: 사전 녹화 모드는 콜백(웹훅) 또는 폴링을 통해 결과를 얻습니다. 실시간 모드는 WebSocket에서 발화 이벤트를 지속적으로 수신합니다. 음성 에이전트는 동일한 WebSocket에서 음성 데이터를 보내고 받습니다.
API 호출 예(Python SDK): ``파이썬 AAI로 어셈블리 가져오기
aai.settings.api_key = "
사전 녹음된 전사
전사자 = aai.Transcribe() 구성 = aai.TranscriptionConfig( speech_model=aai.SpeechModel.best, # Universal-3.5 Pro에 자동으로 매핑 Speaker_labels=참, 언어_코드="zh" ) 성적표 = transcriber.transscribe("https://example.com/audio.mp3") 인쇄(transcript.text)
실시간 전사(WebSocket)
전사자 = aai.RealtimeTranscribe( 샘플_레이트=16000, on_data=lambda 발언: print(utterance.text), on_error=람다 오류: 인쇄(오류) ) 전사기.연결()
**통합 참고사항**:
- 스트리밍 청구는 오디오 지속 시간이 아닌 WebSocket 연결 지속 시간을 기준으로 합니다. 오디오 스트림이 끝나면 즉시 연결을 닫으십시오.
- 다중 채널 오디오는 채널 × 기간별로 요금이 청구됩니다. 업로드하기 전에 모든 채널을 유지해야 하는지 확인하세요.
- 기본 모델 선택은 무료 계정과 유료 계정 간에 다를 수 있습니다. 항상 'speech_models' 매개변수를 명시적으로 설정하세요.
## AssemblyAI API 제품 가격
AssemblyAI는 "무료 할당량 시작 + 종량제 + 추가 기능 오버레이" 가격 모델을 채택합니다. 구독 패키지 또는 연간 할인에 대한 공개 제안은 없으며 기업 대량 할인을 위해서는 영업팀에 문의해야 합니다.
**무료 할당량**: 등록하고 $50의 무료 처리 시간을 받으세요. 신용카드는 필요하지 않습니다. 무료 등급의 동시성 제한은 분당 5개의 새로운 스트리밍 연결이며, PAYG(종량제)로 업그레이드하면 분당 100개로 늘어납니다.
**사용한 만큼만 지불하는 청구 구조**:
- 사전 녹음된 전사: 오디오 제출 기간(시간)에 따라 요금이 청구되며, 다중 채널은 채널 수 × 기간에 따라 청구됩니다. 추가 기능(화자 분리, 엔터티 감지, 감정 분석 등)은 각각 시간당 최대 $0.01-$0.15입니다.
- 실시간 전사: 오디오 전송 기간이 아닌 WebSocket 세션 기간(연결부터 연결 해제까지)을 기준으로 요금이 청구됩니다. 추가 기능도 쌓입니다.
- 음성 에이전트 API: 세션 분당 $0.075/분($4.50/시간), 모든 구성 요소(STT+LLM+TTS+오케스트레이션) 포함.
- LLM 게이트웨이: 모델 입력/출력 토큰으로 청구되며, 각 모델의 가격은 $0.05/M 입력 토큰(GPT-5 Nano)부터 $5.00/M 입력 토큰(GPT-5.5 / Claude 4.8 Opus)까지 독립적으로 책정됩니다.
**일반적인 청구 함정**:
- WebSocket Idle Connection Continuous Billing - 연결 종료를 잊어버리는 것이 예상치 못한 비용의 가장 큰 원인입니다.
- Universal-3.5 Pro에서 더 이상 사용되지 않는 `auto_chapters` 또는 `summarization` 기능을 사용하면 작동하지 않을 뿐만 아니라 오류 처리 및 디버깅 시간 비용이 발생합니다.
- LLM 게이트웨이의 모델 가격은 글로벌 라우팅(글로벌)과 지역 라우팅(지역 내)으로 구분됩니다. 지역 라우팅 가격은 10% 더 높습니다. 데이터 주권 제한이 필요하지 않은 경우 `"model_region": "global"`을 명시적으로 지정하면 LLM 통화 비용을 10% 절약할 수 있습니다.
## AssemblyAI API의 애플리케이션 시나리오
AssemblyAI의 기능은 "오프라인 일괄 처리"와 "온라인 실시간 상호 작용"이라는 두 가지 차원을 다룹니다. 다음 세 가지 유형의 시나리오가 가장 대표적입니다.
- **의료 기록 및 의료 기록 음성 입력**: 의료 모드(시간당 +$0.15)는 의료 용어(약물 이름, 해부학적 어휘, 진단 기준)에 특별히 최적화되어 있으며 HIPAA BAA 준수(서명에 수수료 없음)가 결합되어 진료소와 병원에서 음성 기반 전자 의료 기록 입력 시스템을 구축할 수 있습니다. 일반적인 링크: 의사 받아쓰기 → 실시간 전사 → 의료 모드 최적화 → 구조화된 의료 기록 필드 추출. **공제 혜택**: 의사가 수동 입력을 하지 않아도 되므로 각 의사는 하루 45~90분의 업무 시간을 절약할 수 있는 것으로 추산됩니다. **구현 전제 조건**: 중국 의료 시나리오에서는 먼저 의료 모드의 정확성을 테스트하기 위해 샘플을 사용해야 합니다. 영어 의료 전사의 정확성은 생산 가능한 수준에 도달했으며 중국 의료 전사에 대한 공개 데이터가 적기 때문에 더 적절한 승인 테스트가 필요합니다.
- **고객 서비스 센터 통화 분석 및 상담원 지원**: 실시간 전사 + 감정 분석 + 콘텐츠 검토의 조합은 통화 중(상담원 화면에 고객 기분 변화 및 키워드 프롬프트가 실시간으로 표시됨), 통화 후(자동으로 통화 요약 생성, 빈도가 높은 문제 식별 및 할 일 항목 추출) 및 규정 준수 감사(상담원이 민감한 단어를 사용했는지 여부, 고객이 필요한 정보를 승인했는지 확인)의 세 가지 하위 시나리오를 동시에 다룹니다. **감점 혜택**: 품질 점검팀의 통화 샘플링 비율을 5~10%(수동 제한)에서 100%(AI 자동 검토)로 늘리고 상담원 교육 주기를 20~30% 단축합니다. **전제 조건**: 2채널 통화 녹음의 비용 두 배 효과가 TCO에 포함되어야 합니다. 키워드 프롬프트의 정확성은 키워드 프롬프트의 구성 품질에 따라 달라집니다.
- **음성 에이전트/음성 로봇**: 음성 에이전트 API는 "처음부터 대화형 음성 에이전트까지" 가장 빠른 경로를 제공합니다. 일반적인 응용 프로그램에는 테이크아웃/물류를 위한 자동 알림 방문, 은행 및 신용 카드 상환 알림, 외래 환자 예약 확인 및 일정 변경이 포함됩니다. **공제 혜택**: 수동 아웃바운드 통화에 비해 통화 1회 비용은 약 5~10위안(인건비)에서 약 0.45위안(Voice Agent API의 시간당 $4.50은 1.5분 통화에 약 $0.1125 ≒ 0.8위안으로 교환원 회선 요금을 합산한 인건비보다 여전히 낮습니다). **구현을 위한 전제 조건**: 음성 에이전트는 현재 간단한 질문과 답변 및 정보 확인 작업에서 성숙하지만 여러 단계의 복잡한 의도 추론(예: 고객 불만 에스컬레이션, 수동 개입이 필요한 복잡한 애프터 서비스)이 포함되는 경우 인공 에이전트를 설정해야 합니다.
## AssemblyAI API 적용 그룹
- **독립 개발자 및 스타트업 기술 팀**: $50 무료 크레딧 + 명확한 API 문서 + 다중 언어 SDK(Python, JavaScript, Go, Ruby, .NET)를 통해 음성 프로토타이핑을 위한 첫 번째 선택 중 하나가 됩니다. **경계에 적합하지 않음**: 프로젝트에 오프라인 기록(인터넷 컨텍스트 없음)이 필요하거나 심층적인 사용자 정의 모델(미세 조정/증류)이 필요한 경우 AssemblyAI의 순수 API 모드는 요구 사항을 충족할 수 없으며 Whisper와 같은 오픈 소스 솔루션을 고려해야 합니다.
- **음성 애플리케이션 백엔드 엔지니어**: 오디오 및 비디오 파일 전사를 처리하고 실시간 음성 파이프라인을 구축해야 하는 백엔드 팀입니다. AssemblyAI의 장점은 단일 API 키로 전사 → 이해 → 검토의 전체 링크를 연결할 수 있어 다중 공급업체 통합에 따른 엔지니어링 오버헤드를 줄일 수 있다는 것입니다. **전제 조건**: 팀은 WebSocket 프로그래밍 경험이 있어야 합니다. 실시간 모드(오디오 지속 시간 대신 연결 지속 시간)의 과금 논리는 REST API 사고와 다르기 때문에 설계 및 사전 제작 시 주의가 필요합니다.
- **의료 및 금융 산업을 위한 규정 준수 기술 팀**: HIPAA BAA 및 SOC 2 인증의 표준 적용 범위와 Voice Agent API에 대한 PCI-DSS 인증을 통해 규정 준수 경로의 엔지니어링 오버헤드를 최소화합니다. **국경에는 적합하지 않음**: 규정 요구 사항에 따라 데이터를 국내(중국) 서버에 저장해야 하는 경우 AssemblyAI는 현재 미국 및 EU 지역에서만 서비스를 제공하며 중국에는 배포되지 않습니다. 국경 간 데이터 전송의 규정 준수 타당성을 평가해야 합니다.
- **미디어 및 콘텐츠 제작팀**: 팟캐스트 전사, 비디오 자막 생성, 회의 녹음 보관. Universal-2의 선명한 녹음 정확도는 단순한 장면을 위해 플래그십 모델의 프리미엄을 지불할 필요가 없을 만큼 충분합니다. **전제 조건**: 어느 정도의 스크립팅 또는 통합 작업이 필요하며(예: Zapier 또는 자체 구축 스크립트를 통해 AssemblyAI에 오디오 파일을 자동으로 제출하고 전사 결과를 가져오는 등) 기술에 익숙하지 않은 사람은 타사 도구 패키징에 의존해야 할 수도 있습니다.
## AssemblyAI API 요약 및 전망
AssemblyAI의 핵심 경쟁력은 "전체 음성 처리 링크의 API 수준"에 있습니다. 음성 정확도가 가장 높은 솔루션은 아니지만(특정 언어 및 시나리오에서는 로컬 클라우드 공급업체 또는 특정 말뭉치에 대해 미세 조정된 모델이 더 나을 수 있음) "기본 정확도 + 규정 준수 준비 + 엔지니어링 통합 효율성"의 삼각 균형을 기반으로 프로덕션 수준의 상용화 옵션을 제공합니다.
**현재 주요 제한사항**:
- 중국에는 서비스 노드가 없습니다. 중국 내 기업의 경우 국경 간 오디오 데이터 전송은 규정 준수에 대한 불확실성에 직면해 있습니다. 이는 기술적인 문제가 아니며, 법적 평가가 필요한 접근 문제입니다.
- 중국어 등 영어가 아닌 언어의 정확도는 여전히 영어에 비해 뒤떨어집니다. 계속해서 개선되고 있지만 중국어 복합 오디오(방언, 동음이의어 모호성, 전문 용어)의 처리 능력은 아직 영어 수준에 도달하지 못했기 때문에 중국어 시나리오에 대한 사전 구매 PoC가 필수입니다.
- Voice Agent(Voice Agent API)의 LLM 선택은 Gateway의 모델 풀에 의해 제한됩니다. 자체적으로 미세 조정된 모델이나 수집되지 않은 특정 모델을 사용해야 하는 경우 현재 자체 구축된 STT+LLM+TTS 링크만 사용할 수 있으며, 이는 단일 WebSocket 포괄적 가격 및 PCI 인증의 편의성을 잃게 됩니다.
**조달 및 채택 위험 평가**: 영어 음성 처리가 필요한 팀의 경우 AssemblyAI는 "먼저 검증하고 나중에 확장"할 수 있는 위험도가 낮은 옵션입니다. 50달러의 무료 크레딧은 개념 증명을 완료하는 데 충분하며 연간 계약이나 선불 결제가 필요하지 않습니다. 권장되는 평가 경로는 다음과 같습니다. 먼저 $50 무료 크레딧을 사용하여 Playground에서 20-50개의 대표 오디오 테스트 → 정확도가 표준을 충족하는지 확인 → 사용량이 $500/월을 초과하는 경우 영업부에 문의하여 할인 협상 → 음성 에이전트 시나리오에서는 먼저 $4.50/hr의 모든 포함 가격을 사용하여 제품 시장 적합성을 확인한 다음 자체 구축 링크로 마이그레이션하여 비용을 제어할지 여부를 결정합니다. 중국 사업의 경우 AssemblyAI가 공식적으로 중국에 진출하거나 현지 클라우드 서비스 제공업체와 협력하기 전에 주시하되 당분간 주요 솔루션으로 삼지 않는 것이 좋습니다.
관련 도구: elevenlabs, udio버전 정보
- AssemblyAI API(버전 2026-07) ：Universal-3.5 Pro는 최신 주력 전사 모델이고 Voice Agent API는 공식적으로 사용 가능한 단계에 도달했으며 LLM 게이트웨이에는 25개 이상의 모델과 자동 장애 조치가 추가되었습니다. 특정 버전 반복에는 공식 변경 로그가 적용됩니다.
- AssemblyAI API(버전 2026-04) ：Voice Agent API가 공식적으로 출시되었으며(이전 Speech-to-Speech API) LLM 게이트웨이는 온라인으로 제공되어 5개 제공업체의 25개 이상의 모델을 지원합니다. 아직 공식적인 정확한 날짜는 없습니다.
- AssemblyAI API(버전 2025-12) ：다국어 실시간 스트리밍 전사를 지원하는 Universal-Streaming Multilingual이 출시되었습니다. Universal-3.5 Pro는 스트리밍 버전을 출시합니다. 아직 공식적인 정확한 날짜는 없습니다.
- AssemblyAI API(버전 2025-03) ：Universal-3.5 Pro 모델이 출시되어 복잡한 오디오(시끄러운 다중 대화)의 녹음 정확도가 크게 향상되었습니다. 아직 공식적인 정확한 날짜는 없습니다.
- AssemblyAI API(버전 2024-06) ：Universal-2 모델이 출시되어 이전 Conformer-2를 대체하고 27개 이상의 언어를 포괄하며 범용 전사의 주요 모델 역할을 합니다. 아직 공식적인 정확한 날짜는 없습니다.
- AssemblyAI API(버전 2023-11) ：향상된 인코더 아키텍처를 도입하고 당시 주력 전사 모델이 된 Conformer-2 모델이 출시되었습니다. 아직 공식적인 정확한 날짜는 없습니다.
사용자 후기