キャプション
Captions は、モバイル クリエイター向けの
Captions — 個人クリエイター向けに設計されたモバイル AI ビデオ作成
コアパラメータと統計
| パラメータ | 詳細 |
|---|---|
| 登録ユーザー数 | 1,000万以上 |
| 設立 | 2021 年、本社はニューヨーク |
| サポートされているプラットフォーム | iOS、Android、ウェブ |
| 字幕がサポートされている言語 | 28 か国語以上 |
| コア機能 | 自動字幕、瞳補正 AI音声強化 AIアバター |
| 無料プラン | はい (基本字幕、透かし付き) |
| プロプラン | $14.99/月 |
| クリエイタープラン | $29.99/月 |
| 対象ユーザー | TikTok/Reels クリエイター、ポッドキャスター、ナレッジブロガー |
| 注目のテクノロジー | アイコンタクトの矯正 |
キャプションの中心的なユーザー シナリオは、「ビデオ撮影とポストプロダクションを 1 人で完了する」です。目の焦点を合わせるのを手伝ってくれる写真家も、ノイズに対処する録音担当者もいません。個人クリエイター向けのプロ仕様機材の不足をAI機能が補います。
ユーザーと市場の認識
Captions は、App Store のビデオ作成カテゴリで最も評価の高い AI ツールの 1 つであり、長年にわたり 4.7 以上の星評価を獲得しており、1,000 万人以上の登録ユーザーがいます。アイコンタクト補正機能は、ローンチ後すぐに TikTok で大ヒットとなり、何百万人ものファンを持つ複数のクリエイターがその使用体験を公に共有し、大幅な内部成長を促進しました。
このプラットフォームはProduct Huntでその日の最高評価を何度も獲得しており、AIアバター機能の開始により製品の影響力はさらに拡大しました。 CaptionsはForbesやTechCrunchなどのメディアでも何度も報じられており、「モバイルクリエイターのニーズを最もよく理解している」AI動画ツールとみなされています。同社は、a16z やその他のトップベンチャーキャピタル機関を含む投資家とともに、複数回の資金調達ラウンドを完了しました。
コストメリット
| 計画 | 価格 | 主なメリット | 対象者 |
|---|---|---|---|
| 無料版 | $0/月 | 基本的な自動字幕、ウォーターマーク付きビデオ、エクスポート時間制限 | 初体験 |
| プロ | $14.99/月 (年払い) | 透かしなし、高度な字幕スタイル、目の補正、音声強調、720p | アクティブクリエイター |
| クリエイター | $29.99/月 (年払い) | フル機能のロック解除、AI アバター、4K エクスポート、優先処理 | プロのクリエイター |
高頻度のコンテンツを制作する TikTok および Reels クリエイターにとって、月額 14.99 ドルの Pro プランは、セッションあたりの字幕制作を外注する場合 (通常は 1 件あたり 5 ～ 15 ドル) に比べて長期コストの面で非常に有利であり、目の補正などの AI 機能は外注スタジオでは簡単に再現できない差別化された価値です。
主な機能
- 自動キャプション: 28 以上の言語で高精度のリアルタイムの音声から字幕への変換をサポートし、アニメーション、ポップアップ、ハイライトなどの複数の字幕スタイルやカスタムの色/フォントを提供し、ワンクリックでビデオに人目を引く字幕効果を追加します。
- アイコンタクト補正: キャプションの最も象徴的な機能である AI は、ビデオ内の話者の目の位置を分析してリアルタイムで調整するため、話者は常に画面上のスクリプトではなくカメラを見ているように見え、ビデオの親密さとプロフェッショナリズムが大幅に向上します。
- AI Voice Enhancement: ワンクリックでビデオ録画中の背景ノイズ、エコー、音量ムラを除去し、携帯電話/通常のマイクで録音された音声をプロのレコーディングスタジオに近い品質に改善します。
- AI アバター (AI デジタル ヒューマン): 5 ～ 10 分の参考ビデオを録画してパーソナライズされた AI デジタル ヒューマンをトレーニングし、テキスト スクリプトを入力して、大量のコンテンツ制作に適した、その人物に非常に類似した発話ビデオを生成します。
- 多言語字幕翻訳: ワンクリックで既存の字幕を 28 以上の言語に翻訳できるため、クリエイターは多言語を話す視聴者に簡単にリーチできるため、国際的なコンテンツ配信の際に手動で翻訳する必要がなくなります。
- ビデオ編集ツール: 基本的なビデオ編集機能が組み込まれており、クロップ、スプライシング、トランジションやテキストの追加をサポートし、他のアプリケーションに切り替えることなくモバイルショートビデオの基本的なポストプロダクションニーズを満たします。
- ワンクリックで画面サイズに適応: ワンクリックでビデオを 9:16、16:9、1:1 およびその他のサイズ形式に変換し、さまざまなプラットフォームの公開要件に適応します。
- ブランド テンプレートとスタイル: チャンネルのビジュアル スタイルの統一性を維持するために、さまざまなプロフェッショナルな字幕テンプレートとブランド カラー設定を提供します。
モデルとバージョンの進化
| バージョン/マイルストーン | 時間 | 説明 |
|---|---|---|
| iOS 公開リリース | ～2022-01 | 自動字幕の中核機能はオンライン |
| Android版リリース | ～2022-09 | Android プラットフォームへの拡張 |
| 瞳補正＋声補正 | ～2023-06 | 2 つの象徴的な AI 機能が起動され、ウイルス拡散を引き起こす |
| ユーザー数 100 万人のマイルストーン | ～2023-09 | 登録者数100万人突破 |
| 多言語字幕翻訳 | ～2024-03 | 28 か国語以上の字幕翻訳をサポート |
| AIアバター公開 | ～2024-09 | パーソナライズAIデジタルヒューマン機能提供開始、利用者数1000万人突破 |
技術的な利点
視線追跡および視線方向変更テクノロジー: アイコンタクト補正は、コンピュータ ビジョンにおける目のキー ポイント検出と視線方向推定に基づいており、生成されたモデルと組み合わせて目の領域をリアルタイムで再描画するため、視線方向が画面からレンズに移動します。このテクノロジーの自然さと処理速度のバランスは、キャプションの中核となる技術的障壁であり、モバイル デバイスのコンピューティング能力の制限に合わせて特別に最適化されています。
モバイル AI パフォーマンスの最適化: キャプションは、iOS および Android デバイスの NPU (ニューラル ネットワーク プロセッシング ユニット) 向けに徹底的に最適化されています。複数の AI プロセス (字幕生成、音声強化、目の補正) を携帯電話上でローカルにリアルタイムで実行できるため、クラウド アップロードの待ち時間が短縮され、クリエイティブな流暢性が向上します。
パーソナライズされたデジタル ヒューマン モデリング (AI アバター): ユーザーが提供したリファレンス ビデオは、顔のモデリング、表情キャプチャ、音声特徴抽出を通じてパーソナライズされたデジタル ヒューマン モデルを生成します。推論段階でテキストスクリプトを入力すると、モデルは参照ビデオのスタイルと一致する口のアニメーションと表情を生成し、AI によって生成された非常に自然なスピーキングビデオを実現します。
使い方
| 入口 | 説明 |
|---|---|
| iOSアプリ | App Store で「キャプション」を検索してダウンロードし、メイン プラットフォーム |
| Androidアプリ | Google Play で「キャプション」を検索してダウンロード |
| ウェブ側 | ブラウザでのビデオのアップロードと処理をサポートするには、https://www.captions.ai にアクセスしてください。 |
一般的な使用手順 (TikTok 動画に AI 字幕と目の補正を追加する):
- Captions iOS または Android アプリをダウンロードし、ログイン アカウントを登録します。
- [新しいプロジェクト] をクリックして、フォト アルバムからキャプチャしたビデオを選択するか、アプリで新しいビデオを直接録画します。
- AI が自動的に字幕を生成するまで待ち (通常 30 ～ 60 秒)、字幕の精度を確認して手動でエラーを修正します。
- 個人のチャンネル スタイルに合わせて、字幕スタイル オプションでアニメーション効果、フォントの色、サイズを選択します。
- 「アイコンタクト補正」をオンにすると、AI がビデオ内の視線の方向を自動的に処理します (Pro 以降のプラン)。
- [音声強化] をクリックすると、背景ノイズが除去され、音声の明瞭さが向上します。
- 完全なエフェクトをプレビューし、[エクスポート] をクリックしてビデオをエクスポートします。TikTok、Instagram に直接共有するか、フォト アルバムに保存するかを選択できます。
製品の価格設定
- 無料バージョン ($0/月): 基本的な自動字幕生成、エクスポート期間の制限、キャプションの透かし付きビデオのエクスポート、字幕スタイルのオプションの制限があり、初めての体験に適しています。
- Pro ($14.99/月、年間支払いは約 $9.99/月): ウォーターマークのエクスポートなし、720p ビデオ品質、目の補正、音声補正、高度な字幕スタイルと色のカスタマイズ。アクティブなショートビデオクリエイターに適しています。
- クリエイター (月額 29.99 ドル、年間支払いは月額約 19.99 ドル): すべての Pro 機能 + AI アバターのパーソナライズされたデジタル ヒューマン、4K ビデオのエクスポート、優先処理キュー、字幕翻訳 (28 か国語以上)。ビデオ コンテンツを職業とするプロのクリエイターに適しています。
アプリケーションのシナリオ
1. TikTok と Instagram のリールに簡単に登場 一人で撮影するクリエイターには外部マイクや照明機材は必要ありません。キャプションの音声強調機能と目の補正機能を使用すると、携帯電話で撮影したビデオをプロの品質に達することができます。自動字幕により、サイレント視聴時の維持率が大幅に向上し、競争の激しいショートビデオ プラットフォームでより高い完了率が実現します。
2.ナレッジブロガーとコースコンテンツの量産 AI アバター機能により、ナレッジ ブロガーはデジタル ヒューマンをトレーニングし、テキスト スクリプトを入力するだけでトーキング ビデオを生成し、コース紹介やナレッジ カードなどのコンテンツを量産できるため、継続的に出演するための時間とエネルギー コストが大幅に削減されます。
3.多言語を話す視聴者へのコンテンツ配信 海外のクリエイターは、字幕翻訳機能を使用して、英語ビデオからワンクリックでスペイン語、フランス語、中国語などの多言語字幕バージョンを生成し、多言語バージョンを再録画することなく、さまざまな言語の視聴者をカバーし、コンテンツのリーチを最大化します。
4.企業ブランドの短いビデオ マトリックス 企業のソーシャル メディア チームはキャプションを使用して、製品の表示、従業員紹介、ブランド ストーリー ビデオに専門的な字幕をすばやく追加し、ブランドの字幕スタイルを統一し、字幕制作を外注する必要をなくし、視覚的な一貫性を維持しながらコンテンツのリリース サイクルを大幅に短縮します。
該当する人
- TikTok、Reels、YouTube ショート クリエイター: コア ユーザー グループ、自動字幕および目の補正により、ショート ビデオのプロ意識とコミュニケーション効果が直接向上します。
- ナレッジブロガーおよびオンライン教育クリエイター: AI アバター機能により、継続的に出演する負担が軽減され、字幕翻訳により、世界中の視聴者にリーチすることができます。
- エンタープライズ ソーシャル メディア オペレーター: 多数のビデオ コンテンツにブランドの字幕を迅速に追加し、ビジュアル スタイルを統一し、アウトソーシングへの依存を減らす必要があります。
- 独立系ポッドキャスト ビデオ バージョン プロデューサー: オーディオ ポッドキャストをビデオ バージョンに拡張するには、字幕と音声拡張が中心的な要件です。
- シーンには適していません: 複雑なマルチトラックビデオ編集を必要とするプロの映画制作。カメラに映らない純粋な素材のビデオ制作。 AI による瞳補正効果のリアリズムに対する厳しい要求を伴うプロレベルの広告制作。
概要と展望
Captions は、「モバイル ファースト、クリエイター ファースト」の製品コンセプトにより、チームのサポートを受けずに単独で出演する独立系コンテンツ クリエイターの問題点を正確に解決します。目の補正、字幕、音声強調の 3 つの主要な機能が、独自の製品堀を形成しています。 TikTokクリエイターコミュニティで口コミで広がったことは、その製品が市場に正確に適合していることを証明しています。 AIアバター機能の提供開始により、「後加工動画」から「AI生成動画」まで製品が拡張され、提供できるクリエイティブシーンがさらに広がります。
現時点での制限は次のとおりです。AI アバターによって生成されたビデオの自然な感覚には、複雑な表現や長期コンテンツに AI 生成の明らかな痕跡がまだ残っています。頭を素早く動かしたり、顔の輪郭が強くなったりすると、目の補正の精度が低下します。無料版には明らかな機能制限があり、コア AI 機能のロックを解除するには料金を支払う必要があります。
将来的には、デバイス側のAI計算能力の向上とマルチモーダルモデルの進歩により、CaptionsのAIアバターの品質は引き続き実際の録画の効果に近づくことが予想され、リアルタイムビデオ生成（生放送中にリアルタイムで適用される瞳補正）などの機能が次の成長方向となる可能性があります。
関連ツール: runway、pika
バージョン情報
- AIデジタルヒューマン（AIアバター） ：AIアバター機能を開始。ユーザーは自分の画像を記録することで、パーソナライズされたAIデジタルヒューマンを訓練することができます。その後、テキストスクリプトを入力すると、再度録画することなく、その人物に非常に近い発話ビデオを生成できます。これにより、ビデオ コンテンツの継続的な制作コストが大幅に削減され、ブランド アンカーやナレッジ クリエイターがコンテンツを量産するのに適しています。
- 瞳補正＋音声強調機能をリリース ：アイコンタクト補正機能を開始しました。動画内の発言者の視線がカメラの方を向くようにAIが自動的に調整します。ワンクリックで周囲のノイズを除去し、音声の明瞭さを向上させる音声強調機能も同時にリリースされました。どちらの機能も TikTok クリエイター コミュニティでウイルス拡散を引き起こしました。
- キャプション公開 ：高精度な自動字幕生成をコア機能としたCaptions iOSアプリを正式公開しました。 10 か国語以上のリアルタイム字幕をサポートし、さまざまな字幕アニメーション スタイルを提供し、短編ビデオ作成者コミュニティですぐに評判を確立します。
ユーザーレビュー