Légendes
Captions est un
Captions – Création vidéo mobile par IA, conçue pour les créateurs solo
Paramètres et statistiques de base
| Paramètres | Détails |
|---|---|
| Nombre d'utilisateurs enregistrés | 10 millions+ |
| Fondée | 2021, dont le siège est à New York |
| Plateformes prises en charge | iOS, Android, Web |
| Langues prises en charge par les sous-titres | 28+ langues |
| Fonctions de base | Sous-titres automatiques, correction des yeux Amélioration de la voix AI Avatar AI |
| Forfait gratuit | Oui (sous-titres de base, avec filigrane) |
| Forfait Pro | 14,99 $/mois |
| Plan Créateur | 29,99 $/mois |
| Utilisateurs cibles | Créateurs TikTok/Reels, podcasteurs, blogueurs de connaissances |
| Technologie en vedette | Correction du contact visuel |
Le scénario principal de Captions est le suivant : "une personne réalise seule le tournage vidéo et la post-production" : il n'y a pas de photographe pour aider à focaliser les yeux, ni d'enregistreur du son pour gérer le bruit. La fonction IA compense le manque de matériel professionnel pour les créateurs indépendants.
Reconnaissance des utilisateurs et du marché
Les sous-titres sont l'un des outils d'IA les mieux notés dans la catégorie de création vidéo sur l'App Store, avec une note de longue date de 4,7+ étoiles et plus de 10 millions d'utilisateurs enregistrés. La fonction de correction du contact visuel est rapidement devenue un succès viral sur TikTok après son lancement, avec plusieurs créateurs comptant des millions de fans partageant publiquement leur expérience de son utilisation, générant ainsi une forte croissance organique.
La plate-forme a reçu à plusieurs reprises les notes les plus élevées du jour sur Product Hunt, et le lancement de la fonction AI Avatar a encore élargi l'influence du produit. Les sous-titres ont été rapportés à plusieurs reprises par Forbes, TechCrunch et d'autres médias, et sont considérés comme l'outil vidéo d'IA qui « comprend le mieux les besoins des créateurs mobiles ». La société a réalisé plusieurs tours de table de financement, auprès d'investisseurs dont a16z et d'autres grandes institutions de capital-risque.
Avantage de coût
| Planifier | Prix | Principaux avantages | Personnes concernées |
|---|---|---|---|
| Version gratuite | 0$/mois | Sous-titres automatiques de base, vidéo avec filigrane, durée d'exportation limitée | Première expérience |
| Pro | 14,99 $/mois (payé annuellement) | Pas de filigrane, styles de sous-titres avancés, correction des yeux, amélioration de la parole, 720p | Créateur actif |
| Créateur | 29,99$/mois (paiement annuel) | Déverrouillage complet des fonctionnalités, AI Avatar, exportation 4K, traitement prioritaire | Créateur professionnel |
Pour les créateurs de TikTok et Reels qui produisent du contenu à haute fréquence, le forfait Pro à 14,99 $/mois est très avantageux en termes de coûts à long terme par rapport à la production de sous-titres externalisée par session (généralement 5 à 15 $/article), et les fonctionnalités d'IA telles que la correction oculaire sont une valeur différenciée que les studios externalisés ne peuvent pas facilement reproduire.
Fonctions principales
- Sous-titres automatiques : prend en charge la conversion voix-sous-titres en temps réel de haute précision dans plus de 28 langues, fournit plusieurs styles de sous-titres tels que l'animation, les fenêtres contextuelles et la surbrillance, ainsi que des couleurs/polices personnalisées, et ajoute des effets de sous-titres accrocheurs aux vidéos en un seul clic.
- Correction du contact visuel : fonctionnalité la plus emblématique des sous-titres, l'IA analyse la position des yeux de l'orateur dans la vidéo et l'ajuste en temps réel, de sorte que l'orateur semble toujours regarder la caméra plutôt que le script à l'écran, améliorant considérablement l'intimité et le professionnalisme de la vidéo.
- Amélioration de la voix AI : éliminez le bruit de fond, l'écho et les irrégularités de volume dans l'enregistrement vidéo en un seul clic, et améliorez l'audio enregistré par les téléphones mobiles/microphones ordinaires à une qualité proche de celle d'un studio d'enregistrement professionnel.
- AI Avatar (AI Digital Human) : formez un humain numérique IA personnalisé en enregistrant une vidéo de référence de 5 à 10 minutes, puis saisissez un script de texte pour générer une vidéo parlante très similaire à la personne, adaptée à la production de contenu de masse.
- Traduction de sous-titres multilingues : traduction en un clic des sous-titres existants dans plus de 28 langues, aidant les créateurs à atteindre facilement des publics multilingues, éliminant ainsi le besoin de traduction manuelle pour la distribution internationale de contenu.
- Outil d'édition vidéo : fonctions d'édition vidéo de base intégrées, prenant en charge le recadrage, l'épissage, l'ajout de transitions et de texte, répondant aux besoins de base de post-production de courtes vidéos mobiles sans passer à d'autres applications.
- Adaptation de la taille de l'écran en un clic : convertissez des vidéos entre 9:16, 16:9, 1:1 et d'autres formats de taille en un seul clic pour vous adapter aux exigences de publication des différentes plateformes.
- Modèles et styles de marque : fournit une variété de modèles de sous-titres professionnels et de paramètres de couleur de marque pour maintenir l'unité du style visuel de la chaîne.
Evolution du modèle et de la version
| Version/Jalon | Temps | Descriptif |
|---|---|---|
| Version publique iOS | ~2022-01 | La fonction principale des sous-titres automatiques est en ligne |
| Version Android publiée | ~2022-09 | Étendu à la plateforme Android |
| Correction des yeux + amélioration de la voix | ~2023-06 | Deux fonctions emblématiques de l'IA sont lancées, déclenchant une propagation virale |
| Jalon du million d'utilisateurs | ~2023-09 | Les utilisateurs enregistrés ont dépassé 1 million |
| Traduction sous-titres multilingues | ~2024-03 | Traduction de sous-titres dans plus de 28 langues |
| AI Avatar publié | ~2024-09 | Lancement de la fonction humaine numérique d’IA personnalisée, dépassement des 10 millions d’utilisateurs |
Avantages techniques
Technologie de suivi oculaire et de redirection du regard : La correction du contact oculaire est basée sur la détection des points clés de l'œil et l'estimation de la direction du regard en vision par ordinateur, combinée à un modèle généré pour redessiner le contour des yeux en temps réel, de sorte que la direction du regard passe de l'écran à l'objectif. L'équilibre entre le naturel et la vitesse de traitement de cette technologie constitue la principale barrière technique de Captions, et elle est spécialement optimisée pour les limitations de puissance de calcul des appareils mobiles.
Optimisation des performances de l'IA mobile : les sous-titres ont été profondément optimisés pour le NPU (Neural Network Processing Unit) des appareils iOS et Android. Plusieurs processus d'IA (génération de sous-titres, amélioration de la voix, correction oculaire) peuvent être exécutés localement sur le téléphone mobile en temps réel, réduisant ainsi le temps d'attente de téléchargement dans le cloud et améliorant la fluidité créative.
Modélisation humaine numérique personnalisée (IA Avatar) : la vidéo de référence fournie par l'utilisateur génère un modèle humain numérique personnalisé grâce à la modélisation du visage, à la capture d'expression et à l'extraction de caractéristiques vocales. Après avoir saisi un script de texte pendant la phase d'inférence, le modèle génère des animations buccales et des expressions faciales cohérentes avec le style vidéo de référence, permettant ainsi d'obtenir des vidéos parlantes très naturelles générées par l'IA.
Comment utiliser
| Entrée | Descriptif |
|---|---|
| Application iOS | App Store Recherchez « Légendes » à télécharger, la plate-forme principale |
| Application Android | Recherchez « Légendes » sur Google Play pour télécharger |
| Côté Web | Visitez https://www.captions.ai pour prendre en charge le téléchargement et le traitement des vidéos dans le navigateur |
Étapes d'utilisation typiques (ajout de sous-titres IA et correction oculaire aux vidéos TikTok) :
- Téléchargez l'application Captions iOS ou Android et enregistrez un compte de connexion.
- Cliquez sur « Nouveau projet » pour sélectionner une vidéo capturée dans l'album photo ou enregistrez une nouvelle vidéo directement dans l'application.
- Attendez que l'IA génère automatiquement des sous-titres (généralement 30 à 60 secondes), vérifiez l'exactitude des sous-titres et corrigez les erreurs manuellement.
- Sélectionnez l'effet d'animation, la couleur et la taille de la police dans les options de style de sous-titre en fonction du style de votre chaîne personnelle.
- Activez « Correction du contact visuel » et l'IA traitera automatiquement la direction des yeux dans la vidéo (plans Pro et supérieurs).
- Cliquez sur « Amélioration de la voix » pour éliminer le bruit de fond et améliorer la clarté de la parole.
- Prévisualisez l'effet complet, cliquez sur « Exporter » pour exporter la vidéo et vous pouvez choisir de la partager directement sur TikTok, Instagram ou de l'enregistrer dans l'album photo.
Prix des produits
- Version gratuite (0 $/mois) : génération automatique de sous-titres de base, durée d'exportation limitée, vidéo exportée avec filigrane de sous-titres, options de style de sous-titres limitées, adaptées à une première expérience.
- Pro (14,99 $/mois, le paiement annuel est d'environ 9,99 $/mois) : Pas d'exportation de filigrane, qualité vidéo 720p, correction des yeux, amélioration de la voix, style de sous-titres avancé et personnalisation des couleurs, adapté aux créateurs de vidéos courtes actifs.
- Créateur (29,99 $/mois, le paiement annuel est d'environ 19,99 $/mois) : Toutes les fonctionnalités Pro + AI Avatar humain numérique personnalisé, exportation vidéo 4K, file d'attente de traitement prioritaire, traduction des sous-titres (plus de 28 langues), adapté aux créateurs professionnels dont la carrière est le contenu vidéo.
Scénarios d'application
1. Apparition rapide sur TikTok et Instagram Reels Les créateurs qui tournent seuls n’ont pas besoin de microphones ni d’équipement d’éclairage externes. Grâce aux fonctions d’amélioration de la voix et de correction oculaire des sous-titres, les vidéos tournées sur des téléphones mobiles peuvent atteindre une qualité professionnelle. Les sous-titres automatiques améliorent considérablement le taux de rétention lors du visionnage silencieux et atteignent un taux de complétion plus élevé sur la plateforme de vidéos courtes très compétitive.
2. Blogueurs de connaissances et production de masse de contenus de cours La fonction AI Avatar permet aux blogueurs de connaissances de former des humains numériques, puis de simplement saisir des scripts de texte pour générer des vidéos parlantes et produire en masse des introductions de cours, des fiches de connaissances et d'autres contenus, réduisant ainsi considérablement le temps et les coûts énergétiques des apparitions continues.
3. Distribution de contenu à des publics multilingues Les créateurs internationaux utilisent la fonction de traduction de sous-titres pour générer en un seul clic des versions de sous-titres multilingues en espagnol, français, chinois, etc. à partir d'une vidéo en anglais, couvrant ainsi un public dans différentes langues sans avoir besoin de réenregistrer les versions multilingues, maximisant ainsi la portée du contenu.
4. Matrice vidéo courte de marque d'entreprise Les équipes de médias sociaux d'entreprise utilisent les sous-titres pour ajouter rapidement des sous-titres professionnels aux présentations de produits, aux présentations des employés et aux vidéos d'histoire de marque, unifier le style de sous-titres de la marque et éliminer le besoin d'externaliser la production de sous-titres, raccourcissant ainsi considérablement le cycle de publication du contenu tout en maintenant la cohérence visuelle.
Personnes concernées
- Créateurs de TikTok, Reels et YouTube Shorts : le groupe d'utilisateurs principal, les sous-titres automatiques et la correction oculaire améliorent directement le professionnalisme et l'effet de communication des courtes vidéos.
- Blogueurs de connaissances et créateurs d'éducation en ligne : la fonction AI Avatar réduit le fardeau des apparitions continues et la traduction des sous-titres aide à atteindre un public international.
- Opérateurs de médias sociaux d'entreprise : nécessité d'ajouter rapidement des sous-titres de marque à un grand nombre de contenus vidéo, d'unifier le style visuel et de réduire la dépendance à l'externalisation.
- Producteur indépendant de versions vidéo de podcast : pour étendre les podcasts audio en versions vidéo, les sous-titres et l'amélioration de la voix sont des exigences essentielles.
- Ne convient pas aux scènes : production cinématographique professionnelle nécessitant un montage vidéo multipiste complexe ; création vidéo purement matérielle qui n'apparaît pas devant la caméra ; production publicitaire de niveau professionnel qui a des exigences extrêmes en matière de réalisme des effets de correction oculaire générés par l’IA.
Résumé et Outlook
Avec le concept de produit « le mobile d'abord, le créateur d'abord », Captions résout avec précision les principaux problèmes des créateurs de contenu indépendants apparaissant seuls, sans le soutien d'une équipe. Les trois fonctions principales que sont la correction oculaire, les sous-titres et l'amélioration de la voix forment un produit unique. Le bouche-à-oreille répandu dans la communauté des créateurs de TikTok prouve son adéquation précise avec le marché des produits. Le lancement de la fonction AI Avatar étend le produit de la « post-amélioration vidéo » à la « vidéo générée par l'IA », élargissant encore les scénarios créatifs qui peuvent être servis.
Les limites actuelles sont les suivantes : la sensation naturelle des vidéos générées par AI Avatar présente encore des traces évidentes de génération d'IA sur des expressions complexes et des contenus à long terme ; la précision de la correction oculaire diminue lorsque la tête est déplacée rapidement ou que le visage est fortement profilé ; la version gratuite présente des limitations fonctionnelles évidentes et les fonctions principales de l'IA doivent être payées pour être déverrouillées.
Dans l'avenir, avec l'amélioration de la puissance de calcul de l'IA côté appareil et l'avancement des modèles multimodaux, la qualité de l'avatar IA de Captions devrait continuer à être proche de l'effet des enregistrements réels, et des fonctions telles que la génération vidéo en temps réel (correction oculaire appliquée en temps réel lors de la diffusion en direct) pourraient devenir la prochaine direction de croissance.
Outils associés : runway, pika
Informations de version
- Humain numérique IA (Avatar IA) ：La fonction AI Avatar est lancée. Les utilisateurs peuvent former un humain numérique IA personnalisé en enregistrant leur propre image. Ensuite, la saisie d'un script de texte peut générer une vidéo parlante très similaire à la personne sans avoir à réapparaître pour l'enregistrement. Cela réduit considérablement le coût de production continu du contenu vidéo et convient aux présentateurs de marque et aux créateurs de connaissances pour produire du contenu en masse.
- Sortie de la fonction de correction des yeux + d'amélioration de la voix ：La fonction Correction du contact visuel a été lancée. L'IA ajuste automatiquement la direction des yeux de l'orateur dans la vidéo afin qu'il regarde vers la caméra. La fonction d'amélioration de la parole a été lancée simultanément pour éliminer le bruit de fond et améliorer la clarté de la parole en un seul clic. Les deux fonctions ont provoqué une propagation virale dans la communauté des créateurs de TikTok.
- Légendes Sortie publique ：L'application Captions iOS est officiellement ouverte au public, avec la génération automatique de sous-titres de haute précision comme fonction principale. Il prend en charge les sous-titres en temps réel dans plus de 10 langues, propose une variété de styles d'animation de sous-titres et établit rapidement une réputation dans la communauté des créateurs de vidéos courtes.
Avis des utilisateurs