Aero-1-Audio est un modèle audio léger développé par LMMs-Lab, construit sur Qwen-2.5-1.5B, avec seulement 150 millions de paramètres. Conçu pour un traitement audio long, prenant en charge 15 minutes d'entrée audio continue sans segmentation. Il présente une grande précision dans les tâches de reconnaissance vocale (ASR) et présente le taux d'erreur de mots le plus bas sur AMI, LibriSpeech, SPGISpeech et d'autres ensembles de données.

Aéro-1-Audio

Paramètres et statistiques de base

Paramètres	Informations officielles vérifiables
Positionnement du produit	Modèle audio léger pour l'audio longue durée
Modèle de base	Qwen-2.5-1.5B
Montant du paramètre	150 millions (150M)
Durée audio maximale	15 minutes de saisie continue
Données de formation	~5 milliards de jetons (50 000 heures d'audio)
Ressources de formation	16 GPU H100, réalisés en 1 jour
Utilisation du FLOP	0,34 (optimisé avec regroupement de séquences)
Plateforme de publication	Visage câlin

Un bref commentaire : Aero-1-Audio a utilisé 150 millions de paramètres pour prouver que les petits modèles peuvent surpasser les grands modèles tels que Whisper dans les tâches audio.

Reconnaissance des utilisateurs et du marché

Sensibilisez progressivement les utilisateurs sur le terrain et les capacités du produit sont utilisées par les créateurs de contenu et les équipes pour améliorer l'efficacité du travail. Certains utilisateurs de l'industrie l'ont intégré à leur flux de travail quotidien. Il est recommandé de se référer aux dernières divulgations officielles pour connaître les données spécifiques sur l’échelle des utilisateurs et le taux d’adoption par l’industrie.

Avantage de coût

C-side/Personal : Entièrement open source et gratuit, vous pouvez le télécharger et l'utiliser depuis Hugging Face. Vous devez préparer votre propre contexte de raisonnement (GPU recommandé).

Développeurs : Gratuit et open source, peut être intégré à vos propres applications. 16 Formation H100 Programme de formation d'une journée à faible coût, adapté aux équipes de recherche.

Entreprise/Privé : l'Open Source permet un auto-déploiement et un réglage précis. Les licences ouvertes telles que le MIT autorisent une utilisation commerciale (la licence spécifique sera soumise au fonctionnaire).

Fonctions principales

• Traitement audio long : prend en charge l'entrée audio continue jusqu'à 15 minutes sans segmentation, en maintenant la cohérence contextuelle.
• Reconnaissance vocale (ASR) : conversion parole-texte de haute précision, adaptée à la transcription en temps réel, aux procès-verbaux de réunions et à la transcription de conférences.
• Analyse audio complexe : prend en charge l'analyse et la compréhension sémantique de plusieurs types audio tels que la parole, les effets sonores, la musique, etc.
• Tâches pilotées par commande : extrayez des informations spécifiques de l'audio ou effectuez des opérations spécifiques basées sur des instructions.
• Léger et efficace : seulement 150 millions de paramètres, surpassant les plus grands Whisper et Qwen-2-Audio dans plusieurs benchmarks.

Evolution du modèle et de la version

Mises à jour itératives continues, la dernière version introduit une optimisation des performances et de nouvelles fonctionnalités. Les informations sur la version historique peuvent être consultées sur la page de version officielle. Il n’existe pas encore de calendrier complet d’évolution de la version publique. Il est recommandé de prêter attention à l'annonce officielle pour comprendre le rythme des mises à jour des fonctionnalités.

Avantages techniques

Jugement de type principal : infrastructure de base grand modèle/API - modèle audio open source léger.

Performances et débit : 1 journée de formation sur seulement 16 GPU H100. L'utilisation du FLOP dans la phase d'inférence est améliorée de 0,03 à 0,34 grâce à la technologie de regroupement de séquences. Les indicateurs de service en ligne tels que TTFT et TPM/RPM ne sont pas publics et sont soumis à la page officielle Hugging Face.

Limite d'adaptation : meilleur pour les tâches de reconnaissance vocale (ASR) et de longue compréhension audio. Excellentes performances pour suivre les commandes vocales et comprendre les scènes audio. Mais il n'est pas bon pour les tâches audio génératives telles que la génération de musique et la synthèse vocale (TTS).

Méthode de formation : adoptez une stratégie de traitement par lots dynamique basée sur la longueur des jetons pour améliorer l'utilisation des ressources informatiques en regroupant les échantillons dans des seuils de longueur de jeton prédéfinis.

Comment utiliser

Entrée	Descriptif
Visage câlin	Visitez huggingface.co/lmms-lab/Aero-1-Audio pour télécharger le modèle
Inférence locale	Chargez le modèle via la bibliothèque Transformers pour l'inférence

Prix des produits

Le modèle de tarification est soumis à la page officielle en temps réel. Habituellement, un système freemium ou d'abonnement est utilisé et les fonctions de base peuvent être utilisées gratuitement. Les fonctions avancées ou l'utilisation à haute fréquence nécessitent des abonnements payants, et il est conseillé aux utilisateurs d'évaluer la solution optimale en fonction de l'utilisation réelle.

Scénarios d'application

• Assistant vocal : fournit des capacités efficaces de reconnaissance vocale et de compréhension pour les assistants vocaux intelligents.
• Transcription en temps réel : transcrivez rapidement le contenu vocal en texte, adapté aux réunions, conférences, etc.
• Archivage et recherche audio : ajoutez des balises de contenu à la bibliothèque audio et prenez en charge la recherche sémantique.
• Module d'écoute de l'agent : donne à l'agent la possibilité de comprendre un long discours et prend en charge plusieurs cycles de dialogue.

Personnes concernées

• Utilisateurs individuels : créateurs de contenu et travailleurs du savoir qui ont besoin de l'aide de l'IA pour améliorer leur efficacité au travail quotidien.
• Développeurs : équipes techniques qui doivent intégrer des fonctionnalités d'IA dans leurs propres produits ou services via des API.
• Entreprise : organisations cherchant à déployer l'IA à grande échelle dans leur domaine.

Résumé et Outlook

Aero-1-Audio démontre les capacités d'ingénierie permettant de résoudre de gros problèmes avec de petits modèles - 150 millions de paramètres + 50 000 heures de données de formation, surpassant Whisper sur la référence ASR. La solution d’optimisation de l’efficacité de la formation (traitement dynamique par lots + packaging de séquences) a une valeur de référence pour les équipes de recherche aux ressources limitées.

Unfit Boundary : ne fournit pas de fonctionnalités de synthèse vocale (TTS) ; l'inférence nécessite des ressources GPU ; le modèle ne prend en charge que l'anglais ; l'effet de séparation vocale dans les longs fichiers audio non structurés n'est pas divulgué ; en tant que modèle de recherche, la stabilité et le soutien du contexte de production doivent être évalués par vous-même.

Suggestion d'achat : L'équipe de recherche peut télécharger directement le modèle pour le reproduire et le peaufiner. Avant le déploiement en production, il est nécessaire de vérifier la précision de l'ASR sur les données cibles et d'évaluer le coût d'inférence GPU. Faites attention à savoir si LMMs-Lab publiera une version plus grande ou une version dédiée et affinée à l'avenir.

Outils associés : elevenlabs, udio

Informations de version

• Sortie Aero-1-Audio ：Basé sur Qwen-2.5-1.5B, il prend en charge 15 minutes d'audio continu et est optimal pour les multi-benchmarks ASR. （~2025-05）
• Aperçu d'Aero-1-Audio ：Première version d'aperçu, vérification de l'architecture de traitement audio de base. （~2025-03）