Whisper Large-v3: Die „Decken“-Version der Open-Source-Spracherkennung, die Ansammlung von Transkriptionen in über 99 Sprachen und 680.000 Stunden schwach überwachtes Training

Whisper Large-v3 ist derzeit die größte öffentliche Whisper-Modellversion. Es erscheint Ende 2023 und erreicht hinsichtlich der mehrsprachigen Transkription und Übersetzungsqualität das höchste Niveau der Reihe. Als allgemeines Spracherkennungsmodell, das von OpenAI unter der MIT-Lizenz als Open Source bereitgestellt wird, setzt es den technischen Weg der ursprünglichen Version im September 2022 fort (680.000 Stunden mehrsprachige, schwach überwachte Daten, die mehr als 99 Sprachen abdecken) und ist eine Benchmark-Open-Source-ASR-Lösung für die Erstellung von Sprachanwendungen.

• GRÖSSTE ÖFFENTLICHE VERSION: Large-v3 ist das größte öffentliche Modell in der Whisper-Serie, wobei die Transkriptions- und Übersetzungsqualität das höchste Niveau aller Zeiten erreicht.
• Mehrsprachige Abdeckung: Unterstützt Transliteration, Übersetzung und Zeitstempelausrichtung in über 99 Sprachen.
• MIT-Lizenz: Kostenlos für kommerzielle Nutzung und lokale Bereitstellung, es ist einer der De-facto-Standards für Open-Source-Spracherkennung.
• Mehrere Skalen verfügbar: Fünf Skalen von klein bis groß, die den Bedarf von Edge-Geräten bis hin zu hochpräzisen Szenarien abdecken.

Versionshintergrund

Whisper ist das allgemeine Open-Source-Spracherkennungsmodell von OpenAI, das ein groß angelegtes, schwach überwachtes Trainingsparadigma übernimmt: Die erste Version wird auf der Grundlage von 680.000 Stunden mehrsprachiger Daten trainiert und ist nicht auf manuelle Anmerkungen angewiesen, wodurch eine breite Sprachabdeckung erreicht wird. Die Versionsentwicklung spiegelt einen klaren Iterationspfad wider: Groß (21.09.2022) ist die Erstveröffentlichung; Large-v2 (2022-12) verbessert die Mehrsprachenleistung und reduziert Fehlerraten; Large-v3 (2023-11) wird zur größten öffentlichen Version und erreicht das höchste Niveau in der Reihe in der mehrsprachigen Transkription und Übersetzung.

Highlights dieser Version

Verbesserung der Erkennungsqualität

• Mehrsprachige Transkription: Large-v3 hat die mehrsprachige Sprachtranskription im Vergleich zur vorherigen Generation deutlich verbessert und die Fehlerrate in schwachen Sprachszenarien ist deutlich gesunken.
• Übersetzungsfunktion: Unterstützt die Übersetzung nicht-englischer Sprache ins Englische, um sprachübergreifende Szenarios zur Inhaltsverarbeitung zu ermöglichen.
• Zeitstempelausrichtung: Bietet wortweise Zeitstempel zur Unterstützung der Untertitelgenerierung sowie Audio- und Videoausrichtungsanwendungen.

Ingenieurökologie

• Bereitstellung in mehreren Maßstäben: winziger/Basis-/kleiner/mittlerer/großer Gradient, wählen Sie bei Bedarf von Edge bis zur hochpräzisen Cloud.
• Community-beschleunigte Implementierung: Community-Implementierungen wie Whisper.cpp und Faster-Whisper verbessern die Inferenzeffizienz erheblich und unterstützen CPU- und Consumer-GPU-Operationen.
• Lokale Bereitstellung: Es kann unter der MIT-Lizenz frei selbst gehostet werden und die Daten können transkribiert werden, ohne das Land zu verlassen.

Bedeutung für Entwickler

Aus Branchensicht liegt der Wert von Whisper Large-v3 darin, „hochwertige Spracherkennung“ in eine frei verfügbare Infrastruktur umzuwandeln. Für inländische Entwickler bedeutet dies, dass sie die Sprachtranskription, Besprechungsprotokolle, die Generierung von Untertiteln und die Verarbeitung mehrsprachiger Inhalte in ihren eigenen Datenpipelines durchführen können, ohne auf kommerzielle APIs angewiesen zu sein. Im Vergleich zu kommerziellen Identifizierungsdiensten besteht der Hauptkompromiss bei selbst gehostetem Whisper in „kontrollierbaren Kosten + Datenschutz“ im Vergleich zu „Tuning-Diensten und extrem geringer Latenz“.

Im Sprachfähigkeitsstapel ist Whisper für die „Verstehen“-Verbindung verantwortlich und ergänzt die Sprachschnittstelle von OpenAI API – ersteres kann selbst gehostet werden und letzteres kann sofort verwendet werden. Wenn „Sprechen“- und „Konversations“-Funktionen erforderlich sind, müssen TTS- und Voice-Agent-Produkte zu einer vollständigen Verbindung kombiniert werden.

Tipps für den Einstieg

• Schnelle Überprüfung: Beginnen Sie mit einem mittleren/großen Modell und bewerten Sie die Erkennungsgenauigkeit des Zielsprachensatzes.
• Produktionsbereitstellung: Verwenden Sie schneller-whisper oder whisper.cpp, um die Inferenz zu optimieren, und arbeiten Sie mit VAD zusammen, um lange Audiodaten zu verarbeiten.
• Untertitel/Minutenszene: Nutzen Sie die Funktion zur Zeitstempelausrichtung, um Untertitel oder Besprechungsaufzeichnungen direkt mit einer Zeitleiste zu generieren.

Richtungen, die in Zukunft Aufmerksamkeit verdienen

1. Reife von Community-Beschleunigungslösungen: Der Kompromiss zwischen Inferenzeffizienz und Genauigkeit zwischen whisper.cpp und Faster-Whisper.
2. Chinesisch- und Dialektoptimierung: Gemessene Leistung und Feinabstimmungspraxis in chinesischen Aussprache-, Akzent- und Dialektszenarien.
3. Konkurrenz und Zusammenarbeit mit kommerziellem ASR: Die Grenze zwischen selbst gehosteten Lösungen und kommerziellen Diensten und wie man sie je nach Szenario optimal kombiniert.