HeyGen

Teile uns

Ein Video ging letzte Woche viral. Der Grund: die Person sprach fliessend Französisch und Deutsch. Nicht etwa, weil die Person dies kann, sondern weil die KI es möglich macht. Lesen Sie in dem heutigen Post wie das geht.

Einleitung

Jon Finger postete am 11.9.23 auf X hier.
Ich teste die @HeyGen_Official Übersetzung auf Französisch und Deutsch. Ich spreche spreche keine der beiden Sprachen, also lass mich wissen, ob es natürlich klingt, wenn du es tust. Ich hoffe, dass man die Farbkorrektur ausschalten kann, wenn man dafür bezahlt. Es funktionierte nicht auf meinem Handy, also musste ich es auf meinem PC hochladen.

Bereits 7 Mio. Mal wurde auf seinen Post zugegriffen und alle wollen HeyGen ausprobieren. Link zu YouTube Clip hier. Das Video ist gefälscht, erstellt von KI, also HeyGen.

Was steckt dahinter?

Das Werkzeug von HeyGen vereint verschiedene Techniken: Es handelt sich zuerst um ein KI-basiertes Übersetzungstool. Darüber hinaus wird das Video so bearbeitet, dass die Lippenbewegungen genau zur jeweiligen Sprache synchronisiert sind – das nennt man „Lip Synching“. Ein weiteres Highlight ist die „Voice Cloning“-Technik, die sicherstellt, dass Tonhöhe und Betonung originalgetreu wiedergegeben werden.

Das Besondere an diesem Werkzeug ist, dass es drei bereits existierende Technologien in einem Programm vereint, erklärt Guido Berger, Digital-Redakteur bei SRF. „Es ist bereits allgemein bekannt, dass Spracherkennungssoftware Audio umwandelt und Text erzeugt“, meint Berger. Die „Lip Synching“-Eigenschaften von HeyGen sind nicht besonders beeindruckend. Laut Berger sind unsere Erwartungen an diese Technik nicht besonders hoch, da wir bereits an synchronisierte Filme und TV-Sendungen aus anderen Ländern gewöhnt sind. Das „Voice Cloning“ stellt vermutlich den überraschendsten und komplexesten Teil dar. Und das meistert HeyGen ziemlich gut. Quelle hier.

HeyGen bietet eine Videoplattform, die mithilfe generativer KI den Videoproduktionsprozess optimiert. Sie haben nebst dem neusten Tool «Translate Video», die Möglichkeit, über 100 KI-Avataren zu wählen, eigene zu gestalten und Text in mehr als 40 Sprachen zu konvertieren und in kürzester Zeit Videos zu erstellen.

Und so geht es

Rufen Sie HeyGen auf.
Klicken Sie auf «Sign In» und anschliessend auf «Sign Up» um ein Benutzerkonto zu erstellen.
Sobald Sie eingeloggt sind, klicken Sie auf «Labs» und «Video Translate»

4. Laden Sie Ihren Clip hoch und wählen Sie die gewünschte Sprache aus. Folgende Sprachen sind zurzeit möglich: Englisch, Spanisch, Französisch, Chinesisch, Deutsch, Italienisch, Portugiesisch, Niederländisch, Hindi, Koreanisch, Polnisch und Japanisch. Klicken sie auf «Submit».

5. Da im Moment alle HeyGen-Übersetzungen ausprobieren, dauert es eine Weile, bis der übersetzte Clip verfügbar ist. Aktuell befinde ich mich an Position 57.523 🙁

Preise

Wenn man bei HeyGen ein Konto erstellt, kann man kostenlos einen einminütigen Clip erstellen. Danach fallen jedoch Kosten an:

Alternativen

Weitere KI-Videoplattformen sind beispielsweise Synthesia, Elai, Deepbrain oder Colossyan.

Fazit

Und wieder hat es mich überrascht, dass eine solche Videoübersetzung so schnell für Privatpersonen zugänglich ist. Es ist beängstigend, wie sich der technologische Fortschritt aktuell entwickelt. Ich frage mich, wenn ich KI-Übersetzungstools benutze, die mir Text oder Gesprochenes 1:1 in eine andere Sprache übersetzen, oder HeyGen ausprobiere, wie lange es den traditionellen Sprachunterricht noch geben wird? Wie kann Lernen relevant bleiben?

Web2-Unterricht

HeyGen – Video-Übersetzungs-KI