KI-Videolokalisierung in 17 Sprachen ohne erneutes Rendering

Wir haben das Django- und Celery-Backend der Plattform um Sprachvarianten erweitert: pro Sprache eine Variante, die an die Originalgeschichte gekoppelt ist. Ein LLM übersetzt das Skript, der Operator überarbeitet es, danach wird der Text neu vertont – mit Standardstimmen pro Sprache, die je Kampagne festgelegt und für einzelne Videos überschrieben werden können. Untertitel werden mit Whisper neu berechnet, und eine einzige Aktion „Alle Sprachen generieren“ erstellt sämtliche Varianten im Hintergrund. Inzwischen werden 17 Sprachen unterstützt, von Englisch und Deutsch bis Arabisch, Hindi, Japanisch, Koreanisch und Chinesisch.

Die eigentliche Herausforderung ist das Timing. Übersetzte Sprache ist selten genauso lang wie das Original, das Szenenvideo aber steht fest. Das Audio wird deshalb über eine Kaskade mit einer Toleranz von 0,15 s an das Bild angepasst:

• Pausen kürzen;
• Time-Stretching bis 1,4× bei unveränderter Tonhöhe;
• das Videoende kürzen;
• ein Standbild nur als letztes Mittel.

Bei Montage-Stories gilt die umgekehrte Logik. Die erste Version erzeugte für 61,75 s Audio ein Video von 91,08 s mit stummem Ende. Heute berechnen wir die Schnittliste neu, sodass die Clip-Längen exakt der Audiolänge entsprechen. Ein separater Modus synthetisiert die gesamte Tonspur in einem Durchgang und richtet die Wörter per Whisper aus; liegt der Versatz über 0,75 s, fällt er auf segmentweise Synthese zurück. Diese Arbeit verbindet KI-Softwareentwicklung mit ML-Entwicklung.

Außerdem haben wir bewusst zwischen Eigenbau und Zukauf entschieden. Nach Berechnung des Teams kostet ein 60-Sekunden-Video in fünf Sprachen per TTS-Neuvertonung etwa 0,45 $, über eine Dubbing-API dagegen 1,65 bis über 8 $ – also 4- bis 20-mal mehr. Zudem war die Dubbing-API damals nicht programmatisch verfügbar. Der akzeptierte Kompromiss: In Lip-Sync-Szenen passen die Lippenbewegungen nicht zur neuen Sprache.