Wie Stimmfilter in einem Dubbing-Spiel funktionieren

Jeder Stimmverzerrer, den du je benutzt hast, funktioniert darunter gleich: Er rechnet die Abtastrate um. Spiel die Aufnahme schneller ab und du gehst hoch, langsamer und du gehst runter. Das ist eine Zeile Code, es ist genau das, was eine Bandmaschine macht, und es ist der Grund, warum es die Chipmunk-Stimme überhaupt gibt.

Es ist außerdem das eine, was ein Dubbing-Spiel nicht tun kann, und herauszufinden, warum, ist der größte Teil dessen, was Stimmfilter in diesem Genre interessant macht.

Tempo ändert Tonhöhe und Dauer zusammen

In einem Dub wird dein Take nicht für sich allein abgespielt. Er wird gegen ein Bild eingeplant — eine Figur öffnet bei 4,2 Sekunden den Mund und hört bei 6,1 auf, und deine Zeile geht in diese Lücke. Nichts dehnt sie passend und nichts kürzt sie ab.

In dem Moment also, in dem du die Abspielrate änderst, hast du geändert, wie lange die Zeile dauert. Ein Chipmunk bei 1,9× ist auf halber Strecke fertig, während der Mund der Figur sich noch bewegt. Ein Riese bei 0,55× redet noch Sekunden, nachdem die Szene längst weggeschnitten hat. Beides ist genau die Desynchronisation, zu deren Verhinderung jeder andere Teil eines Dubbing-Spiels existiert — und je lustiger der Filter, desto extremer die Rate und desto schlimmer der Versatz.

Deshalb klingt ein für Chat oder Streaming gebauter Stimmverzerrer oft falsch, wenn ihn jemand zum ersten Mal auf einen Dub richtet. Nichts ist kaputt. Chat hat kein Bild, mit dem er synchron bleiben müsste, also musste das niemand lösen.

Formanten, und warum sie mehr tragen als die Tonhöhe

Die Lösung ist, die Tonhöhe gar nicht mehr zu bewegen und stattdessen die Resonanzen zu verschieben. Dein Vokaltrakt ist eine Röhre, und eine Röhre hat Frequenzen, bei denen sie klingt — Formanten. Ein kurzer Trakt klingt hoch, ein langer klingt tief, und die Länge des Trakts eines Menschen ist der größte Teil dessen, was eine Stimme klein oder groß wirken lässt. Wohl mehr als die Tonhöhe.

Zu verschieben, wo eine Stimme resoniert, ist reines EQ. In PartyDub ist jeder Filter eine Kette von Glockenfiltern bei rund 240 Hz für die Brustresonanz, 1400 Hz, wo die Vokale wohnen, und 3000 Hz für die Helligkeit, die als leichtere Stimme gelesen wird. Heb die oberen beiden an und senk den unteren ab, und die sprechende Person wird kleiner; mach es umgekehrt, und sie wird größer. Die Aufnahme wird nie umgerechnet, also dauert sie exakt so lange, wie sie gespielt wurde, auf das Sample genau.

Der Tausch ist ehrlich und gehört gesagt: Ein formantverschobener Chipmunk ist ein kleiner Mensch, kein wörtliches Streifenhörnchen. Es ist weniger extrem als das Umrechnen. Es bleibt dafür auf dem Bild, und in einem Spiel, dessen Witz eine Stimme gegen ein Gesicht ist, zählt das mehr als die letzten zwanzig Prozent des Effekts.

Die, bei denen es nicht um Größe geht

Nicht jeder Filter ist eine Formantverschiebung. Mehrere sind ältere Tricks, die im Browser zufällig gratis sind:

• —Roboter ist Ringmodulation — das Signal multipliziert mit einer 55-Hz-Sinuswelle. Web Audio hat keinen Multiplikationsknoten, aber der Gain-Parameter eines Gain-Knotens ist ein Multiplikator, ihn mit einem Oszillator anzusteuern ist also genau Ringmodulation.
• —Wütende Wespe ist derselbe Trick bei 260 Hz, in ein schmales Band gequetscht. Schnelle Modulation in einen Bandpass ist reines Surren.
• —Telefonat ist das Sprachband von 300 bis 3400 Hz und sonst nichts. Dieses Band ist das, was ein Telefon wie ein Telefon klingen lässt; das ist eine Tatsache über das Telefonnetz, nicht über die Stimme.
• —In einer Höhle ist ein Feedback-Delay bei 220 ms mit abgesenkten Höhen, was ungefähr das ist, was eine echte Höhle mit dir macht.
• —Dämon ist eine große Formantverschiebung nach unten mit Waveshaper-Verzerrung obendrauf.

Das alles läuft im Browser, in dem Moment, in dem der Raum einen Dub abspielt. Nichts wird hochgeladen, nichts auf einem Server gerendert, und der Effekt kostet dasselbe, ob ihn eine Person hört oder zehn.

Das Designproblem unter dem Audioproblem

Achtzehn Filter gut klingen zu lassen, war am Ende die leichte Hälfte. Die schwere war, dass sie lange ein Dropdown waren: Du hast vor dem Aufnehmen ein Menü geöffnet, Dämon gewählt und Dämon bekommen.

Das ist eine Vorliebe, und eine Vorliebe ist etwas Einsames in einem Partyspiel. Niemand sonst im Raum hat etwas davon, niemand wird davon überrascht, und sobald du den gefunden hast, den du magst, öffnest du das Menü nicht mehr. Eine lustige Stimme, die du dir selbst ausgesucht hast, ist ein Kostüm, das du allein trägst.

Filter werden in PartyDub deshalb nicht mehr gewählt. Sie werden geworfen. Während einer Runde gibt es ein Regal mit achtzehn Tränken; du nimmst eine Flasche, nimmst eine Person und alle sehen zu, wie sie über den Bildschirm fliegt und auf deren Karte zerplatzt. Für den Rest der Runde kommt ihre Stimme durch diesen Filter — in der Kabine, während sie noch aufnimmt, und beim Enthüllen, wenn der Raum sie hört.

Die getroffene Person hat kein Mitspracherecht, was der ganze Sinn ist und das eine, was ein Dropdown nie kann.

Zwei Regeln, die verhindern, dass es nervt

1. Ein Trank hält eine Runde. In der nächsten Runde bist du wieder sauber, außer jemand gibt einen weiteren für dich aus. In Runde eins getroffen zu werden und dann eine Stunde lang Wespe zu bleiben ist eine Strafe; für eine Runde getroffen zu werden ist ein Gag.
2. Du erfährst es sofort. Wenn du deinen Take in der Kabine abhörst, hörst du, wie du tatsächlich klingst. Es zu verbergen, um die Überraschung zu retten, war verlockend und wäre schlechter gewesen — wer nicht weiß, dass er wie ein Dämon klingt, kann nicht darauf spielen, und eine Zeile, die du gerade heraus liest, weil du keine Ahnung hattest, ist ein Witz, der bei niemandem ankommt.

Einmal Werfen pro Person und Runde, sodass in einem Raum, in dem mehrere Leute Tränke halten, in einer Runde vier Flaschen gleichzeitig durch die Luft gehen können. Getroffen zu werden braucht kein Konto und keinen Plan: Der Witz funktioniert nicht, wenn der halbe Raum kein Ziel sein kann.

Was es kostet

Ein angemeldetes kostenloses Konto bekommt einen Trank im Monat. Unterstützer bekommen fünfzig. Einen statt keinen, weil eine Zahl auf einer Preisseite nichts bedeutet, bevor man einmal geworfen hat; einen statt fünf, weil Knappheit der ganze Grund ist, warum ein Trank überhaupt etwas wert ist. Gäste können getroffen werden, aber nicht werfen, aus dem unglamourösen Grund, dass ein monatliches Kontingent ein Konto braucht, an dem es hängt.

So oder so ist das Audio identisch. Jeder Filter sind ein paar Web-Audio-Knoten, die auf dem Rechner laufen, der den Dub abspielt — das kostet uns nichts und dich nichts. Das Kontingent sorgt nur dafür, dass ein geworfener Trank ein Ereignis bleibt und nicht Wetter wird.