Program sztucznej inteligencji Microsoftu potrafi sklonować twój głos na podstawie 3-sekundowego nagrania audio

Nowe rozwiązanie sztucznej inteligencji od Microsoftu potrafi sklonować twój głos po usłyszeniu, jak się wypowiadasz przez zaledwie 3 sekundy.

Program, nazwany VALL-E, został zaprojektowany do przetwarzania tekstu na mowę. Zespół naukowców z Microsoftu stworzył go, dysponując systemem, który przesłuchał 60 000 godzin narracji angielskich audiobooków z ponad 7 000 różnych głośników w celu uzyskania naturalnie brzmiącej mowy. Ta próbka jest setki razy większa niż to, na czym opierają się inne algorytmy do przetwarzania tekstu na mowę.

Zespół Microsoftu opublikował stronę internetową, która zawiera kilka demówek VALL-E w akcji. Jak można usłyszeć, program AI może nie tylko sklonować czyjś głos za pomocą 3-sekundowego klipu audio, ale także manipulować sklonowanym głosem, aby powiedzieć wszystko, co jest pożądane. Ponadto program może replikować emocje w głosie osoby lub być skonfigurowany do różnych stylów mówienia.

Klonowanie głosu nie jest niczym nowym. Jednak podejście Microsoftu wyróżnia się tym, że umożliwia łatwe odtworzenie głosu dowolnej osoby przy użyciu jedynie krótkiego fragmentu danych audio. Nietrudno więc wyobrazić sobie, że ta sama technologia może być źródłem cyberprzestępczości — co zespół Microsoftu uznaje za potencjalne zagrożenie.

„Ponieważ VALL-E może syntetyzować mowę, która zachowuje tożsamość mówcy, może nieść ze sobą potencjalne ryzyko niewłaściwego wykorzystania modelu, takiego jak spoofing identyfikacji głosu lub podszywanie się pod konkretnego mówcę” – napisali badacze w swoim artykule. Zespół zauważa, że może być możliwe zbudowanie programów, które mogą „odróżnić, czy klip audio został zsyntetyzowany przez VALL-E”.

VALL-E interpretuje mowę audio jako „dyskretne tokeny”, a następnie odtwarza token, aby mówić z innym tekstem. „VALL-E generuje odpowiednie tokeny akustyczne uwarunkowane przez 3-sekundowe nagrania próbek głosu” – napisali badacze. „Wreszcie, wygenerowane tokeny akustyczne są używane do syntezy ostatecznego kształtu fali z odpowiednim dekoderem kodeka neuronowego”.

Technologia ta jest jednak daleka od doskonałości. W swoim artykule badawczym zespół Microsoftu zauważa, że VALL-E może czasami zmagać się lub nie wymawiać pewnych słów. W innych przypadkach, słowa mogą brzmieć jak żargon, sztucznie zsyntetyzowane, robotyczne lub po prostu tonalnie nietrafione.