Mistral AI przedstawia Voxtral 3: nowe modele transkrypcji i syntezy mowy

Mistral AI zaprezentowało pakiet Voxtral 3, obejmujący nowe modele transkrypcji oraz syntezy mowy, a także dedykowany zestaw programistyczny do budowy agentów głosowych. Rozwiązanie umożliwia prowadzenie wielokrokowych konwersacji w czasie rzeczywistym w ponad 50 językach. Nowa rodzina jest dostępna poprzez europejskie interfejsy API oraz do bezpośredniego wdrożenia w prywatnych chmurach firmowych.

Analiza mowy

Technologia została stworzona z myślą o kompleksowej obsłudze interakcji głosowych w centrach kontaktowych, punktach obsługi oraz wirtualnych asystentach. Udostępniony pakiet SDK, zbudowany na bazie platformy LiveKit, integruje w pojedynczym strumieniu przetwarzania: rozpoznawanie głosu, wnioskowanie, wywoływanie narzędzi programistycznych oraz generowanie odpowiedzi. Cała pętla konwersacyjna wykonuje się w czasie poniżej jednej sekundy, co pozwala systemowi płynnie odpowiadać na słowa rozmówcy i reagować na nagłe przerwania wypowiedzi. Dzięki temu agenci głosowi potrafią interpretować złożone intencje użytkowników i automatycznie realizować zadania w połączonych systemach firmowych.

Wysoka precyzja oraz obsługa słownictwa branżowego

W obszarze transkrypcji producent udostępnił modele Voxtral Small Transcribe 3 oraz Voxtral Mini Transcribe 3 wyposażony w 4 miliardy parametrów. Narzędzia te obsługują ponad 50 języków, w tym 24 oficjalne języki Unii Europejskiej, zapewniając automatyczne rozpoznawanie mówców oraz podpowiadanie pojęć branżowych bez konieczności dodatkowego strojenia. Koszt wariantu Small wynosi 0,0040 dolara za minutę, natomiast wersja Mini została wyceniona na 0,0035 dolara za minutę. Z myślą o aplikacjach wymagających natychmiastowej reakcji przygotowano Voxtral Mini Transcribe Realtime 3, który gwarantuje opóźnienie poniżej 500 milisekund przy cenie 0,008 dolara za minutę.

Dostosowanie tonacji i akcentu do przebiegu rozmowy

Do generowania mowy służy Voxtral Mini TTS 3, obsługujący ponad 35 języków oraz 50 lokalnych dialektów. Rozwiązanie potrafi analizować kontekst wypowiedzi, samoczynnie dopasowując emocje, tempo i nacisk na poszczególne słowa. Opłata za korzystanie z syntezatora wynosi 13 dolarów za milion znaków. Do zastosowań profesjonalnych udostępniono również funkcję Pro Voice, która umożliwia stworzenie unikalnego profilu głosowego na podstawie zaledwie 30 minut nagrania audio.

Zachowanie suwerenności danych

Dedykowane środowisko programistyczne pozwala agentom głosowym na wykonywanie operacji w zewnętrznych systemach, w tym weryfikację tożsamości klientów, sprawdzanie rozliczeń czy rezerwację terminów spotkań. Integracja odbywa się poprzez protokoły SIP i WebRTC, co ułatwia połączenie z istniejącą telefonią oraz oprogramowaniem typu IVR. Dostęp do API agenta głosowego wykorzystującego Mistral Small 4 wyceniono na 0,04 dolara za minutę, zaś wariant z większym modelem kosztuje 0,08 dolara za minutę. Organizacje mogą korzystać z usługi za pośrednictwem europejskich serwerów producenta lub zainstalować pełny stos technologiczny we własnej infrastrukturze.