Microsoft udostępnia aplikację mobilną Seeing AI, która ma pomóc użytkownikom niedowidzącym

Podczas Microsoft Skill Summit firma Microsoft udostępniła aplikację mobilną Seeing AI na urządzenia z systemem Android i Apple. 

Ta mówiąca aplikacja pomaga osobom niedowidzącym dostrzegać otaczający ich świat poprzez czytanie tekstu, opisywanie scen i identyfikację osób, obiektów, kolorów i walut przy użyciu technologii Azure AI.

Technologie sztucznej inteligencji często wymagają wydajnych komputerów do analizowania monitów użytkowników i reagowania na nie, a niewiele urządzeń mobilnych jest wyposażonych w chipy AI, takie jak Snapdragon 8 Gen 3 w najpopularniejszych smartfonach z 2024 r. Dlatego też większość monitów jest przekazywana do usług online, takich jak OpenAI (ChatGPT) lub Microsoft (Azure AI, CoPilot), gdzie żądania są obsługiwane przez wydajniejsze komputery w chmurze.

Microsoft Seeing AI wykorzystuje Azure GPT-4 Turbo z Vision AI, aby umożliwić reagowanie i dokładne odpowiedzi na dowolnym smartfonie wyposażonym w następujące funkcje:

• Zamiana tekstu na mowę – aplikacja odczytuje wyświetlony tekst.
• Krótszy tekst można odczytać w trybie kamery na żywo, dłuższy tekst jest fotografowany, konwertowany na tekst i na koniec czytany na głos.
• Czytnik kodów kreskowych – aplikacja wyszukuje produkty na podstawie kodu UPC.
• Scena – aplikacja opisuje scenę, którą widzi, skupiając się na najbliższym obiekcie.
• Osoba – aplikacja opisuje osobę, którą widzi, identyfikując emocje na jej twarzy.
• Waluta – aplikacja identyfikuje rachunki, które widzi w 17 krajach.
• Kolor – aplikacja identyfikuje kolor w środku zdjęcia na żywo.
• Pismo odręczne – aplikacja konwertuje odręczne notatki na tekst.
• Jasność – aplikacja emituje dźwięk o różnej wysokości w zależności od jasności.

Aplikacja jednak nie jest tak kompetentna w opisie jak człowiek. Na przykład Seeing AI poprawnie identyfikuje maszynkę do golenia w puszce, ale nie jest w stanie zidentyfikować sortownika monet.