Ile naprawdę kosztuje firmę AI? Wonderful wprowadza AI Gateway – narzędzie do kontroli wydatków i wykorzystania modeli

Wraz z rosnącą liczbą narzędzi i agentów AI w firmach pojawia się nowy problem: organizacje nie zawsze mają pełną wiedzę o tym, kto korzysta z poszczególnych modeli, w jakim celu, a także jakie generuje to koszty. System AI Gateway firmy Wonderful zapewnia warstwę kontrolną pozwalającą monitorować wykorzystanie modeli AI w organizacji, zarządzać dostępem do nich i budżetami oraz analizować koszt konkretnych zadań wykonywanych z pomocą sztucznej inteligencji.

W ostatnich latach firmy mierzą się z rosnącą liczbą aplikacji AI, co przekłada się na coraz trudniejsze kontrolowanie ich wykorzystania, kosztów i zasad dostępu. Poszczególne zespoły korzystają z różnych narzędzi i modeli, a każde kolejne zapytanie generuje koszty. Dla dyrektorów finansowych oznacza to nowe wyzwanie, bo sama informacja o wysokości rachunku za AI nie odpowiada na najważniejsze pytanie, czyli co firma otrzymuje w zamian za poniesiony koszt.

W pierwszym etapie adopcji AI firmy koncentrowały się przede wszystkim na tym, gdzie można ją wykorzystać. Teraz dochodzimy do kolejnego etapu, w którym zarządzający powinni wiedzieć nie tylko, ile organizacja wydaje na sztuczną inteligencję, ale również gdzie powstaje ten koszt i jaką wartość przynosi. Nie chodzi przy tym o to, żeby za wszelką cenę wydawać na AI mnie – bardziej o możliwość świadomego zwiększania inwestycji tam, gdzie technologia rzeczywiście przynosi efekty i ograniczania wydatków tam, gdzie ich nie uzasadnia – powiedział Paweł Osterreicher, szef polskiego oddziału Wonderful.

Wonderful AI Gateway pozwala analizować wydatki na AI według m.in. działu, zespołu, użytkownika, źródła, zadania i wykorzystanego modelu. System pokazuje bieżące wydatki, prognozuje ich poziom w odniesieniu do budżetu i sygnalizuje anomalie. Koszty mogą być również analizowane na poziomie pojedynczej sesji, co pozwala sprawdzić ile kosztowało wykonanie konkretnego zadania, np. obsługa sprawy klienta, analiza dokumentu czy wykonanie zadania programistycznego.

Jedna warstwa kontroli firmowego AI

AI Gateway działa na styku wykorzystywanych w przedsiębiorstwie narzędzi AI oraz dostawców modeli, co pozwala monitorować i zarządzać ruchem pochodzącym z różnych aplikacji i zespołów z jednego miejsca. Z perspektywy CIO oznacza to możliwość stworzenia wspólnych zasad korzystania z AI w organizacji – jakie modele są dostępne dla konkretnych zespołów i użytkowników, ustalać limity wydatków oraz definiować działania podejmowane po ich osiągnięciu. Możliwe jest również blokowanie zastosowań niezgodnych z polityką organizacji oraz usuwanie danych wrażliwych przed przekazaniem zapytania do zewnętrznego dostawcy modelu.

Najdroższy model nie zawsze potrzebny

Kolejnym obszarem optymalizacji jest wybór modelu AI. Użytkownik może sięgać po najbardziej zaawansowany model nawet wtedy, gdy charakter zadania tego nie wymaga, co przekłada się na zwiększenie kosztu jego wykonania. AI Gateway wykorzystuje mechanizm tzw. dynamicznego przekierowania, który analizuje rodzaj i złożoność zapytania, a następnie kieruje je do najbardziej efektywnego kosztowo modelu zdolnego wykonać dane zadanie przy zachowaniu wymaganej jakości. Wybór odbywa się wyłącznie w ramach modeli zatwierdzonych wcześniej dla danego użytkownika, zespołu lub zadania. Decyzje podejmowane przez system są rejestrowane, a w przypadku niedostępności jednego dostawcy ruch może zostać automatycznie skierowany do modelu zapasowego.

Upowszechnienie agentów AI zmienia charakter zarządzania technologią w przedsiębiorstwie. Oprogramowanie ma nie tylko swoją cenę licencyjną, lecz samo może generować kolejne koszty w zależności od wykonywanej pracy. Dlatego organizacje potrzebują mechanizmów, które pozwalają połączyć trzy rzeczy: widoczność kosztów, kontrolę wykorzystania AI oraz informację o tym, jakie zadania zostały dzięki tym wydatkom wykonane – dodał Paweł Osterreicher.

AI Gateway jest częścią systemu Wonderful AI OS i jest obecnie dostępny dla przedsiębiorstw. Rozwiązanie może obejmować narzędzia Wonderful, rozwiązania zewnętrznych dostawców oraz inne aplikacje AI podłączane poprzez moduły SDK.