TS360 LockAI ma sprowadzić AI do poziomu gotowego produktu dla średnich i małych organizacji

Bezpieczeństwo danych, wysokie koszty, brak kompetencji i trudność w znalezieniu konkretnych zastosowań to bariery, które wciąż powstrzymują wiele średnich firm i instytucji przed praktycznym wykorzystaniem sztucznej inteligencji. Technology Solutions 360 chce odpowiedzieć na ten problem za pomocą TS360 LockAI, lokalnego rozwiązania łączącego sprzęt, oprogramowanie, RAG oraz gotowe procesy Magic Buttons. O tym, dlaczego firma zdecydowała się postawić właśnie na ten segment rynku, jak wygląda bezpieczeństwo i ekonomika rozwiązania oraz gdzie w tym modelu jest miejsce dla resellerów, IT Reseller rozmawia z Damianem Niklewiczem, Product Managerem w Technology Solutions 360.

Generatywna AI coraz częściej trafia do codziennej pracy, ale pomiędzy korzystaniem z publicznego chatbota a rzeczywistym wdrożeniem technologii w procesach organizacji pozostaje duża różnica. Szczególnie widoczna jest ona w średnich i małych przedsiębiorstwach, jednostkach samorządu terytorialnego i instytucjach publicznych, które dysponują własnym IT, ale zwykle nie mają zespołów AI, data science czy specjalistów od inżynierii promptów (prompt engineeringu). TS360 LockAI został zaprojektowany właśnie z myślą o takich odbiorcach. Ma działać lokalnie, korzystać z wiedzy organizacji i pozwalać użytkownikowi wykonywać powtarzalne zadania bez konieczności samodzielnego konstruowania promptów.

LockAI nie jest pozycjonowany jako rozwiązanie dla największych przedsiębiorstw, ale przede wszystkim dla średnich i małych firm oraz instytucji. Gdzie znaleźliście tę lukę na rynku i dlaczego właśnie ten segment ma dziś największy problem z praktycznym wdrożeniem AI?

O sztucznej inteligencji mówi dziś praktycznie każdy. Widać ją na konferencjach, w komunikacji firm, na LinkedInie. Samo zainteresowanie jest bardzo duże, ale nie zawsze przekłada się na realne wdrożenia.

Duże przedsiębiorstwa są w zupełnie innej sytuacji. Mają rozbudowane działy IT, niekiedy liczące setki osób, mogą pozyskać odpowiednie kompetencje i zbudować takie środowisko od podstaw, a następnie samodzielnie je rozwijać i utrzymywać. W wielu dużych bankach czy korporacjach proces ten trwa już od lat.

Problem zaczyna się niżej. Średnie i mniejsze organizacje również chcą korzystać z AI, bo widzą, że najwięksi zaczynają dzięki niej budować przewagę. Jednocześnie nie mają zasobów, aby zatrudnić osobny zespół zajmujący się wdrożeniem i utrzymaniem sztucznej inteligencji.

W naszych rozmowach z rynkiem regularnie powtarzały się cztery bariery. Pierwszą jest bezpieczeństwo danych, drugą koszty, trzecią brak odpowiednich kompetencji i zasobów, a czwartą brak konkretnych zastosowań. Czasami organizacja dostaje po prostu polecenie „wdrażamy AI”, ale później pracownik otrzymuje narzędzie i nie bardzo wie, co właściwie ma z nim zrobić. Chcieliśmy odejść od wdrażania sztucznej inteligencji dla samego faktu jej posiadania i zacząć od rozwiązywania konkretnych problemów biznesowych.

Damian Niklewicz. Product Manager, Technology Solutions 360 Sp. z o.o.

Jednym z najważniejszych argumentów za LockAI jest lokalne przetwarzanie danych. Samo on-premises nie oznacza jednak automatycznie bezpieczeństwa. Jak rozwiązaliście kwestie kontroli dostępu, uprawnień, aktualizacji oraz zarządzania danymi i modelami?

Rozwiązanie jest lokalne, ale równie istotne było dla nas odwzorowanie sposobu, w jaki organizacja zarządza dostępem do informacji. Możemy więc zbudować strukturę, w której przykładowo dział finansowy ma własne dokumenty, scenariusze i przestrzeń roboczą, do których sprzedaż nie ma dostępu, i odwrotnie. Każdy użytkownik posiada również własną, prywatną przestrzeń.

Administrator zarządza uprawnieniami i może je przyznawać, odbierać lub rozszerzać. System respektuje te ograniczenia także podczas pracy z AI. Jeżeli użytkownik nie ma prawa dostępu do określonych danych, model ich nie wykorzysta przy udzielaniu odpowiedzi. Architektura rozwiązania zakłada, że AI „widzi” wyłącznie informacje, do których dany użytkownik ma uprawnienia.

Możliwe jest oczywiście prowadzenie logów potrzebnych z punktu widzenia bezpieczeństwa czy raportowania, ale nie chodzi o to, aby administrator na bieżąco obserwował rozmowy konkretnych pracowników. Nasz zespół również nie ma potrzeby wglądu w to, co klient robi ze swoimi dokumentami. Całość znajduje się po jego stronie.

Aktualizacje przygotowujemy my, natomiast klient decyduje o ich wdrożeniu. To ważne szczególnie tam, gdzie zmiany w środowisku muszą przechodzić wewnętrzne procedury bezpieczeństwa.

LockAI wykorzystuje RAG i pracuje na wiedzy dostarczonej przez organizację. Jak w praktyce radzicie sobie z największym problemem generatywnej AI, czyli błędnymi lub niepełnymi odpowiedziami? Jak użytkownik może sprawdzić, na jakiej podstawie system udzielił odpowiedzi?

Tu bardzo istotny jest sposób wykorzystania RAG i odpowiednie przygotowanie scenariusza. LockAI ma dwa podstawowe tryby pracy: klasyczny czat oraz RAG, ale dla zwykłego użytkownika najważniejszą funkcją mają być Magic Buttons.

Podczas przygotowywania takiego procesu definiujemy między innymi źródła wiedzy oraz parametry odpowiedzi. W scenariuszach, w których najważniejsza jest ścisła zgodność z dokumentami, możemy bardzo mocno ograniczyć swobodę generowania odpowiedzi. Jeżeli system nie znajduje informacji pozwalających odpowiedzieć na pytanie, oczekiwanym rezultatem jest komunikat o braku danych w źródłach zamiast próby uzupełniania braków.

Drugi element to możliwość weryfikacji wyniku. Użytkownik otrzymuje informację, z którego dokumentu pochodzi dana odpowiedź i do którego fragmentu źródła system się odwołuje. Może więc sam sprawdzić, czy wygenerowana treść rzeczywiście znajduje potwierdzenie w dokumentacji. To szczególnie ważne w zastosowaniach administracyjnych, prawnych czy compliance, gdzie samo otrzymanie dobrze brzmiącej odpowiedzi jest niewystarczające.

Magic Buttons mają sprawić, że użytkownik nie musi umieć pisać promptów. Na ile jest to zamknięty zestaw gotowych scenariuszy, a na ile platforma, na której klient lub jego partner może budować własne procesy?

Magic Buttons są jedną z najważniejszych funkcjonalności LockAI i zdecydowanie nie traktujemy ich jako zamknięty katalog. Dostarczamy klientowi zestaw przygotowany pod jego organizację i podczas wdrożenia możemy wspólnie ustalić, które scenariusze powinny znaleźć się w systemie od początku. Później można jednak tworzyć następne.

Sposób zarządzania tą funkcją zależy od organizacji. Możemy pozwolić na tworzenie Magic Buttons wszystkim użytkownikom, ale można również ograniczyć takie uprawnienia wyłącznie do administratorów, działu IT czy wybranej grupy pracowników.

Sam proces jest stosunkowo prosty. Najpierw testujemy zapytanie i wypracowujemy najlepszy sposób wykonania zadania. Później zapisujemy prompt, źródła danych i pozostałe parametry jako Magic Button. Od tej chwili użytkownik nie musi wiedzieć, jak skonstruowany jest prompt – naciska przycisk i uruchamia gotowy, wcześniej sprawdzony proces.

To również bardzo duże pole do działania dla partnerów. Mogą razem z klientem identyfikować kolejne procesy, budować Magic Buttons i rozwijać środowisko w miarę pojawiania się nowych potrzeb.

Mocno podkreślacie przewidywalność kosztów i brak rozliczania tokenowego. Jak wygląda rzeczywisty całkowity koszt posiadania LockAI? W którym momencie taki model zaczyna być korzystniejszy od usług chmurowych?

Cena startowa to 350tyś PLN, mówimy to o pełnych kosztach, w skład, w który wchodzi infrastruktura, która teraz jest najbardziej nieprzewidywalna – sytuacja na rynku części-, oraz wszystkie pozostałe elementy.
To zakup jednorazowy. W ramach wsparcia utrzymujemy zarówno sprzęt, jak i oprogramowanie, pomagamy w przypadku awarii oraz dostarczamy aktualizacje. Nie ma natomiast osobnego kosztu za każde zapytanie czy kolejny wykorzystany token.

Nie da się więc wskazać jednego momentu, po którym LockAI zawsze staje się tańszy od chmury. Wszystko zależy od intensywności wykorzystania. Im więcej użytkowników, zapytań i procesów, tym większe znaczenie ma brak modelu tokenowego. Nie nakładamy ograniczenia na liczbę użytkowników, zapytań ani tworzonych Magic Buttons. Jeżeli rozwiązanie jest intensywnie wykorzystywane przez wiele osób i działa praktycznie przez cały czas, ekonomika może wyglądać zupełnie inaczej niż przy okazjonalnym użyciu kilku zapytań dziennie.

Rynek modeli językowych rozwija się bardzo szybko. Na ile LockAI jest niezależny od konkretnego LLM i infrastruktury? Czy klient będzie mógł w przyszłości zmienić model bez przebudowy całego środowiska?

W przypadku LockAI świadomie przyjęliśmy model gotowego appliance. Nie chcemy, aby klient musiał zastanawiać się nad liczbą kart graficznych, konkretną wersją modelu czy doborem poszczególnych elementów infrastruktury. Dostaje kompletny produkt, który został przez nas przygotowany i przetestowany jako całość.

Obecna wersja wykorzystuje polski model językowy Bielik.AI. Zależy nam jednak przede wszystkim na rozwiązywaniu problemów biznesowych, a nie na sprzedaży specyfikacji technicznej. LockAI jest konkretną konfiguracją sprzętu i oprogramowania i nie zakładamy, że klient kupuje appliance, a następnie samodzielnie wymienia w nim LLM.

Nie oznacza to, że nie możemy zbudować środowiska wykorzystującego inny model. Jeżeli klient ma bardzo konkretne wymagania i z jakiegoś powodu potrzebuje innego LLM, możemy podejść do takiego projektu indywidualnie. Wtedy jednak przestajemy mówić o standardowym LockAI i przechodzimy w kierunku rozwiązania projektowanego pod konkretne wymagania organizacji.

LockAI od początku powstawał z myślą o modelu Tier 2. Jaka będzie w praktyce rola resellera lub integratora i gdzie partner może budować własną wartość oraz marżę?

Najprostsza odpowiedź brzmi: przede wszystkim w tradycyjnym biznesie produktowym. Chcemy, aby partner mógł sprzedawać LockAI podobnie jak inne rozwiązania technologiczne i nie musiał w tym celu tworzyć własnego zespołu specjalistów AI.

Partner zna klienta, jego środowisko i problemy biznesowe. Jego zadaniem jest zidentyfikowanie potrzeby i zbudowanie relacji. My dostarczamy produkt, kompetencje techniczne, wsparcie oraz gwarancję. Dzięki temu reseller nie musi być ekspertem od modeli językowych, infrastruktury GPU czy samodzielnego programowania rozwiązań AI.

Na tym jednak możliwości się nie kończą. Partner może zarabiać na samym wdrożeniu, a później na rozwijaniu środowiska klienta, budowie kolejnych Magic Buttons, szkoleniach czy pomocy w utrzymaniu rozwiązania. Planujemy również szkolenia i certyfikację partnerów obejmujące zarówno wdrażanie LockAI, jak i tworzenie własnych procesów.

Najważniejsza jest dla nas powtarzalność tego biznesu. Nie chcemy przedstawiać każdego wdrożenia AI jako wielkiego, skomplikowanego projektu wymagającego zespołu ekspertów i miesięcy pracy. Chcemy, żeby partner mógł potraktować sztuczną inteligencję jako kolejny obszar swojego portfolio, wdrożyć ją u jednego klienta, zdobyć doświadczenie, a następnie wykorzystać te kompetencje w następnych projektach.

AI jako produkt, a nie eksperyment

TS360 LockAI jest pierwszym elementem szerszego kierunku rozwoju oferty Technology Solutions 360 w obszarze sztucznej inteligencji. Firma pracuje już nad kolejnymi rozwiązaniami, ale nie chce sprowadzać swojej strategii do prezentowania kolejnych modeli czy parametrów infrastruktury. Punktem wyjścia mają pozostać konkretne zastosowania biznesowe oraz możliwość dostarczenia ich klientom przez istniejący kanał partnerski.

W tym ujęciu LockAI jest próbą przeniesienia generatywnej AI z etapu eksperymentów i pojedynczych chatbotów do świata klasycznych projektów IT, z określonym zastosowaniem, kontrolą dostępu, przewidywalnym modelem kosztowym i partnerem, który może wdrożyć rozwiązanie, rozwijać je oraz utrzymywać razem z klientem.