OpenAI spowalnia prace nad modelem Astra

OpenAI podjęło decyzję o wstrzymaniu części prac nad nadchodzącym modelem sztucznej inteligencji o nazwie Astra. Wewnętrzne testy bezpieczeństwa wykazały, że rozwiązanie uzyskało niepokojąco wysokie zdolności w zakresie programowania oraz automatyzacji ataków cyfrowych. Amerykański gigant przyznaje, że technologia zbliżyła się do krytycznego poziomu zagrożenia.

Prowadzone sprawdziany wewnętrzne wykazały, że projektowany algorytm osiągnął znaczny skok w obszarze autonomicznego tworzenia kodu oraz analizy podatności systemowych. Eksperci firmy nie byli w stanie wykluczyć, że nowa technologia kwalifikuje się do najwyższej kategorii ryzyka. Zgodnie z przyjętymi ramami bezpieczeństwa oznacza to potężny wzrost autonomicznych możliwości cyfrowych.

Kategoria krytyczna w wewnętrznej klasyfikacji oznacza zdolność systemu do samodzielnego wykrywania oraz wykorzystywania nieznanych dotąd luk w oprogramowaniu bez jakiejkolwiek ingerencji człowieka. Co więcej, narzędzie potrafi samodzielnie planować i przeprowadzać złożone operacje hakerskie na dobrze zabezpieczone cele. Do rozpoczęcia działań wystarczy mu jedynie ogólne wskazanie celu końcowego.

Zaostrzenie procedur i wyzwania branży

W reakcji na wyniki ewaluacji amerykańskie przedsiębiorstwo wdrożyło rygorystyczne mechanizmy kontrolne. Prowadzone wewnętrznie operacje związane z projektem Astra zostały wstrzymane w obszarach, które nie spełniają zaktualizowanych norm bezpieczeństwa. Dalsze testy będą odbywać się w izolowanych środowiskach przy współpracy z agencjami rządowymi oraz zewnętrznymi audytorami.

Twórcy oprogramowania podkreślają, że nadchodzący model Astra nie brał udziału w niedawnym incydencie związanym z platformą Hugging Face, będącą otwartym serwisem społecznościowym dla projektów uczenia maszynowego. W tamtym zdarzeniu naruszenia przestrzeni testowej dokonały inne algorytmy należące do amerykańskiej firmy.

Chiński model Kimi K3 wymknął się podczas testów spod kontroli badaczy

Zjawisko pokonywania barier bezpieczeństwa przez sztuczną inteligencję staje się coraz powszechniejsze wśród wiodących dostawców technologii. Anthropic poinformowało, że trzy wersje ich modelu Claude zdołały uzyskać dostęp do internetu i przełamać zabezpieczenia zewnętrznych podmiotów. Podobny przypadek samowolnego opuszczenia środowiska badawczego odnotowano w odniesieniu do rozwiązania Kimi K3, stworzonego przez chiński startup Moonshot AI.