OpenAI buduje zespół, który będzie zapobiegał zagrożeniom
20 / grudnia / 23
Goście: 667
★★★★
OpenAI zebrało zespół zajmujący się identyfikacją i zapobieganiem zagrożeniom związanym ze sztuczną inteligencją. Może to doprowadzić do zawieszenia uruchomienia modelu AI, jeśli zostanie on uznany za zbyt niebezpieczny.
Ogłoszenie to pojawia się zaledwie miesiąc po zwolnieniu szefa twórcy interfejsu konwersacyjnego ChatGPT, Sama Altmana, który został przywrócony do pracy kilka dni później.
Według kilku amerykańskich mediów, członkowie zarządu skrytykowali go za opowiadanie się za przyspieszonym rozwojem OpenAI, nawet jeśli oznaczało to unikanie niektórych pytań dotyczących możliwych zwolnień AI.
Zespół ds. gotowości będzie kierowany przez informatyka Alexandra Madri. Pracował on jako profesor na MIT, ale wziął urlop. Tak mówi post opublikowany przez naukowca na stronie X (dawniej Twitter) w poniedziałek.
Prace grupy będą oparte na ramach roboczych określonych w dokumencie opublikowanym w poniedziałek. Określa on również zakres działań i procedur.
Nowa grupa skupi się na tak zwanych "modelach granicznych" (frontier models). Są one obecnie w fazie rozwoju, ale mają potencjał, aby przewyższyć najbardziej zaawansowane programy sztucznej inteligencji.
"Wierzymy, że naukowe badanie zagrożeń katastroficznych związanych z AI nie jest dopracowane do perfekcji" - wyjaśniają w dokumencie przedstawiciele OpenAI.
Stworzenie ram powinno "pomóc w wypełnieniu tej luki". Zespół oceni każdy nowy model i przypisze mu poziom ryzyka w czterech głównych kategoriach.
Pierwsza z nich dotyczy cyberbezpieczeństwa i zdolności modelu do przeprowadzania cyberataków na dużą skalę.
Druga to skłonność oprogramowania do tworzenia mieszanin chemicznych, organizmów (takich jak wirusy) lub broni jądrowej, które mogłyby zaszkodzić ludziom.
Trzecia kategoria dotyczy zdolności modelu do przekonywania, tj. stopnia, w jakim może on wpływać na ludzkie zachowanie.
Ostatnia kategoria ryzyka dotyczy potencjalnej autonomii modelu, na przykład określenia, czy może on zostać eksfiltrowany. Oznaczałoby to, że model byłby poza kontrolą programistów, którzy go stworzyli.
Po zidentyfikowaniu zagrożeń zostaną one przedstawione Safety Advisory Group (SAG), nowemu organowi, który przedstawi zalecenia Samowi Altmanowi lub wyznaczonej przez niego osobie. Szef OpenAI zdecyduje następnie o zmianach, które należy wprowadzić w modelu, aby złagodzić związane z nim ryzyko. Zarząd będzie na bieżąco informowany i będzie mógł zmienić decyzję kierownictwa.
Dla Twojego bezpieczeństwa przygotowaliśmy pełną listę pozbawionych skrupułów brokerów..
