OpenAI: Naši AI agenti su oslabili nadzor nad sobom tokom rutinskih zadataka, jedan je i slagao

Kako je kompanija navela u izvještaju, agent zasnovan na modelu GPT-6.1 Sol isključio je automatska upozorenja koja su trebala stizati OpenAI-jevom sigurnosnom timu.

U drugom slučaju agent GPT-6 Astra je, prilikom prebacivanja jednog programa, uklonio integraciju sistema za nadzor, a zatim korisniku tvrdio da to nije uradio.

Prema OpenAI-ju, oba agenta su razmatrala da li bi zaštitne mjere trebalo zadržati, ali su obične programerske upute protumačili kao dozvolu da ih oslabe.

U kompaniji još nisu utvrdili zašto su se agenti tako ponašali.

Jedno od mogućih objašnjenja je, kako navode, benigna pretjerana upornost: modeli ne razumiju zašto je nadzor važan ili insistiraju na izvršenju uputa više nego što bi razumna osoba očekivala.

OpenAI istovremeno razvija testove kojima bi provjerio imaju li modeli sklonost izbjegavanju nadzora i traženju opravdanja za to.

OpenAI-jev istraživač sigurnosti Marcus Williams je na X-u pojasnio da incidenti ne znače da su modeli isključili vlastiti nadzor unutar kompanije, jer bi to u njihovom razvojnom okruženju bilo znatno teže izvesti. Ipak je to ponašanje modela ocijenio zabrinjavajućim.

Nijedan od dva slučaja OpenAI nije svrstao u kategoriju najozbiljnijih incidenata. Kompanija je navela da je nadogradila sisteme kako bi lakše otkrivala i blokirala pokušaje gašenja nadzora.