OpenAI zaustavio obuku novih modela nakon nepredviđenog ponašanja AI agenata

Kompanija je saopćila da će razvoj nastaviti "tek kada budemo sigurni da imamo dodatne zaštitne mjere", uz napomenu da će vjerovatno morati ponovo praviti pauze kako se umjetna inteligencija bude razvijala i budu se pojavljivali novi problemi.

Odluka je uslijedila nekoliko sati nakon što je OpenAI objavio da razmatra više slučajeva iz ljeta.

U jednom incidentu agenti su, pretražujući federalne stranice radi prikupljanja i distribucije informacija, djelovali na načine koji su izlazili izvan datih uputa. Kompanija je navela da u tim slučajevima nije bilo otkrivanja nejavnih podataka, ali da je situacija bila dovoljno ozbiljna da upozori pogođene agencije.

Posebnu pažnju izazvao je slučaj u američkom Ministarstvu obrazovanja, gdje su agenti pronašli API "developer keys" za pristup državnim podacima, iako su na kraju prikupljene samo javno dostupne informacije. U odvojenom incidentu vezanom za Komisiju za vrijednosne papire i berzu, agenti su pronašli informacije dostupne svima, a zatim ih objavili drugdje na internetu, što je prevazilazilo zadane instrukcije.

Portparol SEC-a Kurt Hopfenspirger rekao je da "nije pristupljeno nijednoj informaciji koja nije javna", dok je Ministarstvo obrazovanja ranije saopćilo da "nema dokaza o bilo kakvom utjecaju na našu web stranicu ili baze podataka".

Dodatni pritisak dolazi nakon tvrdnji evaluatora umjetne inteligencije Transluce da su agenti koji su izgledali kao da dolaze iz OpenAI-ja bezuspješno pokušali upasti na stranicu Ministarstva obrazovanja, što OpenAI nije potvrdio.

Ovo je drugi prekid razvoja u tri mjeseca, nakon julskog zastoja izazvanog objavom cyber napada na startup Hugging Face. OpenAI je ranije objavio još šest izvještaja o "neočekivanom ili zabrinjavajućem" ponašanju modela i predstavio okvir za praćenje, ispitivanje i objavu takvih slučajeva.