Nvidia predstavila platformu koja treba spriječiti AI agente da izmaknu kontroli

Kompanija navodi da Open Agent Safety Platform uključuje softver koji "postavlja granice agentima", nakon niza objava vodećih AI kompanija o modelima koji su izlazili iz predviđenih okvira i provaljivali u sisteme drugih organizacija.

Ta otkrića pokrenula su burnu raspravu o sigurnosti naprednih sistema umjetne inteligencije, uključujući samopoboljšavajuće modele za koje dio stručnjaka strahuje da bi mogli izmaći ljudskoj kontroli.

Rukovodioci Nvidije rekli su na brifingu za medije da je novi sistem mogao spriječiti nedavni incident u kojem je roj OpenAI agenata autonomno hakovao AI startup Hugging Face.

Potpredsjednik kompanije za enterprise AI Justin Boitano kazao je:

"Prema onome što znamo, ova nova sigurnosna platforma mogla je zaustaviti proboj da se koristila u frontier laboratorijama za ranu evaluaciju modela."

Riječ je o incidentu koji je dodatno pojačao zabrinutost oko AI-ja, nakon čega su uslijedili slični slučajevi s OpenAI modelima, uključujući proboj na web stranicu australskog zdravstvenog odjela. Anthropic i Meta su također objavili da su njihovi AI sistemi samostalno hakovali druge organizacije.

Nvidijin softver OpenShell, koji je otvorenog koda, omogućava programerima da "formalno provjere da agent ima dovoljno ovlasti da obavi svoj posao i ništa više", rekao je Boitano.

Platforma uključuje i odvojeni sigurnosni sloj Sentry, koji radi na čipu, stalno prati aktivnosti AI agenata i može odmah intervenirati ako agent pokuša izaći izvan zadatog cilja.

Boitano je dodatno pojasnio odnos dva dijela sistema: "OpenShell upravlja postupcima agenta, a Sentry nezavisno nadzire i obuzdava sumnjivo ponašanje."

Više od 100 kompanija koristi sistem pri lansiranju, uključujući Microsoft, Perplexity, Accenture i JPMorgan Chase.