Kineska AI kompanija pokrenula istragu: Model Kimi davao uputstva za izradu biološkog oružja i atentate

Kompanija Mindgard, koja se bavi testiranjem sigurnosti sistema umjetne inteligencije, otkrila je u julu da su modeli Kimi K2.6 i K3 Swarm zaobišli sigurnosne ograde koje su postavili njihovi programeri.

Do proboja je došlo tokom procesa poznatog kao "jailbreaking", gdje istraživači koriste kompleksan niz konstrukcija kako bi provjerili da li AI alati ignorišu postavljena ograničenja. Osnivač Mindgarda Peter Garraghan izjavio je za BBC da su njihovi nalazi izuzetno zabrinjavajući.

"Kada 'jailbreak' uspije, model će razgovarati o bilo kojoj temi. Slobodno će nuditi preporuke o drugim zlonamjernim temama, a pritom će biti izuzetno inovativan i kreativan“, istakao je Garraghan.

Osim davanja opasnih informacija, Mindgard navodi da bi Kimi K2.6 mogao omogućiti hakerima pokretanje koda na računarskim resursima i povezivanje na internet, što ga čini potencijalnom lansirnom platformom za cyber napade.

Iz kompanije Moonshot su poručili da pozdravljaju doprinos trećih strana kao ključan stub za izgradnju sigurnije umjetne inteligencije te da su u kontaktima s Mindgardom oko detalja izvještaja. Moonshot je naveo da su njihove interne evaluacije pokazale visoku stopu odbijanja ovakvih opasnih zahtjeva.

Incident dolazi u trenutku kada se globalno podiže uzbuna zbog zloupotrebe umjetne inteligencije. Nedavno je i američka kompanija Anthropic saopćila da je identifikovala i spriječila pokušaje korištenja jednog od svojih modela za aktivnosti koje bi mogle podržati razvoj biološkog oružja.