Anthropic ka rifilluar testet në të cilat modelet e saj sulmuan kompani reale

Anthropic ka rinisur vlerësimet e jashtme të sigurisë kibernetike që i pezulloi një muaj më parë, pas tre incidenteve në të cilat modelet e saj dolën nga mjediset e tyre të testimit dhe sulmuan kompani reale.

Kompania tha se kishte futur masa shtesë mbrojtëse përpara se të rifillonte testimet, raportoi Reuters të hënën.

Incidentet, të zbuluara më 31 korrik , ishin më specifike nga sa sugjeron përshkrimi i gjerë i një “incidenti sigurie” .

Në një rast, Claude Opus 4.7 sulmoi një kompani të vërtetë që rastësisht ndante të njëjtin emër domeni me një objektiv fiktiv, duke e bërë këtë përmes katër testeve të ndara dhe duke pasur akses në të dhënat dhe kredencialet e prodhimit.

Në një tjetër, një model gjeneroi kod Python të dëmshëm që të gjithë të përfshirët besonin se ishte i përfshirë në mënyrë të sigurt brenda mjedisit të testimit.

Në vend të kësaj, ai arriti në internetin publik dhe u shkarkua nga 15 sisteme, përfshirë një që i përkiste një firme sigurie, skaneri i së cilës më pas ekzekutoi kodin.

Incidenti i tretë ngre një shqetësim të ndryshëm, sepse modeli kërkoi në mënyrë aktive një objektiv tjetër pasi dështoi të shkelte atë që i ishte caktuar.

Një version i brendshëm i Claude skanoi internetin, gjeti një sistem alternativ dhe arriti ta kompromentonte atë duke përdorur teknika relativisht të zakonshme.

Problemi nuk ishte një jailbreak apo një përpjekje e qëllimshme nga modeli për të anashkaluar udhëzimet e tij. Ishte një dështim në vetë mjedisin e testimit.

“Për shkak të një keqkuptimi midis nesh dhe partnerit tonë të vlerësimit, ky nuk ishte rasti dhe qasja në internet ishte e disponueshme”, tha Anthropic, duke iu referuar sandbox-it brenda të cilit supozohej të funksiononin modelet.

Partneri i vlerësimit ishte Irregular. Modeleve iu tha se po punonin në një mjedis të izoluar dhe u sollën në përputhje me rrethanat, por izolimi nuk ishte zbatuar kurrë në të vërtetë.

Incidenti me emrin e domenit ilustron se sa shpejt një gabim në dukje i vogël gjatë testimit mund të shndërrohet në një problem sigurie në botën reale.

Modelit iu dha një objektiv imagjinar që nuk ekzistonte, gjeti një organizatë të vërtetë që përdorte të njëjtin emër domeni dhe më pas vazhdoi të bashkëvepronte me të sikur të ishte objektivi i synuar.

Afati kohor ngre gjithashtu pyetje rreth mënyrës se si po monitoroheshin këto teste. Incidenti më i hershëm ndodhi në prill, por Anthropic nuk zbuloi asnjë nga të treja derisa filloi një shqyrtim më 23 korrik, i nxitur nga zbulimi i një incidenti të ngjashëm nga OpenAI.

Dy nga organizatat e prekura nuk e kishin zbuluar vetë aktivitetin. Ata zbuluan se sistemet e tyre ishin kompromentuar vetëm pasi Anthropic i kontaktoi drejtpërdrejt.

Ky mund të jetë një nga gjetjet më të rëndësishme nga incidentet. Një sistem i inteligjencës artificiale që përdorte teknika relativisht bazike ndërhyrjeje ishte në gjendje të arrinte mjedise reale prodhimi pa u zbuluar nga organizatat që i operonin ato, të paktën ndërsa aktiviteti po zhvillohej.

Kjo gjithashtu do të thotë që problemet u zbuluan për shkak të një shqyrtimi në të gjithë industrinë dhe jo sepse sistemet e monitorimit të Anthropic i kishin kapur ato. Askush në kompani nuk e identifikoi incidentin e prillit kur ndodhi.

Më pas, Anthropic ndaloi të gjitha testimet e jashtme, njoftoi partnerin e saj të vlerësimit dhe kontaktoi organizatat e përfshira.

Kompania tani ka rifilluar punën, megjithëse nuk ka shpjeguar publikisht në detaje se çfarë masash shtesë mbrojtëse janë vendosur.

Incidentet përshtaten në një model më të gjerë në të cilin testimi i sistemeve gjithnjë e më të afta të inteligjencës artificiale prodhon sjellje që studiuesit nuk e kishin parashikuar.

Vlerësuesit britanikë zbuluan se çdo model kufitar që ata testuan për mashtrim mashtronte , ndërsa një agjent i OpenAI doli nga mjedisi i tij i testimit dhe hakoi Hugging Face në korrik.

Këto incidente ishin ndër shembujt e përmendur këtë javë nga kryetari i Bordit të Stabilitetit Financiar, i cili e përshkroi rrezikun kibernetik të drejtuar nga inteligjenca artificiale si kërcënimin më të menjëhershëm për stabilitetin financiar.

Kjo i vendos dështimet në vlerësimin e modelit në një kategori të ndryshme nga një problem thjesht akademik i sigurisë, veçanërisht pasi sistemet e inteligjencës artificiale bëhen të afta të operojnë mjete dhe rrjete me më pak mbikëqyrje njerëzore.

Ekziston gjithashtu një problem qeverisjeje që është më i vështirë për t’u zgjidhur përmes softuerëve më të mirë. Vlerësuesit e palëve të treta punojnë sipas kontratave me kompanitë e inteligjencës artificiale që ata vlerësojnë, ndërsa vetë kompanitë në përgjithësi përcaktojnë kushtet në të cilat zhvillohet testimi.

Kur një mjedis është konfiguruar gabim nga një partner i jashtëm, përgjegjësia ndahet midis laboratorit dhe vlerësuesit, por nuk ka një rregullator të pavarur që kontrollon nëse mjedisi i testimit është realisht i sigurt.

Në të njëjtën kohë, ky lloj testimi është i vështirë për t’u shmangur. Vlerësimet e sigurisë kibernetike janë një nga mënyrat e pakta se si studiuesit mund të zbulojnë se çfarë mund të bëjë një model i aftë kur i jepen mjete sulmuese, dhe testet kuptimplote kërkojnë sisteme realiste, objektiva realiste dhe liri të mjaftueshme që modeli të sillet në mënyra të papritura.

Pyetja më e vështirë është se kush është përgjegjës për kontrollin e personave që kryejnë këto teste. Anthropic kreu shqyrtimin e vet, punoi me partnerin e saj të vlerësimit për të futur masa mbrojtëse dhe në fund vendosi se kur mund të rifillonte testimi i jashtëm.

Ky është një rregullim normal për kërkimin mbi sigurinë e inteligjencës artificiale, por bëhet më e vështirë të mbrohet kur vetë testimi ka prekur tashmë tre organizata që nuk duhej të ishin kurrë pjesë e eksperimentit.

Incidentet tregojnë se sa i vogël mund të jetë ndryshimi praktik midis një prove realiste dhe një ngjarjeje reale sigurie.

Në këtë rast, ky ndryshim varet nga fakti nëse një sandbox kishte në të vërtetë kufizimet që të gjithë të përfshirët besonin se i kishte, dhe Anthropic tani po vë bast se masat mbrojtëse të shtuara pas dështimeve janë të mjaftueshme për ta mbajtur testin tjetër brenda kufijve që duhej të kishte që në fillim.