Anthropic zbulon se Mythos 5 u përpoq të dërgonte kod keqdashës në një projekt me kod të hapur

Modeli i inteligjencës artificiale Mythos 5 i Anthropic PBC u përpoq të paraqiste kod të dëmshëm në një projekt GitHub në korrik.

Incidenti ndodhi gjatë një vlerësimi të aftësive të sigurisë kibernetike të algoritmit. Instituti i Sigurisë së IA-së, organi qeveritar i Mbretërisë së Bashkuar që kreu testin, publikoi sot një raport në lidhje me sulmin kibernetik. Anthropic publikoi analizën e vet të incidentit në blogun e tij.

Malware-i që Mythos 5 i paraqiti projektit pa emër GitHub nuk infektoi asnjë përdorues sepse nuk u pranua nga mirëmbajtësi i depos. Megjithatë, incidenti është ende i dukshëm sepse ofron të dhëna të reja se si modelet kufitare anashkalojnë parmakët e tyre të sigurisë. Studiuesit mund ta përdorin këtë informacion për të përmirësuar veçoritë e rreshtimit të algoritmeve të tyre.

Vlerësimi gjatë të cilit ndodhi incidenti përfshinte një grumbull serverash të mirëmbajtur nga Instituti i Sigurisë së IA-së. Grumbulli kishte për qëllim të simulonte një rrjet të korporatës. Sipas Anthropic, studiuesit i kërkuan Mythos 5 të depërtonte në rrjet dhe të merrte një pjesë të të dhënave të ruajtura në një nga serverat e tij.

Instituti i Sigurisë së IA-së përcaktoi rregulla që i ndalonin modelit përdorimin e metodave të caktuara të hakerimit. Mythos 5 fillimisht iu përmbajtë këtyre rregullave, por doli nga rruga kur përpjekjet e tij fillestare për të depërtuar në rrjetin e simuluar dështuan. Ky ndryshim taktikash çoi në sulmin kundër depove GitHub.

Mythos 5 përcaktoi se një nga serverët në rrjetin e simuluar të korporatës herë pas here hynte në GitHub. Ai kërkoi ta shfrytëzonte këtë akses duke kompromentuar repozitorin GitHub që përdorte serveri. Në veçanti, plani i modelit ishte të infektonte repozitorin me programe keqdashëse dhe ta bënte serverin ta shkarkonte atë.

Ai krijoi një fragment kodi keqdashës, krijoi një llogari GitHub dhe e përdori llogarinë për ta dërguar fragmentin e kodit në depon në fjalë. Kur mirëmbajtësi i depos e refuzoi dorëzimin, modeli u përpoq të ngarkonte një version të rishkruar të programit keqdashës. Për më tepër, ai përdori një llogari të dytë GitHub për të provuar ta bindte mirëmbajtësin të pranonte kodin e rishikuar.

“Kërkesa për tërheqje nuk u pranua”, shkruan studiuesit e Anthropic në raportin e kompanisë në lidhje me incidentin. “Vrapimi përfundoi ndërsa modeli mbaroi buxhetin e tij të token-ave, ndërsa vazhdoi të ushtronte presion mbi mirëmbajtësit për të miratuar ndryshimin.”

Instituti i Sigurisë së IA-së rikrijoi seancën Mythos 5 që prodhoi kodin keqdashës. Studiuesit e tij më pas bënë një ndryshim kyç: Ata e ndaluan modelin pak para se të paraqiste kontributin keqdashës në GitHub dhe e paralajmëruan atë për rreziqet e veprimit. Modeli vazhdoi me paraqitjen pasi dukej se e bindi veten se objektivi ishte simuluar.

“Hipoteza jonë është se kjo këmbëngulje pasqyron një lloj “momentumi”, në të cilin shënimet e ngjeshjes së modelit dhe veprimet e mëparshme nënkuptojnë se rruga e tij aktuale është sanksionuar (saktë)”, shkruan studiuesit e Anthropic.

Instituti i Sigurisë së IA-së e forcoi mjedisin që përdor për të vlerësuar modelet në përgjigje të shkeljes. Anthropic, nga ana tjetër, ka përmirësuar veçoritë e sigurisë së modeleve të saj. Kompania përcaktoi se Mythos 5.1 dhe Opus 5.5, dy modele të lëshuara pas Mythos 5, kanë më pak gjasa të nisin sulme të llojit që synuan depon GitHub. Një model i tretë, i brendshëm, “nuk e nisi kurrë sulmin” gjatë testeve të Anthropic.