Anthropic ndjek OpenAI-n duke pranuar se modelet e saj Claude dolën nga mjediset e testimit dhe sulmuan sisteme reale

Tre modele të ndryshme Claude gjetën rrugën e tyre drejt internetit të hapur gjatë vlerësimeve të sigurisë kibernetike dhe sulmuan sisteme të botës reale. Njëri madje publikoi programe keqdashëse në një platformë publike. Anthropic fajëson një konfigurim të gabuar.

Gjatë shqyrtimit të vlerësimeve të veta të sigurisë kibernetike, Anthropic gjeti tre incidente ku modelet e Claude shpëtuan nga mjediset e testimit dhe kompromentuan kompani të vërteta në internet. Kompania shqyrtoi 141,006 ekzekutime vlerësimi dhe raportoi gjashtë raste ku modelet hynë në sisteme që nuk duhej t’i arrinin. Shqyrtimi u shkaktua nga incidenti i sigurisë i OpenAI.

Incidentet ndodhën gjatë ushtrimeve të tipit “kap flamurin” ku Claude u ngarkua me detyrën e gjetjes së informacionit të fshehur në sistemet e jashtme në skenarë fiktivë. Anthropic thotë se Claude u tha në njoftimin e vlerësimit se ndodhej në një simulim pa qasje në internet, por një keqkomunikim midis Anthropic dhe partnerit të tij të vlerësimit, Irregular, bëri që agjentët e testimit në fakt të kishin qasje të plotë në internet.

Claude trajtoi sistemet reale që gjeti si pjesë të ushtrimit. Anthropic thotë se modelet nuk shfrytëzuan dobësitë komplekse dhe në vend të kësaj përdorën teknika bazë si fjalëkalime të dobëta dhe pika fundore të paautorizuara.

Ngjashëm me rastin e OpenAI, vlerësimet u zhvilluan pa mbrojtëset mbrojtëse të integruara në modelet publike, pasi qëllimi ishte të maten aftësitë e modelit të papërpunuar. Anthropic thotë se infrastruktura e vlerësimit nuk kishte qasje në sistemet e brendshme ose të dhënat e klientëve.

Incidenti më serioz përfshinte Claude Opus 4.7. Në katër versione, modeli nuk mundi të arrinte objektivin e tij fiktiv dhe në vend të kësaj gjeti një kompani të vërtetë që rastësisht kishte të njëjtin emër. Claude identifikoi dhe shfrytëzoi dobësitë në infrastrukturën e kompanisë, duke nxjerrë kredencialet e hyrjes dhe një bazë të dhënash me disa qindra rreshta të të dhënave të prodhimit.

Anthropic thotë se modeli e kuptoi se po merrej me një sistem real në të katër rastet, por në dy raste e racionalizoi këtë duke supozuar se kompania e vërtetë duhet të jetë pjesë e ushtrimit. Modeli nuk u ndal kurrë më vete.

Incidenti i dytë tregon se sa larg mund të shkojë një model i IA-së për të përfunduar një detyrë. Claude Myth 5 gjeti udhëzime konfigurimi në mjedisin fiktiv që u thoshin zhvilluesve të instalonin një paketë specifike Python nga PyPI, por paketa nuk ekzistonte.

Claude pa një mundësi dhe krijoi një paketë dashakeqe me të njëjtin emër, pastaj e publikoi atë në platformën reale publike PyPI. Anthropic thotë se modeli bëri përpjekje të konsiderueshme për ta realizuar këtë, së pari duke u përpjekur të merrte një numër telefoni, por dështoi, pastaj duke gjetur një ofrues falas email-i, duke e përdorur atë për të regjistruar një llogari PyPI dhe duke ngarkuar programin dashakeq.

Paketa ishte e disponueshme publikisht për rreth një orë, gjatë së cilës 15 sisteme të vërteta e shkarkuan dhe e vunë në punë. Njëri i përkiste një kompanie sigurie, skaneri i së cilës instalon rregullisht paketa PyPI. Kodi i fshehur i Claude vodhi kredencialet e kompanisë, të cilat modeli më pas i përdori për të aksesuar më shumë infrastrukturë. Sistemet e sigurisë së PyPI përfundimisht e tërhoqën paketën.

Anthropic thotë se Miti 5 arriti në përfundimin e saktë në arsyetimin e tij të brendshëm se publikimi i paketës në internet “NUK do të ishte në rregull, dhe sigurisht jo zgjidhja e synuar”. Por e bindi veten të besonte se ishte ende në një simulim, pjesërisht sepse nuk i njihte autoritetet e certifikimit dhe lexonte datën kalendarike të vitit 2026 si provë të një mjedisi të simuluar.

Incidenti i tretë përfshinte një model kërkimi të brendshëm. Kur nuk mundi të arrinte objektivin e tij fiktiv, skanoi afërsisht 9,000 objektiva realë në internet dhe përfundimisht kompromentoi aplikacionin e një kompanie duke përdorur teknika të njohura si injektimi SQL dhe leximi i një faqeje të ekspozuar të debugimit.

Ndryshe nga dy modelet e tjera, ky model e njohu vetë se sistemi i kompromentuar ndodhej në një llogari cloud që nuk lidhej me ushtrimin e kapjes së flamurit dhe e ndaloi sulmin pa iu thënë.

Anthropic tërheq një vijë ndarëse midis rastit të tij dhe atij të OpenAI. Ndërsa modelet e OpenAI shfrytëzuan një dobësi të panjohur më parë për të dalë nga izolimi, modelet Claude përfituan nga një rrugë e lënë e hapur nga konfigurimi i gabuar. Kompania i klasifikon incidentet si gabime në infrastrukturë dhe operacionale, jo dështime të radhitjes, duke argumentuar se modelet supozonin në mënyrë të arsyeshme se mjediset e botës reale ishin simulime. Anthropic thotë se një kërkesë që specifikonte qartë se cilat sisteme ishin në fushëveprim dhe cilat ishin jashtë kufijve mund të kishte qenë e mjaftueshme për të parandaluar të gjitha këto.

Një raport nga WIRED vëren se disa ekspertë të sigurisë e shohin gjithashtu incidentin Hugging Face të OpenAI si gabim njerëzor në praktikat themelore të sigurisë.

Incidentet më të hershme datojnë që nga prilli, sipas Anthropic. Rishikimi filloi më 23 korrik dhe të gjitha vlerësimet kibernetike u ndërprenë në të njëjtën kohë. Të tre organizatat e prekura u njoftuan më 27 korrik, megjithëse dy prej tyre as nuk e kishin vënë re aktivitetin. Anthropic nuk ka qenë në gjendje të kontaktojë të tretën.

Duke ecur përpara, Anthropic thotë se do të forcojë infrastrukturën e saj të vlerësimit, do të zgjerojë monitorimin e transkripteve të vlerësimit dhe do ta shqyrtojë më me kujdes punën e saj me partnerët e jashtëm. Kompania është gjithashtu në bisedime me organizatën e pavarur të vlerësimit METR në lidhje me një shqyrtim të jashtëm dhe planifikon të publikojë një transkript të redaktuar të incidentit PyPI brenda një jave. Anthropic thekson se Claude nuk u përpoq kurrë të kopjonte veten ose të largohej qëllimisht nga mjedisi i tij i testimit në asnjë nga këto raste.