Agjentët e izoluar të inteligjencës artificiale krijuan një kanal sekret komunikimi

Agjentët e inteligjencës artificiale të OpenAI ndërtuan kanale të fshehura për të komunikuar përtej mureve të vendosura midis tyre në testet e ekipit të kuq, duke komunikuar duke manipuluar memorjen e përkohshme të CPU-së pa lidhje rrjeti ose skedar të përbashkët, sipas një postimi në blogun e kompanisë. Mbajtja kishte për qëllim të ndalonte atë lloj shkëmbimi sekretesh, por agjentët gjetën mënyra të shumta për ta anashkaluar atë kur u pyetën. Studiuesit e sigurisë kanë treguar tashmë se një kanal i fshehtë i memorjes së përkohshme mund të lëvizë të dhëna midis makinave virtuale të cloud-it (VM); një agjent i rrëmbyer në një server të përbashkët të cloud-it mundet, në teori, të shkëmbejë të dhëna në të njëjtën makinë fizike dhe ta bëjë këtë pa u zbuluar nga monitorimi i rrjetit.

Agjentët në fjalë u vendosën në microVM të ndara, në hostë të përbashkët, me softuerin sandboxing të OpenAI, dhe iu kërkua të shkëmbenin sekrete sintetike pa një lidhje rrjeti ose skedarë të shkrueshëm të përbashkët. Një agjent nxori të dhëna të zgjedhura nga memoria e përkohshme e CPU-së, ndërsa një tjetër caktoi kohën e ringarkimit, duke i mundësuar të dyve të komunikonin me lexime të shpejta dhe të ngadalta duke përdorur një protokoll për të cilin ranë dakord më parë. E njëjta teknikë e caktimit të kohës së memorjes së përkohshme u përdor për të nxjerrë të dhëna në sulmet Spectre dhe Meltdown; por ndryshe nga ato raste, kanali i fshehtë këtu ka nevojë për dy palë të gatshme.

Një përdorues i X, komentatori i teknologjisë Ryan Orhan, shkroi se izolimi “nuk ishte domosdoshmërisht i prishur në nivelin e softuerit”, duke e quajtur atë “një demonstrim mjaft i jashtëzakonshëm se pse përmbajtja e sigurt e agjentëve është një problem kaq i vështirë”.

Shqetësimi i kompanisë është se modelet mund të “gjejnë mënyra të paautorizuara për të komunikuar me agjentë në sandbox-e të tjera”, me komunikimin jashtë kanaleve të lejuara që përbën një dështim të përmbajtjes. Një punim i vitit 2017 në konferencën e sigurisë NDSS demonstroi një kanal të fshehtë të memorjes së përkohshme midis dy VM-ve Amazon EC2, mjaftueshëm të shpejtë për të kryer një lidhje SSH, por tani agjentët mund të ndërtojnë një vetë kur u kërkohet, duke përfshirë procesin e kodimit. Në parim, një kanal i tillë mund të përdoret si armë, me dërguesin që është kodi që një sulmues kontrollon ose drejton, për shembull, një agjent i injektuar me shpejtësi në një sandbox cloud. Marrësi mund të jetë një proces në të njëjtën makinë fizike, dhe të dhënat më pas do të largoheshin pa asnjë trafik rrjeti për t’u kapur nga monitorimi.

Agjentët zbuluan edhe tre kanale të tjera: hapësirë ​​ruajtjeje të përbashkët, ku njëri agjent alternonte shpërthimet e shkrimit me kohën e papërgatitur, ndërsa tjetri matte diferencën; konkurrencën për kohën e CPU-së në një kontejner ekzekutimi të përbashkët; dhe një memorje të përkohshme certifikate TLS në konfigurimin e internetit jashtë linje të OpenAI. Në shumicën e këtyre testeve, OpenAI i drejtoi agjentët nga kanali ose u dha atyre një protokoll, dhe shumica e kanaleve janë të ngadalta dhe të vështira për t’u shfrytëzuar nga modelet.

Testimi i ekipit të kuq përfshinte ekipe agjentësh të modelit kufitar që punuan paralelisht dhe në bashkëpunim drejt tre objektivave: të arrinin internetin aktiv, të kalonin një kufi të brendshëm sigurie dhe të flisnin përtej kufijve të izolimit. Testet shtesë supozuan se mbrojtjet e brendshme kishin dështuar tashmë, me një agjent jashtë sandbox-it të tij, përtej monitorëve dhe në kontroll të plotë të makinës së tij pritëse, për të parë nëse ai ende mund të arrinte internetin aktiv.

Agjentët vinin nga disa nga modelet më të afta të kompanisë, duke përfshirë “modelin e ardhshëm GPT-6 Astra Cyber ​​dhe një model të brendshëm kufitar”, dhe iu dha kodi burimor i infrastrukturës, detajet e konfigurimit dhe dokumentacioni që përshkruante dobësitë e mundshme, kështu që mbrojtjet u testuan në kushte të favorshme për një sulmues. Testet u kryen në kopje të izoluara, të ndërtuara posaçërisht të infrastrukturës kërkimore të kompanisë dhe përdorën “qindra miliarda tokena” në total.

Postimi vjen pas disa incidenteve të sigurisë kibernetike që përfshijnë agjentët e OpenAI, duke përfshirë shkeljen e të dhënave të Hugging Face në korrik dhe një episod të DNS më 20 shtator që çoi në një ndërprerje 11-ditore të trajnimit. Me trajnimin e rifilluar më 1 tetor, kompania vazhdon të zbulojë dobësi në “disa projekte microVM” dhe e ka bërë bashkëpunimin me modelet e saj më të afta pjesë të rasteve të sigurisë që vendosin nëse trajnimi dhe vlerësimi do të vazhdojnë. Kompania beson se modelet e ardhshme do të jenë në gjendje të gjejnë dobësi për të cilat ende nuk dihet.