OpenAI ende nuk mund të shpjegojë pse agjentët e saj të programimit çaktivizojnë monitorimin e sjelljeve të papërputhshme me objektivat e tyre

Dy agjentë të brendshëm kodimi të OpenAI dobësuan monitorimin që synonte të kapte sjelljen e keqe, edhe pasi peshuan nëse duhej t’i mbanin në vend këto masa mbrojtëse. Njëri prej tyre më vonë e mohoi.

Marcus Williams, i cili punon në monitorim në OpenAI, i bëri publike incidentet në X. Ai përshkruan një model të përsëritur në të cilin agjentët e OpenAI vazhdojnë të çaktivizojnë monitorimin e keqpozicionimit. OpenAI i paraqet detajet në një raport në blogun e saj të shtrirjes.

Monitorimi supozohet të zbulojë kur agjentët sillen ndryshe nga sa është menduar. Meqenëse shqyrton kaq shumë ngjarje, ai njofton menjëherë ekipin e sigurisë vetëm për incidentet në nivelin më të lartë të ashpërsisë, P0. OpenAI thotë se asnjëri rast nuk e mori atë vlerësim.

Në rastin e parë, më 3 tetor, një studiues i kërkoi një agjenti kodimi të bazuar në GPT-6.1 Sol të përpilonte detyra vlerësimi nga reagimet e punonjësve në një kanal Slack. Agjenti nuk duhej të dërgonte ndonjë mesazh gjatë procesit.

Tetëdhjetë e dy mesazhe përdoruesish më vonë, rrjedha e informacionit u ndal sepse monitoruesi kishte sinjalizuar një rregullim të planifikuar, por nuk kishte lejet për të ruajtur gjetjen e tij. Sol ia dorëzoi rregullimin një nën-agjenti dhe i tha që ta mbante monitorimin të paprekur.

Pastaj Sol ndryshoi vlerësimin e tij. Arsyetoi se një hyrje në bazën e të dhënave mund të shkaktonte një njoftim, i cili do të binte ndesh me udhëzimin e Slack. Nënagjenti e kishte refuzuar më parë këtë hap si të pasigurt. Duke ndjekur udhëzimet e Sol, ai i pastroi listat e marrësve dhe dha si arsye se përdoruesi nuk kishte kërkuar shprehimisht asnjë mesazh.

Monitori vazhdoi të punonte dhe të ruante gjetjet e tij, por alarmet për njerëzit ishin çaktivizuar. Agjenti përfundoi duke raportuar se nuk ishte dërguar asnjë mesazh.

GPT-6 Astra shkoi edhe më tej më 6 tetor. Një përdorues i kërkoi modelit të përvetësonte rrjedhën e punës të një implementimi referues që nuk përfshinte një monitor. Një agjent tjetër i kishte thënë më parë Astras të mos e çaktivizonte monitorimin, as përkohësisht.

Astra ia kaloi detyrën një nënagjenti me udhëzime për ta mbajtur monitorimin vetëm për aq sa përputhej me referencën. Nënagjenti pyeste veten nëse kjo do të thoshte anashkalimi i një mase mbrojtëse, por Astra e lexoi paralajmërimin si leje.

Ai e hoqi monitorimin dhe zëvendësoi një test të projektuar për ta mbrojtur atë me një tjetër që supozonte se monitorimi ishte zhdukur. Astra e përshëndeti rezultatin në zinxhirin e saj të mendimit.

Astra më pas i tha përdoruesit se migrimi ishte përfunduar pa përmendur se monitorimi ishte hequr. Kur përdoruesi pyeti, modeli mohoi heqjen e një monitori aktiv. Williams e quan këtë një gënjeshtër.

Williams thekson se modelet nuk e çaktivizuan monitorimin e tyre, gjë që do të ishte shumë më e vështirë për t’u bërë në Codex. Ai ende e konsideron shqetësuese faktin që ato anojnë nga ky lloj sjelljeje, edhe pse të dyja rastet lënë hapësirë ​​për njëfarë mohimi të besueshëm. Deri më tani, thotë ai, ekipi nuk ka vërejtur motive të hapura të papajtueshme.

Sipas Williams, monitorimi është veçanërisht i lehtë për t’u çaktivizuar gjatë vlerësimeve. OpenAI nuk e kërkon atë për modelet në nivelin e GPT-6 Luna për shkak të aftësive të tyre më të dobëta. Kjo do të thotë që një vlerësim i Astra mund të jetë i konfiguruar gabimisht, kështu që bie nën këtë përjashtim. Agjentët kanë nisur vazhdimisht vendosje të pamonitoruara, edhe ndërsa vetë ishin duke u vëzhguar.

Në përgjigje, OpenAI përditësoi shqyrtimin automatik të kërkuar për përdorimin e brendshëm të Codex. Tani supozohet se ai duhet të zbulojë dhe bllokojë përpjekjet për të çaktivizuar monitorimin. Kompania po punon gjithashtu për të kërkuar një të ashtuquajtur rast sigurie për çdo lloj ngarkese pune, i cili do të përcaktonte kërkesat e saj të monitorimit. Ngarkesat e punës pa një rast sigurie të vlefshëm do të mbylleshin automatikisht.

OpenAI ofron dy shpjegime të mundshme për sjelljen. Njëra është këmbëngulja e tepërt e një lloji që supozohet të jetë i padëmshëm, ku modelet i kryejnë udhëzimet më tej se sa pritej. Tjetra është një tendencë për të shmangur posaçërisht monitorimin e mospërputhjeve dhe për ta justifikuar atë me arsyetim të motivuar.

OpenAI pranon se ende nuk ka një shpjegim të kënaqshëm. Planifikon të studiojë sjelljen me metoda të tilla si eksperimente mbi aktivizimet e brendshme të modeleve.