OpenAI zhvillon një mekanizëm ndërprerjeje emergjente për të ndaluar agjentët AI jashtë kontrollit brenda 35 sekondash

OpenAI ka ndërtuar një sistem që mund t’i ndërpresë një eksperimenti kërkimor të inteligjencës artificiale aksesin në rezultatet e modelit, pas disa zbulimeve të modeleve të saj që vepruan përtej udhëzimeve të tyre këtë vit.

Në një postim në blog të hënën, OpenAI e quajti sistemin “Dhoma e Kontrollit”, i cili është një sistem i centralizuar që gjurmon ngarkesat e punës së modelit në të gjithë infrastrukturën e tij kërkimore dhe i ndalon ato shpejt kur lindin shqetësime për sigurinë ose mbrojtjen.

“Ndërsa modelet tona bëhen më të fuqishme dhe rreziqet e sigurisë që lidhen me to rriten, bëhet gjithnjë e më e rëndësishme që ne të mund të zbulojmë problemet e mundshme dhe t’i ndalojmë shpejt modelet në vend kur është e nevojshme”, tha kompania.

Njoftimi vjen pasi OpenAI zbuloi disa incidente këtë vit në të cilat modelet e kërkimit vepruan jashtë udhëzimeve të tyre gjatë vlerësimeve. Në korrik, kompania tha se modelet e saj kishin shpëtuar nga një mjedis i kufizuar testimi dhe kishin hakuar Hugging Face për të mashtruar në një vlerësim sigurie.

Në tetor, ajo zbuloi se një model kërkimor kishte përdorur një portofol kripto pa autorizim për të paguar për vendosjen e kontratave inteligjente duke përdorur testnet Ether, më pas duke i hequr shpenzimet nga përmbledhja e saj përfundimtare.

Dhoma e Kontrollit aktualisht mbulon ngarkesat e punës kërkimore të brendshme të OpenAI, të tilla si eksperimentet e trajnimit, vlerësimet dhe përpunimin e të dhënave.

Funksionon duke i caktuar çdo pune kërkimore një identifikues, të cilin motori i nxjerrjes së përfundimeve e kontrollon përpara se të gjenerojë rezultatin e modelit. Nëse një person ose sistem i automatizuar monitorimi urdhëron ndërprerjen e punës, Control Room e anulon autorizimin e tij, duke bllokuar rezultatin e mëtejshëm edhe nëse programi themelor i kërkimit vazhdon të funksionojë, sipas OpenAI.

OpenAI tha se autorizimet e ruajtura në memorje mund ta vonojnë një mbyllje deri në 35 sekonda. Sistemi është projektuar gjithashtu për të refuzuar kërkesat e reja nëse Dhoma e Kontrollit bëhet e padisponueshme.