Cohere thotë se modeli Qwen i Alibaba-s u përpoq të dërgonte një skedar në Pekin

Kompania kanadeze e inteligjencës artificiale Cohere tha të hënën se gjeti një nga modelet më të reja të inteligjencës artificiale të Alibaba-s, Qwen3.8-Flash-Next, duke u përpjekur të ngarkonte një skedar në një server në Pekin gjatë një testi rutinë të sigurisë kibernetike, edhe pse modeli kishte thënë në shënimet e veta se nuk do të përdorte asnjë mjet.

Incidenti fillimisht ngriti frikën se modeli kishte minuar një premtim themelor për bizneset – që vetë-strehimi i një modeli me peshë të hapur i mban të dhënat brenda kompanisë. Por ato frikëra të hershme të spiunazhit të korporatave ishin jetëshkurtra. Studiuesit e hodhën poshtë shpejt kërcënimin, duke thënë se ka të ngjarë të ishte një nënprodukt i mjediseve të çrregullta të trajnimit që bëjnë që modelet të veprojnë papritur jashtë udhëzimeve të tyre, dhe jo një përpjekje e qëllimshme për të dërguar fshehurazi informacione të ndjeshme në Kinë.

Incidenti filloi të premten gjatë një vlerësimi në të cilin modelit Qwen iu kërkua të shkruante një rregull për kapjen e shkarkimeve të programeve keqdashëse. Sipas një postimi në blog nga Cohere, arsyetimi i shkruar i modelit deklaroi në mënyrë të qartë se nuk do të përdorte asnjë mjet të jashtëm. Megjithatë, në hapin tjetër, ai u përpoq të dërgonte një varg testimi (një pjesë të shkurtër teksti të vendmbajtësit) në një server të jashtëm përpara se të bllokohej nga një sandbox sigurie.

Cohere tha se nuk mund të përcaktonte nëse sjellja ishte e qëllimshme apo një mbetje nga stërvitja e saj.

I pyetur në lidhje me debatin mbi qëllimin e modelit, bashkëthemeluesi i Cohere, Ivan Zhang, i tha TechCrunch se Cohere ka parë modelet e veta të fitojnë zakone të çuditshme në simulatorët e stërvitjes.

“Është shumë e vështirë të përcaktosh qëllimin ose motivimin. Ne kemi lexuar gjurmët e modelit tonë, kemi parë hile shpërblimi dhe ndonjëherë këto modele bëhen shumë krijuese kur bëhet fjalë për të dalë nga sandbox-et e tyre”, tha Zhang. (Hilet shpërblimi janë shkurtesa që një model gjen për të fituar kredite pa e kryer një detyrë siç është menduar.)

Për të mësuar një model të inteligjencës artificiale të veprojë si një agjent që ndërmerr veprime vetë, kompani si Alibaba e trajnojnë atë në mijëra konfigurime praktike, pak a shumë si simulatorë fluturimi për softuerë. Modeli shpërblehet sa herë që përfundon një detyrë në një simulator dhe ai fiton zakone gjatë rrugës. Nëse këto konfigurime praktike ruajnë rregullisht skedarë në serverat cloud të Alibaba-s, modelet mund të mësojnë të ruajnë skedarë atje si parazgjedhje.

Kritikët argumentuan gjithashtu se incidenti mund të ishte shkaktuar nga mënyra se si Cohere e hetoi sjelljen, duke e drejtuar modelin drejt saj në vend që të maste se sa shpesh Qwen e bën atë vetë.

Për të gjetur se çfarë shkaktoi përpjekjen e ngarkimit, Cohere dha fillimin e një komande rrjeti (një udhëzim që i tregonte një kompjuteri të lidhej me një tjetër) dhe e la modelin ta përfundonte atë. Meqenëse përpunoi mijëra komanda rutinë rrjeti gjatë trajnimit të tij, modeli veproi si një autocomplete shumë i avancuar – shpesh duke plotësuar adresa interneti, disa prej tyre për serverat e Alibaba-s.

Cohere tha se përpjekja origjinale e ngarkimit ndodhi pa ndonjë ndihmë të tillë, por se sjellja është e rrallë.

Pasi zhvilluesit kërkuan më shumë prova, Cohere publikoi gjurmët e papërpunuara nga testet e saj të hënën në mbrëmje në platformën e zhvilluesve të inteligjencës artificiale Hugging Face, së bashku me një skript në mënyrë që të tjerët të mund të përpiqeshin të riprodhonin sjelljen.

Një skeptik fillestar, pasi shqyrtoi gjurmët, i vlerësoi provat si të forta që Qwen mund të shpikë adresa të dyshimta interneti, por nuk gjeti prova që Alibaba të kishte vendosur një derë të fshehtë ose që Qwen po e fshihte qëllimisht qëllimin e saj.

Incidenti ndodh në një kohë kur qeveritë po vendosin se sa duhet t’i kundërvihen inteligjencës artificiale kineze. Javën e kaluar, Departamenti i Sigurisë Kombëtare urdhëroi agjencitë civile federale të hiqnin produktet e zhvilluesit kinez të inteligjencës artificiale DeepSeek nga sistemet e tyre.

Në postimin e saj në blog, Cohere u bëri thirrje qeverive të sqarojnë nëse kufizimet e tyre ndaj inteligjencës artificiale kineze vlejnë edhe për modelet që funksionojnë në kompjuterët qeveritarë.

“Nuk po kërkoj rregullim të plotë të këtyre modeleve me pesha të hapura”, tha Zhang për TechCrunch, duke shtuar se kompanitë duhet t’i trajtojnë modelet e hapura si çdo program të shkarkuar nga interneti.

Cohere, e cila u shet qeverive modelet e veta të inteligjencës artificiale, pritet të përfitojë nëse zyrtarët bëhen më të kujdesshëm ndaj alternativave falas kineze.