Modelet e reja të OpenAI për arsyetim bëjnë më shumë hallucinime

Modelet e inteligjencës artificiale o3 dhe o4-mini të lançuara së fundi nga OpenAI janë të teknologjisë së fundit në shumë aspekte. Megjithatë, modelet e reja ende halucinojnë, ose shpikin gjërat në fakt, ato halucinojnë më shumë se disa nga modelet më të vjetra të OpenAI.

Halucinacionet janë provuar të jenë një nga problemet më të mëdha dhe më të vështira për t’u zgjidhur në AI, duke ndikuar edhe në sistemet me performancën më të mirë të sotme. Historikisht, çdo model i ri është përmirësuar paksa në departamentin e halucinacioneve, duke halucinacione më pak se paraardhësi i tij. Por kjo nuk duket të jetë rasti për o3 dhe o4-mini.

Sipas testeve të brendshme të OpenAI, o3 dhe o4-mini, të cilat janë të ashtuquajturat modele arsyetimi, halucinojnë më shpesh se modelet e mëparshme të arsyetimit të kompanisë – o1, o1-mini dhe o3-mini – si dhe modelet tradicionale “jo arsyetuese” të OpenAI, si GPT-4o.

Ndoshta më shqetësuese, krijuesi i ChatGPT nuk e di vërtet pse po ndodh.

Në raportin e tij teknik për o3 dhe o4-mini, OpenAI shkruan se “duhen më shumë kërkime” për të kuptuar pse halucinacionet po përkeqësohen ndërsa rrit modelet e arsyetimit. O3 dhe o4-mini performojnë më mirë në disa fusha, duke përfshirë detyrat që lidhen me kodimin dhe matematikën. Por për shkak se ata “bëjnë më shumë pretendime në përgjithësi”, ata shpesh detyrohen të bëjnë “pretendime më të sakta si dhe pretendime më të pasakta/halucinative”, sipas raportit.

OpenAI zbuloi se o3 kishte halucinacione në përgjigje të 33% të pyetjeve mbi PersonQA, standardi i brendshëm i kompanisë për matjen e saktësisë së njohurive të një modeli për njerëzit. Kjo është afërsisht dyfishi i shkallës së halucinacioneve të modeleve të mëparshme të arsyetimit të OpenAI, o1 dhe o3-mini, të cilat shënuan respektivisht 16% dhe 14.8%. O4-mini bëri edhe më keq në PersonQA – duke halucinuar 48% të rasteve.

Testimi i palëve të treta nga Transluce, një laborator kërkimor jofitimprurës i AI, gjeti gjithashtu prova se o3 ka një tendencë për të krijuar veprime që ndërmori në procesin e arritjes së përgjigjeve. Në një shembull, Transluce vëzhgoi o3 duke pretenduar se ekzekutonte kodin në një MacBook Pro 2021 “jashtë ChatGPT”, më pas kopjoi numrat në përgjigjen e tij. Ndërsa o3 ka akses në disa mjete, nuk mund ta bëjë këtë.

“Hipoteza jonë është se lloji i të mësuarit përforcues i përdorur për modelet e serive o mund të përforcojë çështje që zakonisht zbuten (por jo fshihen plotësisht) nga tubacionet standarde pas trajnimit,” tha Neil Chowdhury, një studiues i Transluce dhe ish-punonjës i OpenAI, në një email për TechCrunch.

Sarah Schwettmann, bashkëthemeluese e Transluce, shtoi se shkalla e halucinacioneve të o3 mund ta bëjë atë më pak të dobishëm sesa do të ishte ndryshe.

Kian Katanforoosh, një profesor ndihmës në Stanford dhe CEO i startup-it për përmirësimin e aftësive Workera, tha për TechCrunch se ekipi i tij tashmë po teston o3 në flukset e tyre të punës së kodimit dhe se ata e kanë gjetur se është një hap mbi konkurrencën. Megjithatë, Katanforoosh thotë se o3 ka tendencë të halucinojë lidhjet e prishura të faqes në internet. Modeli do të japë një lidhje që, kur klikohet, nuk funksionon.

Halucinacionet mund t’i ndihmojnë modelet të arrijnë në ide interesante dhe të jenë kreativë në “të menduarit” e tyre, por ato gjithashtu i bëjnë disa modele një shitje të vështirë për bizneset në tregjet ku saktësia është parësore. Për shembull, një firmë ligjore ka të ngjarë të mos jetë e kënaqur me një model që fut shumë gabime faktike në kontratat e klientëve.

Një qasje premtuese për të rritur saktësinë e modeleve është dhënia e aftësive të kërkimit në ueb. GPT-4o i OpenAI me kërkimin në internet arrin saktësi 90% në SimpleQA, një tjetër nga standardet e saktësisë së OpenAI. Potencialisht, kërkimi mund të përmirësojë normat e halucinacioneve të modeleve të arsyetimit – të paktën në rastet kur përdoruesit janë të gatshëm të ekspozojnë kërkesat tek një ofrues kërkimi i palës së tretë.

Nëse rritja e modeleve të arsyetimit me të vërtetë vazhdon të përkeqësojë halucinacionet, do ta bëjë kërkimin për një zgjidhje edhe më urgjente.

“Trajtimi i halucinacioneve në të gjitha modelet tona është një fushë e vazhdueshme kërkimi dhe ne po punojmë vazhdimisht për të përmirësuar saktësinë dhe besueshmërinë e tyre,” tha zëdhënësi i OpenAI Niko Felix në një email për TechCrunch.

Vitin e fundit, industria më e gjerë e AI është fokusuar në modelet e arsyetimit pasi teknikat për të përmirësuar modelet tradicionale të AI filluan të tregojnë kthime në rënie. Arsyetimi përmirëson performancën e modelit në një sërë detyrash pa kërkuar sasi masive të llogaritjes dhe të dhënave gjatë trajnimit. Megjithatë, duket se arsyetimi gjithashtu mund të çojë në më shumë halucinacione – duke paraqitur një sfidë.