OpenAI përdori këtë subreddit për të testuar bindjen e AI

OpenAI përdori subreddit, r/ChangeMyView, për të krijuar një test për matjen e aftësive bindëse të modeleve të tij të arsyetimit të AI. Kompania e zbuloi këtë në një kartë sistemi – një dokument që përshkruan se si funksionon një sistem AI – që u publikua së bashku me modelin e saj të ri “arsyetimi”, o3-mini, të premten.

Miliona përdorues të Reddit janë anëtarë të r/ChangeMyView, ku postojnë postime të nxehta me shpresën për të mësuar rreth këndvështrimeve të tjera mbi një temë. Në përgjigje të këtyre qëndrimeve të nxehta, përdoruesit e tjerë përgjigjen me argumente bindëse duke shpjeguar pse posteri origjinal është i gabuar.

Subreddit është një nga shumë forumet e Reddit që është në thelb një minierë ari për kompanitë e teknologjisë, si OpenAI, që duan të trajnojnë modele të AI mbi të dhëna me cilësi të lartë, të krijuara nga njeriu.

OpenAI thotë se mbledh postimet e përdoruesve nga r/ChangeMyView dhe u kërkon modeleve të tij të AI të shkruajnë përgjigje, në një mjedis të mbyllur, që do të ndryshonte mendjen e përdoruesit të Reddit për një temë. Kompania më pas u tregon përgjigjet testuesve, të cilët vlerësojnë se sa bindës është argumenti, dhe në fund OpenAI krahason përgjigjet e modeleve të AI me përgjigjet njerëzore për të njëjtin postim.

Prodhuesi i ChatGPT ka një marrëveshje për licencimin e përmbajtjes me Reddit që lejon OpenAI të trajnohet në postimet nga përdoruesit e Reddit dhe t’i shfaqë këto postime brenda produkteve të tij. Ne nuk e dimë se çfarë paguan OpenAI për këtë përmbajtje, por Google thuhet se paguan Reddit 60 milionë dollarë në vit sipas një marrëveshjeje të ngjashme.

Sidoqoftë, OpenAI i thotë TechCrunch se vlerësimi i bazuar në ChangeMyView nuk ka lidhje me marrëveshjen e tij Reddit. Është e paqartë se si OpenAI iu qaset të dhënave të subreddit, dhe kompania thotë se nuk ka plane ta publikojë këtë vlerësim për publikun.

Ndërsa standardi ChangeMyView i OpenAI nuk është i ri – ai u përdor gjithashtu për të vlerësuar o1 – ai thekson se sa të vlefshme janë të dhënat njerëzore për zhvilluesit e modeleve të AI, si dhe mënyrat e turbullta që kompanitë e teknologjisë marrin grupe të dhënash.

Reddit nuk iu përgjigj menjëherë kërkesës së TechCrunch për koment.

Ndërsa Reddit ka arritur disa marrëveshje licencimi të AI, kompania ka thirrur gjithashtu disa kompani të AI për gërvishtjen e faqes së saj pa paguar. Shefi ekzekutiv i Reddit, Steve Huffman, i tha Shkence.info vitin e kaluar se Microsoft, Anthropic dhe Perplexity refuzuan të negocionin me të dhe tha se ishte “një dhimbje e vërtetë në gomar për të bllokuar këto kompani”.

Veçanërisht, OpenAI është akuzuar në disa padi për gërvishtje të pahijshme të faqeve të internetit, duke përfshirë The New York Times, për të marrë më shumë të dhëna trajnimi për të përmirësuar ChatGPT dhe modelet e tij themelore të AI.

Për sa i përket performancës në standardin ChangeMyView, o3-mini nuk duket se performon dukshëm më mirë ose më keq se o1 ose GPT-4o. Sidoqoftë, modelet më të fundit të AI të OpenAI duket se janë më bindës se shumica e njerëzve në subreddit r/ChangeMyView.

“GPT-4o, o3-mini dhe o1 të gjitha demonstrojnë aftësi të forta argumentimi bindëse, brenda përqindjes së lartë 80-90 të njerëzve,” tha OpenAI në kartën e sistemit të o3-mini. “Aktualisht, ne nuk jemi dëshmitarë të modeleve që performojnë shumë më mirë se njerëzit, ose performancës së qartë mbinjerëzore.”

Qëllimi i OpenAI nuk është të krijojë modele hiper-bindës të AI, por në vend të kësaj të sigurojë që modelet e AI të mos bëhen shumë bindëse. Modelet e arsyetimit janë bërë mjaft të mira në bindje dhe mashtrim, kështu që OpenAI ka zhvilluar vlerësime të reja dhe masa mbrojtëse për ta trajtuar atë.

Frika që motivon këto teste bindjeje është se një model i AI do të ishte i rrezikshëm nëse do të ishte shumë i mirë në bindjen e përdoruesve të tij njerëzorë. Teorikisht, kjo mund të lejojë një AI të avancuar të ndjekë axhendën e vet, ose axhendën e kujtdo që e kontrollon atë.

Edhe pas gërvishtjes së pjesës më të madhe të internetit publik dhe kalimit nëpër rrathë për të licencuar të dhëna të tjera, standardi ChangeMyView tregon se si zhvilluesit e modeleve të AI janë ende duke luftuar për të gjetur grupe të dhënash me cilësi të lartë për të testuar modelet e tyre. Por marrja e tyre është më e lehtë të thuhet sesa të bëhet.