OpenAI dhe rivalët kërkojnë një rrugë të re drejt AI më të zgjuar pasi metodat aktuale godasin kufizimet

Kompanitë e inteligjencës artificiale si OpenAI po kërkojnë të kapërcejnë vonesat dhe sfidat e papritura në ndjekjen e modeleve gjuhësore gjithnjë e më të mëdha duke zhvilluar teknika trajnimi që përdorin mënyra më të ngjashme me njeriun për algoritmet për të menduar.

Një duzinë shkencëtarë, studiues dhe investitorë të AI i thanë Reuters se besojnë se këto teknika, të cilat qëndrojnë prapa modelit o1 të lëshuar së fundmi nga OpenAI, mund të riformësojnë garën e armatimeve të AI dhe të kenë implikime për llojet e burimeve për të cilat kompanitë e AI kanë një kërkesë të pangopur, nga energji për llojet e patate të skuqura.

OpenAI nuk pranoi të komentojë për këtë histori. Pas lëshimit të chatbot-it viral ChatGPT dy vjet më parë, kompanitë e teknologjisë, vlerësimet e të cilave kanë përfituar shumë nga bumi i AI, kanë pohuar publikisht se “shkallëzimi” i modeleve aktuale nëpërmjet shtimit të më shumë të dhënave dhe fuqisë kompjuterike do të çojë vazhdimisht në modele të përmirësuara të AI.

Por tani, disa nga shkencëtarët më të shquar të AI po flasin hapur për kufizimet e kësaj filozofie “më e madhe është më mirë”.

Ilya Sutskever, bashkëthemelues i laboratorëve të AI, Safe Superintelligence (SSI) dhe OpenAI, i tha Reuters së fundmi se rezulton nga përshkallëzimi i trajnimit paraprak – faza e trajnimit të një modeli të AI që përdor një sasi të madhe të dhënash të paetiketuara për të kuptuar modelet dhe strukturat gjuhësore. – kanë pllajë.

Sutskever vlerësohet gjerësisht si një avokat i hershëm i arritjes së kërcimeve masive në avancimin gjenerues të AI përmes përdorimit të më shumë të dhënave dhe fuqisë kompjuterike në para-trajnim, i cili përfundimisht krijoi ChatGPT. Sutskever u largua nga OpenAI në fillim të këtij viti për të themeluar SSI.

“Vitet 2010 ishin epoka e shkallëzimit, tani ne jemi kthyer sërish në epokën e mrekullive dhe zbulimeve. Të gjithë po kërkojnë gjënë tjetër”, tha Sutskever. “Shkallëzimi i gjësë së duhur ka më shumë rëndësi tani se kurrë.”

Sutskever nuk pranoi të ndajë më shumë detaje se si ekipi i tij po e trajton këtë çështje, përveçse tha se SSI po punon për një qasje alternative për të rritur shkallën e para-trajnimit.

Në prapaskenë, studiuesit në laboratorët kryesorë të AI kanë hasur në vonesa dhe rezultate zhgënjyese në garën për të nxjerrë një model të madh gjuhësor që tejkalon modelin GPT-4 të OpenAI, i cili është gati dy vjeç, sipas tre burimeve të njohura me çështjet private.

Të ashtuquajturat ‘trajnime’ për modelet e mëdha mund të kushtojnë dhjetëra miliona dollarë duke ekzekutuar njëkohësisht qindra çipa. Ata kanë më shumë gjasa të kenë dështime të shkaktuara nga hardueri duke pasur parasysh sa i ndërlikuar është sistemi; studiuesit mund të mos e dinë performancën eventuale të modeleve deri në fund të xhiros, e cila mund të zgjasë me muaj.

Një problem tjetër është se modelet e mëdha të gjuhëve gëlltisin sasi të mëdha të dhënash dhe modelet e AI kanë shteruar të gjitha të dhënat lehtësisht të arritshme në botë. Mungesa e energjisë ka penguar gjithashtu stërvitjet, pasi procesi kërkon sasi të mëdha energjie.

Për të kapërcyer këto sfida, studiuesit po eksplorojnë “llogaritjen në kohë testimi”, një teknikë që përmirëson modelet ekzistuese të AI gjatë të ashtuquajturës fazë “konkluzion” ose kur modeli është duke u përdorur. Për shembull, në vend që të zgjidhet menjëherë një përgjigje e vetme, një model mund të gjenerojë dhe vlerësojë mundësi të shumta në kohë reale, duke zgjedhur përfundimisht rrugën më të mirë përpara.

Kjo metodë i lejon modelet t’i kushtojnë më shumë fuqi përpunuese detyrave sfiduese si matematika ose problemet e kodimit ose operacionet komplekse që kërkojnë arsyetim dhe vendimmarrje të ngjashme me njeriun.

“Doli që të kesh një robot që mendon për vetëm 20 sekonda në një dorë të pokerit ka të njëjtën performancë rritëse si rritja e modelit me 100,000 herë dhe trajnimi i tij për 100,000 herë më gjatë,” tha Noam Brown, një studiues në OpenAI i cili ka punuar. në o1, në konferencën TED AI në San Francisko muajin e kaluar.

OpenAI e ka përqafuar këtë teknikë në modelin e tyre të sapo lëshuar të njohur si “o1”, i njohur më parë si Q* dhe Strawberry, të cilin Reuters e raportoi për herë të parë në korrik. Modeli O1 mund të “mendojë” përmes problemeve në një mënyrë shumë hapash, të ngjashme me ato njerëzore Arsyetimi përfshin gjithashtu përdorimin e të dhënave dhe komenteve të kuruara nga doktoraturat dhe ekspertët e industrisë. Kompania thotë se planifikon ta zbatojë këtë teknikë me modele bazë më të mëdha dhe më të mëdha.

Në të njëjtën kohë, studiuesit në laboratorë të tjerë të lartë të AI, nga Anthropic, xAI dhe Google DeepMind, kanë punuar gjithashtu për të zhvilluar versionet e tyre të teknikës, sipas pesë njerëzve të njohur me përpjekjet.

“Ne shohim shumë fruta të ulëta që mund të shkojmë t’i këpusim për t’i përmirësuar këto modele shumë shpejt,” tha Kevin Weil, shefi i produktit në OpenAI në një konferencë teknologjike në tetor. “Deri në kohën kur njerëzit të arrijnë, ne do të përpiqemi të jemi edhe tre hapa përpara.”

Google dhe xAI nuk iu përgjigjën kërkesave për koment dhe Anthropic nuk kishte asnjë koment të menjëhershëm.

Implikimet mund të ndryshojnë peizazhin konkurrues për harduerin AI, i dominuar deri më tani nga kërkesa e pangopur për çipat e AI të Nvidia. Investitorët e shquar të kapitalit sipërmarrës, nga Sequoia te Andreessen Horowitz, të cilët kanë derdhur miliarda për të financuar zhvillimin e shtrenjtë të modeleve të AI në laboratorë të shumtë të AI, përfshirë OpenAI dhe xAI, po marrin parasysh tranzicionin dhe po peshojnë ndikimin në bastet e tyre të shtrenjta.

“Ky zhvendosje do të na zhvendosë nga një botë grupimesh masive para-trajnimi drejt reve të konkluzionit, të cilat janë të shpërndara, serverë të bazuar në re për konkluzione,” tha Sonya Huang, një partnere në Sequoia Capital, për Reuters.

Kërkesa për çipat e inteligjencës artificiale të Nvidia, të cilët janë më të avancuarit, ka nxitur ngritjen e saj për t’u bërë kompania më e vlefshme në botë, duke kaluar Apple në tetor. Ndryshe nga çipat e trajnimit, ku dominon Nvidia, gjigandi i çipave mund të përballet me më shumë konkurrencë në tregun e konkluzioneve.

E pyetur për ndikimin e mundshëm në kërkesën për produktet e saj, Nvidia vuri në dukje prezantimet e fundit të kompanisë mbi rëndësinë e teknikës që qëndron pas modelit o1. CEO i saj Jensen Huang ka folur për rritjen e kërkesës për përdorimin e çipave të tij për përfundime.

“Tani kemi zbuluar një ligj të dytë të shkallëzimit dhe ky është ligji i shkallëzimit në një moment përfundimi…Të gjithë këta faktorë kanë bërë që kërkesa për Blackwell të jetë tepër e lartë,” tha Huang muajin e kaluar në një konferencë në Indi. , duke iu referuar çipit më të fundit të AI të kompanisë.