Modeli i AI i Samsung tejkalon modelet që janë 10,000 herë më të mëdha
Trendi i studiuesve të inteligjencës artificiale që zhvillojnë modele të reja gjeneruese me burim të hapur, të vogla dhe të qëndrueshme, që i tejkalojnë modelet shumë më të mëdha dhe pronësore, vazhdoi këtë javë me një tjetër përparim mahnitës.
Alexia Jolicoeur-Martineau, Hulumtuese e Lartë e IA-së në Institutin e Teknologjisë së Avancuar (SAIT) të Samsung në Montreal, Kanada, ka prezantuar Modelin e Rekursionit të Vogël (TRM) — një rrjet nervor aq i vogël sa përmban vetëm 7 milionë parametra (cilësime të modelit të brendshëm), megjithatë konkurron ose tejkalon modelet gjuhësore të përparuara 10,000 herë më të mëdha për sa i përket numrit të parametrave të tyre, duke përfshirë o3-mini të OpenAI dhe Gemini 2.5 Pro të Google, në disa nga standardet më të vështira të arsyetimit në kërkimin e IA-së.
Qëllimi është të tregohet se modelet e reja të IA-së me performancë shumë të lartë mund të krijohen me çmime të përballueshme pa investime masive në njësitë e përpunimit grafik (GPU) dhe fuqinë e nevojshme për të trajnuar modelet kryesore më të mëdha, me shumë trilion parametra, që fuqizojnë shumë chatbot-e LLM sot. Rezultatet u përshkruan në një punim kërkimor të botuar në faqen e internetit me qasje të hapur arxiv.org, të titulluar ” Më pak është më shumë: Arsyetim rekursiv me rrjete të vogla “.
“Ideja se dikush duhet të mbështetet në modele masive themelore të trajnuara për miliona dollarë nga ndonjë korporatë e madhe për të zgjidhur detyra të vështira është një kurth”, shkroi Jolicoeur-Martineau në rrjetin social X. “Aktualisht, ka shumë fokus në shfrytëzimin e LLM-ve në vend të hartimit dhe zgjerimit të linjave të reja të drejtimit.”
Jolicoeur-Martineau shtoi gjithashtu: “Me arsyetim rekursiv, rezulton se ‘më pak është më shumë’. Një model i vogël i para-trajnuar nga e para, duke u ripërsëritur në vetvete dhe duke përditësuar përgjigjet e tij me kalimin e kohës, mund të arrijë shumë pa shpenzuar shumë.”
Kodi i TRM është i disponueshëm tani në Github sipas një Licence MIT të përshtatshme për ndërmarrjet dhe të qëndrueshme nga ana komerciale — që do të thotë se kushdo, nga studiuesit te kompanitë, mund ta marrë, modifikojë dhe ta vendosë në përdorim për qëllimet e veta, madje edhe për aplikacione komerciale.
Megjithatë, lexuesit duhet të jenë të vetëdijshëm se TRM është projektuar posaçërisht për të funksionuar mirë në probleme të strukturuara, vizuale, të bazuara në rrjet, si Sudoku, labirintet dhe enigmat në testin ARC (Abstract and Reasoning Corpus)-AGI , ky i fundit ofron detyra që duhet të jenë të lehta për njerëzit, por të vështira për modelet e IA-së, siç është renditja e ngjyrave në një rrjet bazuar në një zgjidhje paraprake, por jo identike.
Arkitektura TRM përfaqëson një thjeshtëzim rrënjësor.
Ai ndërtohet mbi një teknikë të quajtur Modeli i Arsyetimit Hierarkik (HRM) i prezantuar më parë këtë vit, i cili tregoi se rrjetet e vogla mund të zgjidhnin enigma logjike si Sudoku dhe labirintet.
Menaxhimi i Burimeve Njerëzore mbështetej në dy rrjete bashkëpunuese – njëri që vepronte me frekuencë të lartë dhe tjetri në frekuencë të ulët – të mbështetura nga argumente të frymëzuara biologjikisht dhe justifikime matematikore që përfshinin teorema të pikave fikse. Jolicoeur-Martineau e gjeti këtë të ndërlikuar pa nevojë.
TRM i heq këto elementë. Në vend të dy rrjeteve, ai përdor një model të vetëm me dy shtresa që përpunon në mënyrë rekursive parashikimet e veta.
Modeli fillon me një pyetje të integruar dhe një përgjigje fillestare, të përfaqësuar nga variablat x, y dhe z. Përmes një serie hapash arsyetimi, ai përditëson përfaqësimin e tij të brendshëm latent z dhe rafinon përgjigjen y derisa të konvergojë në një rezultat të qëndrueshëm. Çdo përsëritje korrigjon gabimet e mundshme nga hapi i mëparshëm, duke dhënë një proces arsyetimi vetë-përmirësues pa hierarki shtesë ose mbingarkesë matematikore.
Ideja thelbësore pas TRM është se rekursioni mund të zëvendësojë thellësinë dhe madhësinë.
Duke arsyetuar në mënyrë iterative mbi prodhimin e vet, rrjeti simulon në mënyrë efektive një arkitekturë shumë më të thellë pa kujtesën ose koston llogaritëse përkatëse. Ky cikël rekursiv, i zhvilluar në deri në gjashtëmbëdhjetë hapa mbikëqyrjeje, i lejon modelit të bëjë parashikime gjithnjë e më të mira – të ngjashme në frymë me mënyrën se si modelet e mëdha gjuhësore përdorin arsyetimin shumëhapëshor të “zinxhirit të mendimit”, por të arritur këtu me një dizajn kompakt dhe të bazuar në të ardhmen.
Thjeshtësia ia vlen si në efikasitet ashtu edhe në përgjithësim. Modeli përdor më pak shtresa, pa përafrime me pika fikse dhe pa hierarki me rrjet të dyfishtë. Një mekanizëm i lehtë ndalimi vendos se kur duhet të ndalet rafinimi, duke parandaluar llogaritjet e kota duke ruajtur njëkohësisht saktësinë.
Pavarësisht sipërfaqes së vogël, TRM ofron rezultate referuese që konkurrojnë ose tejkalojnë modelet miliona herë më të mëdha. Gjatë testimit, modeli arriti:
87.4% saktësi në Sudoku-Extreme (nga 55% për HRM)
85% saktësi në lojërat e enigmës Maze-Hard
45% saktësi në ARC-AGI-1
8% saktësi në ARC-AGI-2
Këto rezultate i tejkalojnë ose përputhen shumë me performancën e disa modeleve të gjuhëve të mëdha të nivelit të lartë, duke përfshirë DeepSeek R1, Gemini 2.5 Pro dhe o3-mini , pavarësisht se TRM përdor më pak se 0.01% të parametrave të tyre.
Rezultate të tilla sugjerojnë që arsyetimi rekursiv, jo shkalla, mund të jetë çelësi për trajtimin e problemeve të arsyetimit abstrakt dhe kombinatorik – fusha ku edhe modelet gjeneruese të nivelit të lartë shpesh pengohen.
Suksesi i TRM rrjedh nga minimalizmi i qëllimshëm. Jolicoeur-Martineau zbuloi se zvogëlimi i kompleksitetit çoi në përgjithësim më të mirë.
Kur studiuesi rriti numrin e shtresave ose madhësinë e modelit, performanca ra për shkak të mbipërshtatjes në grupe të vogla të të dhënave.
Në të kundërt, struktura me dy shtresa, e kombinuar me thellësi rekursive dhe mbikëqyrje të thellë, arriti rezultate optimale.
Modeli gjithashtu performoi më mirë kur vëmendja ndaj vetes u zëvendësua me një perceptron më të thjeshtë shumështresor në detyra me kontekste të vogla dhe të fiksuara si Sudoku.
Për rrjetat më të mëdha, siç janë enigmat ARC, vetëvëmendja mbeti e vlefshme. Këto gjetje nënvizojnë se arkitektura e modelit duhet të përputhet me strukturën dhe shkallën e të dhënave në vend që të jetë e paracaktuar në kapacitetin maksimal.
TRM tani është zyrtarisht i disponueshëm si burim i hapur sipas një licence MIT në GitHub.
Depozita përfshin skripte të plota trajnimi dhe vlerësimi, ndërtues të të dhënave për Sudoku, Maze dhe ARC-AGI, si dhe konfigurime reference për riprodhimin e rezultateve të publikuara.
Gjithashtu dokumenton kërkesat llogaritëse që variojnë nga një GPU e vetme NVIDIA L40S për stërvitjen në Sudoku deri te konfigurimet H100 me shumë GPU për eksperimentet ARC-AGI.
Publikimi i hapur konfirmon se TRM është projektuar posaçërisht për detyra të strukturuara të arsyetimit të bazuara në rrjetë, në vend të modelimit gjuhësor për qëllime të përgjithshme.
Çdo test referimi — Sudoku-Extreme, Maze-Hard dhe ARC-AGI — përdor rrjeta të vogla dhe të përcaktuara mirë të të dhënave hyrëse-dalëse, të cilat përputhen me procesin rekursiv të mbikëqyrjes së modelit.
Trajnimi përfshin shtim të konsiderueshëm të të dhënave (siç janë permutacionet e ngjyrave dhe transformimet gjeometrike), duke nënvizuar se efikasiteti i TRM qëndron në madhësinë e parametrave të tij dhe jo në kërkesën totale llogaritëse.
Thjeshtësia dhe transparenca e modelit e bëjnë atë më të arritshëm për studiuesit jashtë laboratorëve të mëdhenj të korporatave. Baza e kodit të tij ndërtohet drejtpërdrejt mbi kornizën e mëparshme të Modelit të Arsyetimit Hierarkik, por heq analogjitë biologjike të HRM-së, hierarkitë e shumëfishta të rrjetit dhe varësitë e pikave fikse.
Duke vepruar kështu, TRM ofron një bazë të riprodhueshme për të eksploruar arsyetimin rekursiv në modele të vogla – një kundërpikë ndaj filozofisë mbizotëruese “shkalla është e gjitha që ju nevojitet”.
Publikimi i TRM dhe baza e kodit të saj me burim të hapur shkaktoi një debat të menjëhershëm midis studiuesve dhe praktikuesve të IA-së në X. Ndërsa shumë e vlerësuan arritjen, të tjerë vunë në dyshim se sa gjerësisht mund të përgjithësoheshin metodat e saj.
Mbështetësit e përshëndetën TRM si provë se modelet e vogla mund t’i tejkalojnë gjigantët, duke e quajtur atë ” 10,000 herë më të vogël, por më të zgjuar ” dhe një hap potencial drejt arkitekturave që mendojnë në vend që thjesht të shkallëzohen.
Kritikët kundërshtuan duke thënë se domeni i TRM është i ngushtë — i fokusuar në enigma të kufizuara dhe të bazuara në rrjet — dhe se kursimet e saj në llogaritje vijnë kryesisht nga madhësia, jo nga koha totale e ekzekutimit.
Studiuesi Yunmin Cha vuri në dukje se stërvitja e TRM varet nga shtimi i rëndë dhe kalimet rekursive, “më shumë llogaritje, i njëjti model”.
Gjenetisti i kancerit dhe shkencëtari i të dhënave, Chey Loveday, theksoi se TRM është një zgjidhës , jo një model bisede apo gjenerator teksti: ai shkëlqen në arsyetimin e strukturuar, por jo në gjuhën e pakufizuar.
Studiuesi i të mësuarit automatik, Sebastian Raschka, e pozicionoi TRM-në si një thjeshtëzim të rëndësishëm të HRM-së dhe jo si një formë të re të inteligjencës së përgjithshme.
Ai e përshkroi procesin e tij si “një lak me dy hapa që përditëson një gjendje të brendshme arsyetimi, pastaj rafinon përgjigjen”.
Disa studiues, përfshirë Augustin Nabele, ranë dakord se forca e modelit qëndron në strukturën e tij të qartë të arsyetimit, por vunë re se puna e ardhshme do të duhet të tregojë transferimin në lloje problemesh më pak të kufizuara.
Konsensusi që po del në internet është se TRM mund të jetë i ngushtë, por mesazhi i tij është i gjerë: një rekurs i kujdesshëm, jo zgjerimi i vazhdueshëm, mund të nxisë valën e ardhshme të kërkimit të arsyetimit.
Ndërsa TRM aktualisht zbatohet në detyrat e arsyetimit të mbikëqyrur, korniza e saj rekursive hap disa drejtime për të ardhmen. Jolicoeur-Martineau ka sugjeruar eksplorimin e varianteve gjeneruese ose me shumë përgjigje, ku modeli mund të prodhojë zgjidhje të shumëfishta të mundshme në vend të një të vetme deterministe.
Një tjetër pyetje e hapur përfshin shkallëzimin e ligjeve për rekursion – përcaktimin se sa larg mund të shtrihet parimi “më pak është më shumë” ndërsa rritet kompleksiteti i modelit ose madhësia e të dhënave.
Në fund të fundit, studimi ofron si një mjet praktik ashtu edhe një kujtesë konceptuale: progresi në IA nuk ka nevojë të varet nga modele gjithnjë e më të mëdha. Ndonjëherë, mësimi i një rrjeti të vogël për të menduar me kujdes – dhe në mënyrë rekursive – mund të jetë më i fuqishëm sesa ta bësh një rrjet të madh të mendojë një herë.