Google prezanton modelin e inteligjencës artificiale Gemma 3 270M, ultra të vogël dhe efikas me burim të hapur, që mund të funksionojë në smartphone
Ekipi kërkimor i inteligjencës artificiale DeepMind i Google ka zbuluar sot një model të ri të inteligjencës artificiale me burim të hapur, Gemma 3 270M.
Siç sugjeron edhe emri i tij, ky është një model me 270 milionë parametra shumë më i vogël se 70 miliardë ose më shumë parametra të shumë LLM-ve kufitare (parametrat janë numri i cilësimeve të brendshme që rregullojnë sjelljen e modelit).
Ndërsa më shumë parametra në përgjithësi përkthehen në një model më të madh dhe më të fuqishëm, fokusi i Google me këtë është pothuajse i kundërti: efikasitet i lartë, duke u dhënë zhvilluesve një model mjaftueshëm të vogël për t’u ekzekutuar direkt në telefonat inteligjentë dhe lokalisht, pa lidhje interneti, siç tregohet në testet e brendshme në një Pixel 9 Pro SoC.
Megjithatë, modeli është ende i aftë të trajtojë detyra komplekse, specifike për domenin, dhe mund të përshtatet shpejt brenda pak minutash për t’iu përshtatur nevojave të një zhvilluesi të ndërmarrjes ose të pavarur.
Në rrjetin social X, inxhinieri i Marrëdhënieve me Zhvilluesit e IA-së në stafin e Google DeepMind, Omar Sanseviero, shtoi se Gemma 3 270M mund të funksionojë gjithashtu direkt në shfletuesin e internetit të përdoruesit, në një Raspberry Pi dhe “në tostin tuaj”, duke nënvizuar aftësinë e tij për të funksionuar me pajisje shumë të lehta.
Gemma 3 270M kombinon 170 milionë parametra integrimi — falë një fjalori të madh prej 256 mijë të aftë për të trajtuar tokena të rrallë dhe specifikë — me 100 milionë parametra blloku transformatori.
Sipas Google, arkitektura mbështet performancë të fortë në detyrat që ndjekin udhëzimet menjëherë pas instalimit, ndërkohë që mbetet mjaftueshëm e vogël për rregullim dhe vendosje të shpejtë në pajisje me burime të kufizuara, duke përfshirë edhe harduerin celular.
Gemma 3 270M trashëgon arkitekturën dhe përgatitjen paraprake të modeleve më të mëdha Gemma 3, duke siguruar përputhshmëri në të gjithë ekosistemin Gemma. Me dokumentacion, receta për rregullime të hollësishme dhe udhëzues zbatimi të disponueshëm për mjete si Hugging Face, UnSloth dhe JAX, zhvilluesit mund të kalojnë shpejt nga eksperimentimi në zbatim.
Në testin IFEval, i cili mat aftësinë e një modeli për të ndjekur udhëzimet, Gemma 3 270M i akorduar për udhëzime mori një pikë prej 51.2%.
Rezultati e vendos atë shumë më lart se modelet e ngjashme të vogla si SmolLM2 135M Instruct dhe Qwen 2.5 0.5B Instruct, dhe më afër diapazonit të performancës së disa modeleve me miliard parametra, sipas krahasimit të publikuar nga Google.
Megjithatë, siç theksuan studiuesit dhe drejtuesit e startup-it rival të inteligjencës artificiale Liquid AI në përgjigjet e tyre në X, Google e la jashtë modelin LFM2-350M të Liquid të lëshuar në korrik të këtij viti, i cili shënoi një shifër marramendëse prej 65.12% me vetëm disa parametra më shumë (megjithatë, model gjuhe me madhësi të ngjashme).
Një nga pikat e forta përcaktuese të modelit është efikasiteti i tij energjetik. Në testet e brendshme duke përdorur modelin e kuantizuar INT4 në një Pixel 9 Pro SoC, 25 biseda konsumuan vetëm 0.75% të baterisë së pajisjes.
Kjo e bën Gemma 3 270M një zgjedhje praktike për inteligjencën artificiale në pajisje, veçanërisht në rastet kur privatësia dhe funksionaliteti jashtë linje janë të rëndësishme.
Versioni përfshin si një model të para-trajnuar ashtu edhe një model të akorduar sipas udhëzimeve, duke u dhënë zhvilluesve dobi të menjëhershme për detyra të përgjithshme që ndjekin udhëzimet.
Janë gjithashtu të disponueshme pika kontrolli të Trajnuara për Kuantizimin (QAT), të cilat mundësojnë saktësi INT4 me humbje minimale të performancës dhe e bëjnë modelin gati për prodhim për mjedise me burime të kufizuara.
Google e paraqet Gemma 3 270M si pjesë të një filozofie më të gjerë të zgjedhjes së mjetit të duhur për punën në vend që të mbështetet në madhësinë e modelit të papërpunuar.
Për funksione si analiza e ndjenjave, nxjerrja e entiteteve, drejtimi i pyetjeve, gjenerimi i tekstit të strukturuar, kontrollet e përputhshmërisë dhe shkrimi krijues, kompania thotë se një model i vogël i përshtatur mirë mund të ofrojë rezultate më të shpejta dhe më efektive nga ana e kostos sesa një model i madh për qëllime të përgjithshme.
Përfitimet e specializimit janë të dukshme në punën e kaluar, siç është bashkëpunimi i Adaptive ML me SK Telecom.
Duke përmirësuar me imtësi një model Gemma 3 4B për moderimin e përmbajtjes shumëgjuhëshe, ekipi ia kaloi sistemeve shumë më të mëdha pronësore.
Gemma 3 270M është projektuar për të mundësuar sukses të ngjashëm në një shkallë edhe më të vogël, duke mbështetur flota modelesh të specializuara të përshtatura për detyra individuale.
Përtej përdorimit në ndërmarrje, modeli përshtatet edhe në skenarë krijues. Në një video demonstruese të postuar në YouTube, Google tregon një aplikacion Bedtime Story Generator të ndërtuar me Gemma 3 270M dhe Transformers.js që funksionon tërësisht jashtë linje në një shfletues interneti, duke treguar shkathtësinë e modelit në aplikacione të lehta dhe të arritshme.
Videoja nxjerr në pah aftësinë e modelit për të sintetizuar të dhëna të shumëfishta duke lejuar përzgjedhje për një personazh kryesor (p.sh., “një mace magjike”), një mjedis (“në një pyll të magjepsur”), një kthesë të ngjarjes (“zbulon një derë sekrete”), një temë (“Aventureske”) dhe një gjatësi të dëshiruar (“E shkurtër”).
Pasi të jenë vendosur parametrat, modeli Gemma 3 270M gjeneron një histori koherente dhe imagjinative. Aplikacioni vazhdon të thur një rrëfim të shkurtër dhe aventuresk bazuar në zgjedhjet e përdoruesit, duke demonstruar aftësinë e modelit për gjenerim teksti krijues dhe të vetëdijshëm për kontekstin.
Kjo video shërben si një shembull i fuqishëm se si Gemma 3 270M, e lehtë por e aftë, mund të fuqizojë aplikacione të shpejta, tërheqëse dhe interaktive pa u mbështetur në cloud, duke hapur mundësi të reja për përvojat e inteligjencës artificiale në pajisje.
Gemma 3 270M publikohet sipas Kushteve të Përdorimit të Gemma-s, të cilat lejojnë përdorimin, riprodhimin, modifikimin dhe shpërndarjen e modelit dhe derivateve të tij, me kusht që të përmbushen kushte të caktuara.
Këto përfshijnë vazhdimin e kufizimeve të përdorimit të përcaktuara në Politikën e Përdorimit të Ndaluar të Google, ofrimin e Kushteve të Përdorimit për marrësit e mëtejshëm dhe tregimin e qartë të çdo modifikimi të bërë. Shpërndarja mund të jetë e drejtpërdrejtë ose përmes shërbimeve të hostuara siç janë API-të ose aplikacionet web.
Për ekipet e ndërmarrjeve dhe zhvilluesit komercialë, kjo do të thotë që modeli mund të integrohet në produkte, të vendoset si pjesë e shërbimeve cloud ose të përshtatet në derivate të specializuara, për sa kohë që respektohen kushtet e licencimit. Rezultatet e gjeneruara nga modeli nuk pretendohen nga Google, duke u dhënë bizneseve të drejta të plota mbi përmbajtjen që krijojnë.
Megjithatë, zhvilluesit janë përgjegjës për të siguruar pajtueshmërinë me ligjet në fuqi dhe për të shmangur përdorimet e ndaluara, të tilla si gjenerimi i përmbajtjes së dëmshme ose shkelja e rregullave të privatësisë.
Licenca nuk është me burim të hapur në kuptimin tradicional, por mundëson përdorim të gjerë komercial pa një licencë të veçantë me pagesë.
Për kompanitë që ndërtojnë aplikacione komerciale të inteligjencës artificiale, konsideratat kryesore operacionale janë sigurimi që përdoruesit fundorë të jenë të detyruar nga kufizime ekuivalente, dokumentimi i modifikimeve të modelit dhe zbatimi i masave të sigurisë në përputhje me politikën e përdorimeve të ndaluara.
Me Gemmaverse që tejkalon 200 milionë shkarkime dhe linjën Gemma që përfshin variante të optimizuara për cloud, desktop dhe celular, Zhvilluesit e IA-së të Google po e pozicionojnë Gemma 3 270M si një themel për ndërtimin e zgjidhjeve të IA-së të shpejta, me kosto efektive dhe të fokusuara në privatësi, dhe tashmë duket se ka filluar shumë mirë.