Algoritmi evolucionar i Sakana AI krijon modele të afta të AI duke bashkuar ato ekzistuese

Startup japonez i AI Sakana AI ka zhvilluar një metodë për gjenerimin automatik të modeleve të reja të AI duke kombinuar modelet ekzistuese duke përdorur një algoritëm evolucionar. Rezultatet fillestare janë premtuese.

Ideja kryesore e Sakana AI është të përdorë parime natyrore si evolucioni dhe inteligjenca kolektive për të krijuar modele të reja të AI.

Qëllimi është të zhvillohet një makinë që gjeneron automatikisht modele të personalizuara të AI për domenet e aplikacioneve të përcaktuara nga përdoruesit, në vend që të zhvillojë modele të reja çdo herë.

Startup me bazë në Tokio ka lëshuar tani modelet e tij të para të AI bazuar në një metodë të re të frymëzuar nga evolucioni i quajtur “Evolutionary Model Fusion”.

Kjo përdor teknika evolucionare për të gjetur në mënyrë efikase mënyrat më të mira për të kombinuar modele të ndryshme nga një grup i madh modelesh me burim të hapur me aftësi të ndryshme.

Qasja përdor dy metoda: Së pari, shtresat e modeleve të ndryshme rikombinohen në hapësirën e rrjedhës. Së dyti, ai ripërzien peshat e modeleve të ndryshme në hapësirën e parametrave. Algoritmi evolucionar kërkon hapësirën e madhe të kombinimeve të mundshme për të gjetur zgjidhje të reja dhe jointuitive që do të ishte e vështirë të zbuloheshin duke përdorur metoda konvencionale dhe intuitën njerëzore.

Për të testuar metodën, Sakana AI zhvilloi automatikisht një model gjuhësor të madh japonez (LLM) me aftësi matematikore dhe një model gjuhësor të vizionit japonez (VLM).

Çuditërisht, të dy modelet arritën rezultate më të avancuara në disa standarde LLM dhe vizion, edhe pse ato nuk ishin të optimizuara në mënyrë eksplicite për të performuar mirë në këto standarde.

Në veçanti, LLM matematikore japoneze me 7 miliardë parametra madje tejkaloi disa SOTA LLM japoneze të mëparshme me 70 miliardë parametra në një numër standardesh të LLM japoneze. Sakana AI beson se kjo LLM eksperimentale matematikore japoneze është mjaft e mirë për t’u përdorur si një LLM japoneze me qëllim të përgjithshëm.

LLM japonez është gjithashtu jashtëzakonisht i mirë në trajtimin e përmbajtjeve specifike për kulturën dhe arrin rezultate të shkëlqyera në një grup të dhënash japoneze të çifteve imazh-tekst.

Metoda mund të aplikohet edhe në modelet e difuzionit për gjenerimin e imazhit. Sakana AI raporton rezultate paraprake nga zhvillimi i një modeli japonez SDXL me cilësi të lartë, të shpejtë rrufe, që përdor vetëm katër hapa difuzioni.

Sakana AI lëshon tre modele japoneze fondacioni në Hugging Face dhe GithHub.

Sakana AI e sheh kombinimin e neuroevolucionit, inteligjencës kolektive dhe modeleve të themelimit si një qasje premtuese kërkimore afatgjatë. Kjo mund t’u mundësojë organizatave të mëdha të zhvillojnë modele të personalizuara të AI më shpejt dhe me kosto më efektive duke shfrytëzuar numrin në rritje të modeleve të AI me burim të hapur përpara se të investojnë burime masive në modele plotësisht të pronarit, sipas startup-it.

Sakana AI është një startup me bazë në Tokio, i themeluar nga ish ekspertët e Google AI, Llion Jones dhe David Ha për të zhvilluar modele gjeneruese të AI të frymëzuara nga natyra. Këto modele janë krijuar për të gjeneruar forma të ndryshme të përmbajtjes si tekst, imazhe, kode dhe multimedia.

Themeluesit synojnë të krijojnë sisteme të AI që janë të ndjeshme dhe të adaptueshme ndaj ndryshimeve në mjedisin e tyre, të ngjashme me sistemet natyrore me inteligjencë kolektive. Kjo përfaqëson një largim nga modelet tradicionale të AI, të cilat shpesh janë të dizajnuara si struktura të pandryshueshme.

Bashkëthemeluesi Jones është autor i punimit të mirënjohur kërkimor të vitit 2017 “Vëmendja është gjithçka që ju nevojitet”, i cili prezantoi arkitekturën “transformator” për të mësuar të thellë pas shumë prej sukseseve të sotme të AI. Startup-i, i cili ka mbledhur 30 milionë dollarë fonde fillestare nga investitorët, duke përfshirë Lux Capital dhe Khosla Ventures , synon ta kthejë Tokion në një qendër AI të ngjashme me OpenAI të San Franciskos dhe Deepmind të Londrës.