MistralAI debuton Mixtral 8x22B, një nga modelet më të fuqishme të AI me burim të hapur deri më tani

Fillesa e inteligjencës artificiale gjeneruese me burim të hapur me bazë në Paris, Mistral AI, lëshoi ​​sot një tjetër model të madh gjuhësor në një përpjekje për të mbajtur ritmin me djemtë e mëdhenj të industrisë.

Modeli i ri Mixtral 8x22B pritet të jetë më i mirë se modeli i mëparshëm i kompanisë, Mixtral 8x7B. Shumë ekspertë e konsideruan atë si një konkurrent jashtëzakonisht të denjë për pretendentët më të njohur si GPT-3.5 i OpenAI dhe Llama 2 i Meta Platforms Inc.

Sipas startup-it, i cili mblodhi 415 milionë dollarë në dhjetor dhe vlerësohet në veri prej 2 miliardë dollarësh, modeli i ri është më i fuqishmi i tij deri më tani, me një dritare konteksti prej 65,000 shenjash, e cila i referohet sasisë së tekstit që mund të përpunojë dhe referojë në të njëjtën kohë. Përveç kësaj, Mixtral 8x22B përmban një madhësi parametri deri në 176 miliardë, që i referohet numrit të variablave të brendshëm që përdor për të marrë vendime dhe parashikime.

Mistral u themelua nga studiues të inteligjencës artificiale nga Google LLC dhe Meta, dhe është një nga disa startup-et e inteligjencës artificiale të fokusuara në ndërtimin e modeleve me burim të hapur që çdokush mund t’i përdorë. Kompania mori një qasje disi të pazakontë për të vënë në dispozicion modelin e ri nëpërmjet një lidhjeje torrent të postuar në platformën e mediave sociale X. Më vonë ajo e bëri Mixtral 8x22B të disponueshme në platformat Hugging Face dhe Together AI , ku përdoruesit mund ta ritrajnojnë dhe rafinojnë atë për të trajtuar më shumë detyra të specializuara.

Fillimi lëshoi ​​Mixtral 8x22B vetëm disa ditë pasi rivalët e tij dorëzuan modelet e tyre më të fundit. Të martën, OpenAI debutoi GPT-4 Turbo me Vision, i fundit në serinë e modeleve të tij GPT-4 Turbo që shfaqin aftësi vizioni që i mundësojnë të punojë me foto, vizatime dhe çdo imazh tjetër të ngarkuar nga përdoruesit. Më vonë atë ditë, Google vuri në dispozicion të tij më të avancuarin, Gemini Pro 1.5 LLM në përgjithësi, duke u dhënë zhvilluesve qasje në një version falas që u lejon atyre deri në 50 kërkesa në ditë.

Për të mos u zgjatur, Meta tha gjithashtu këtë javë se po planifikon të lançojë Llama 3 në fund të këtij muaji.

Mixtral 8x22B pritet gjerësisht të tejkalojë modelin e mëparshëm Mixtral 8x7B të Mistral AI , i cili ishte gati të mposhtte GPT-3.5 dhe Llama 2 në një numër standardesh kryesore.

Modeli përdor një arkitekturë të përparuar dhe të rrallë të “përzierjes së ekspertëve” që i mundëson atij të kryejë llogaritje efikase dhe të ofrojë performancë të lartë në një gamë të gjerë detyrash. Qasja e rrallë e MM-së synon t’u sigurojë përdoruesve një kombinim modelesh të ndryshme, me secilin të specializuar në një kategori të ndryshme detyrash, si një mënyrë për të optimizuar performancën dhe kostot.

“Në çdo shtresë, për çdo shenjë, një rrjet router zgjedh dy nga këto grupe (“ekspertët”) për të përpunuar tokenin dhe për të kombinuar prodhimin e tyre në mënyrë shtesë,” thotë Mistral AI në faqen e saj të internetit. “Kjo teknikë rrit numrin e parametrave të një modeli duke kontrolluar koston dhe vonesën, pasi modeli përdor vetëm një pjesë të grupit total të parametrave për shenjë.”

Arkitektura unike do të thotë që, edhe pse Mixtral 8x22B është i madh, ai kërkon vetëm rreth 44 miliardë parametra aktivë për kalim përpara, gjë që e bën atë më të shpejtë dhe me kosto më efektive për t’u përdorur sesa modelet me përmasa të ngjashme.

Prandaj, lansimi i Mixtral 8x22B është një moment historik për AI gjeneruese me burim të hapur, duke u dhënë kërkuesve, zhvilluesve dhe entuziastëve të tjerë mundësinë për të luajtur me disa nga modelet më të avancuara pa pengesa si aksesi i kufizuar dhe kostot e mëdha. Është në dispozicion për t’u përdorur nën një licencë lejuese Apache 2.0.

Reagimi nga komuniteti i AI në mediat sociale ka qenë kryesisht pozitiv, me entuziastët që shprehin shpresën se do të ofrojë aftësi të rëndësishme për detyra të tilla si shërbimi ndaj klientit, zbulimi i drogës dhe modelimi i klimës.

Pavarësisht se ka fituar lëvdata të konsiderueshme për qasjen e saj me burim të hapur, Mistral AI ka tërhequr gjithashtu kritika. Modelet e kompanisë njihen si “modele kufitare” dhe do të thotë se ka potencial për keqpërdorim. Për më tepër, për shkak se çdokush mund të shkarkojë dhe të ndërtojë mbi modelet e AI të kompanisë, startup-i nuk ka asnjë mënyrë për të parandaluar përdorimin e teknologjisë së tij për qëllime të dëmshme.