Modeli i ri Llama i Metës i kalon konkurrentët

Meta ka njoftuar shtimin më të ri në familjen e saj Llama të modeleve gjeneruese të AI: Llama 3.3 70B.

Në një postim në X, Ahmad Al-Dahle, VP i AI gjeneruese në Meta, tha se Llama 3.3 70B vetëm me tekst jep performancën e modelit Llama më të madh të Metës, Llama 3.1 405B, me kosto më të ulët.

“Duke shfrytëzuar avancimet më të fundit në teknikat e pas-stërvitjes … ky model përmirëson performancën bazë me një kosto dukshëm më të ulët,” shkroi Al-Dahle.

Al-Dahle publikoi një grafik që tregon Llama 3.3 70B që tejkalon Gemini 1.5 Pro të Google, GPT-4o të OpenAI dhe Nova Pro të sapo lëshuar të Amazon në një numër standardesh të industrisë, duke përfshirë MMLU, i cili vlerëson aftësinë e një modeli për të kuptuar gjuhën. Përmes emailit, një zëdhënës i Meta tha se modeli duhet të sjellë përmirësime në fusha si matematika, njohuritë e përgjithshme, ndjekja e udhëzimeve dhe përdorimi i aplikacionit.

Llama 3.3 70B, i cili është i disponueshëm për shkarkim nga platforma e zhvillimit të AI Hugging Face dhe burime të tjera, duke përfshirë faqen zyrtare të Llama , është loja më e fundit e Metës për të dominuar fushën e AI me modele “të hapura” që mund të përdoren dhe komercializohen për një sërë aplikacionet.

Kushtet e Metës kufizojnë mënyrën se si disa zhvillues mund të përdorin modelet Llama; platformat me më shumë se 700 milionë përdorues mujor duhet të kërkojnë një licencë të veçantë. Por për shumë njerëz, është e parëndësishme që modelet Llama nuk janë ” të hapura ” në kuptimin më të rreptë. Për shembull, Llama ka grumbulluar më shumë se 650 milionë shkarkime, sipas Metës.

Meta ka shfrytëzuar Llamën edhe brenda. Meta AI , asistenti i AI i kompanisë, i cili mundësohet tërësisht nga modelet Llama, tani ka afro 600 milionë përdorues aktivë mujorë, sipas CEO të Meta, Mark Zuckerberg. Zuckerberg pretendon se Meta AI është në rrugën e duhur për të qenë asistenti më i përdorur i AI në botë.

Për Metën, natyra e hapur e Llamës ka qenë bekim dhe mallkim. Në nëntor, një raport pretendonte se studiuesit ushtarakë kinezë kishin përdorur një model Llama për të zhvilluar një chatbot mbrojtës. Meta u përgjigj duke vënë në dispozicion modelet e saj Llama për kontraktorët e mbrojtjes amerikane .

Meta ka shprehur gjithashtu shqetësime për aftësinë e tij për të respektuar Aktin e AI , ligji i BE-së që vendos një kuadër rregullator për AI, duke e quajtur zbatimin e ligjit “shumë të paparashikueshëm” për strategjinë e tij të lëshimit të hapur. Një çështje e lidhur për kompaninë janë dispozitat në GDPR, ligjin e BE-së për privatësinë, që kanë të bëjnë me trajnimin e AI. Meta trajnon modelet e inteligjencës artificiale në të dhënat publike të përdoruesve të Instagram dhe Facebook, të cilët nuk janë tërhequr – të dhëna që në Evropë i nënshtrohen garancive të GDPR.

Rregullatorët e BE-së në fillim të këtij viti kërkuan që Meta të ndalonte trajnimin mbi të dhënat e përdoruesve evropianë, ndërkohë që ata vlerësonin pajtueshmërinë me GDPR të kompanisë. Meta u dorëzua, ndërsa në të njëjtën kohë miratoi një letër të hapur që bën thirrje për “një interpretim modern” të GDPR që nuk “refuzon progresin”.

Meta, jo imun ndaj sfidave teknike me të cilat po përballen laboratorët e tjerë të AI , po rrit infrastrukturën e saj kompjuterike për të trajnuar dhe shërbyer brezave të ardhshëm të Llama. Kompania njoftoi të mërkurën se do të ndërtonte një qendër të të dhënave AI prej 10 miliardë dollarësh në Luiziana – qendra më e madhe e të dhënave të AI që Meta ka ndërtuar ndonjëherë.

Zuckerberg tha në thirrjen e fitimeve të Meta-s në tremujorin e katërt në gusht se për të trajnuar grupin tjetër të madh të modeleve Llama, Llama 4, kompanisë do t’i duhet 10 herë më shumë llogaritje se sa ishte e nevojshme për të trajnuar Llama 3. Meta ka blerë një grup prej më shumë se 100,000 GPU Nvidia për zhvillimin e modelit, duke rivalizuar burimet e konkurrencës si xAI.

Trajnimi i modeleve gjeneruese të AI është një biznes i kushtueshëm. Shpenzimet kapitale të Meta u rritën gati 33% në 8.5 miliardë dollarë në tremujorin e dytë 2024, nga 6.4 miliardë dollarë një vit më parë, të nxitura nga investimet në serverë, qendra të dhënash dhe infrastrukturë rrjeti.