Meta trajnon Llama 4 në grupin më të madh GPU në botë
Shefi ekzekutiv i Meta, Mark Zuckerberg ka zbuluar se modeli i ardhshëm i kompanisë Llama 4 AI po trajnohet në një grup të paparë të madh të GPU-ve.
Duke folur gjatë një telefonate për të ardhurat, Zuckerberg tha se zhvillimi i Llama 4 është duke u zhvilluar mirë dhe nisja e tij fillestare pritet në fillim të vitit të ardhshëm.
“Ne po trajnojmë modelet Llama 4 në një grup që është më i madh se 100,000 H100, ose më i madh se çdo gjë që kam parë të raportuar për atë që po bëjnë të tjerët,” tha ai.
Shkalla e trajnimit të AI konsiderohet kritike për zhvillimin e modeleve më të sofistikuara të AI.
Deri më tani, Meta duket të jetë përpara në këtë departament, me shumë gjigantë që ndoshta kërkojnë të përdorin grupe kompjuterike me mbi 100,000 çipa të nivelit të lartë.
Në fillim të këtij viti, Meta dhe NVIDIA zbuluan detaje të grupeve të rreth 25,000 H100 të përdorura për zhvillimin e Llama 3.
Ndërkohë, sipërmarrja xAI e Elon Musk bashkëpunoi me X dhe NVIDIA për të krijuar një grup prej 100,000 H100.
Qasja e Metës ndaj zhvillimit të AI është mjaft e ndryshme, pasi lejon që modelet Llama të shkarkohen plotësisht falas.
Kjo është ndryshe nga modelet nga OpenAI, Google dhe shumica e lojtarëve të tjerë të mëdhenj që ofrojnë akses vetëm përmes një API.
Edhe pse Meta e quan atë “open source”, licenca Llama vendos disa kufizime në përdorimin komercial dhe nuk zbulon detaje të trajnimit të modeleve.
Zhvillimi i Llama 4 ka të ngjarë të vijë me sfida unike inxhinierike dhe të kërkojë shumë energji.
Sipas vlerësimeve të SemiAnalysis , një grup prej 100,000 çipash H100 kërkon rreth 150 megavat energji, pesë herë më shumë se fuqia e konsumuar nga El Capitan, superkompjuteri më i madh kombëtar laboratorik në SHBA.
Pavarësisht këtyre sfidave, Meta planifikon të investojë deri në 40 miliardë dollarë kapital këtë vit në qendrat e të dhënave dhe infrastrukturën tjetër.
Qasja me burim të hapur të Metës ndaj AI ka ngjallur debat mes ekspertëve.
Disa janë të shqetësuar se modelet e fuqishme të AI mund të keqpërdoren për sulme kibernetike ose për të automatizuar dizajnin e armëve kimike ose biologjike.
Pavarësisht këtyre shqetësimeve, Zuckerberg mbetet i sigurt për strategjinë me burim të hapur.
Ai beson se “open source do të jetë opsioni më me kosto efektive, i personalizueshëm, i besueshëm, performues dhe më i lehtë për t’u përdorur që është në dispozicion të zhvilluesve.”