Meta do të lëshojë dy versione më të vogla të modelit të saj me burim të hapur Llama 3 javën e ardhshme

Sipas një punonjësi të Meta, kompania do të lëshojë dy versione më të vogla të modelit të saj të ardhshëm në gjuhën e madhe Llama 3 javën e ardhshme, raportoi The Information.

Modelet më të vogla synojnë të krijojnë pritje për versionin më të madh të Llama 3 këtë verë, i cili është planifikuar të dalë një vit pas Llama 2 në verën e 2023.

Që atëherë, konkurrenca në tregun e burimeve të hapura është intensifikuar ndjeshëm. Gjithnjë e më shumë zhvillues modelesh po përpiqen të tërheqin vëmendjen duke i vënë modelet e tyre, ose një përzgjedhje të tyre, të disponueshme si burim të hapur.

Përveç modeleve Llama, startup-i francez i modelit Mistral ka bërë emër në skenën me burim të hapur me modelin Mistral 7B dhe Mixtral MoE. Google Deepmind së fundmi hyri në tregun me burim të hapur me modelet e tij Gemma.

Kompanitë e mëdha të teknologjisë që investojnë në AI me burim të hapur shpresojnë ta bëjnë sistemin e tyre një standard për mijëra ose miliona aplikacione të AI, të ngjashme me atë që Google ka bërë me Android.

Dy modelet më të vogla do të specializohen në gjenerimin e tekstit. Llama 3 i plotë, i planifikuar për verën, do të jetë multimodal dhe gjithashtu do të jetë në gjendje të gjenerojë imazhe ose t’u përgjigjet pyetjeve rreth imazheve.

Meta shpreson që Llama 3 do të arrijë GPT-4 të OpenAI . Me rreth 140 miliardë parametra, versioni më i madh i Llama 3 mund të jetë dy herë më i madh se Llama 2.

Megjithatë, numri i parametrave jep vetëm një tregues të kufizuar të cilësisë së modelit. Me 314 miliardë parametra, Grok-1 i Elon Musk është aktualisht modeli më i madh i përzierjes së ekspertëve me burim të hapur .

Megjithatë, performanca e tij është vetëm në të njëjtin nivel me GPT-3 .5 të OpenAI ose modelin Mistral shumë më të vogël të Mistralit me 56 miliardë parametra. Modeli 7B i Mistral ishte gjithashtu në gjendje të mundte modelet më të mëdha Llama.