Çipi i AI i Groq turbongarkon LLM dhe gjeneron tekst pothuajse në kohë reale
Për të arritur performancë edhe më të shpejtë, Groq ka zhvilluar pajisje të specializuara: LPU.
Këto LPU janë krijuar posaçërisht për të ekzekutuar modele gjuhësore dhe për të ofruar shpejtësi deri në 500 token në sekondë. Në krahasim, LLM-të relativisht të shpejta Gemini Pro dhe GPT-3 .5 menaxhojnë midis 30 dhe 50 shenja në sekondë , në varësi të ngarkesës, kërkesës, kontekstit dhe dorëzimit.
“GroqChip” i parë në kategorinë e sistemit LPU përdor një “arkitekturë të transmetimit tensor” që Groq thotë se është krijuar për performancën, efikasitetin, shpejtësinë dhe saktësinë.
Sipas startup-it, ndryshe nga njësitë tradicionale të përpunimit grafik (GPU), çipi ofron një arkitekturë të thjeshtuar që mundëson vonesë dhe xhiro konstante. Ky mund të jetë një avantazh për aplikacionet e AI në kohë reale, të tilla si lojërat.
LPU-të janë gjithashtu më efikase në energji, thotë Groq. Ato zvogëlojnë përpjekjen e nevojshme për të menaxhuar fijet e shumta dhe shmangin përdorimin e pamjaftueshëm të bërthamave, duke lejuar që të kryhen më shumë llogaritje për vat.
Dizajni i çipit të Groq lejon lidhjen e shumë TSP-ve pa pengesat tradicionale të lidhura me grupimet GPU. Sipas Groq, kjo e bën sistemin të shkallëzueshëm dhe thjeshton kërkesat e harduerit për modelet e mëdha të AI.
Sistemet e Groq mbështesin kornizat e zakonshme të mësimit të makinerive, të cilat duhet të lehtësojnë integrimin në projektet ekzistuese të AI. Groq shet pajisje dhe gjithashtu ofron një API cloud me modele me burim të hapur si Mixtral . Ju mund të provoni shpejtësinë e Groq me Mixtral dhe Llama këtu.
LPU-të mund të përmirësojnë vendosjen e aplikacioneve të AI dhe të ofrojnë një alternativë për çipat A100 dhe H100 të Nvidia, të cilët përdoren gjerësisht sot dhe në mungesë.
Por tani për tani, LPU-të punojnë vetëm për konkluzione, një fjalë e bukur për ekzekutimin e modeleve të AI. Për të trajnuar modelet, kompanitë ende kanë nevojë për GPU Nvidia ose çipa të ngjashëm. Groq u themelua në vitin 2016 nga Jonathan Ross, i cili më parë ka punuar në çipat TPU në Google.
Groq, një startup i çipeve të AI, ka zhvilluar një pajisje speciale të AI të quajtur “Njësia e përpunimit të gjuhës” (LPU) për të rritur shpejtësinë e përpunimit të modeleve të gjuhës së AI. Këto LPU mund të përpunojnë deri në 500 argumente në sekondë.
“GroqChip”, çipi i parë i këtij lloji në kategorinë e sistemeve LPU, bazohet në një “arkitekturë të transmetimit tensor” të krijuar për performancë dhe efikasitet të lartë.
LPU-të janë të pajtueshme me kornizat e njohura të mësimit të makinerive dhe mund të jenë një alternativë për çipat e njohur Nvidia, por fillimisht vetëm për fazën e konkluzionit, pra aplikimin e modeleve plotësisht të trajnuara të AI.