OpenAI lëshon Triton, një gjuhë programimi për optimizimin e ngarkesës së AI
OpenAI sot lëshoi Triton, një gjuhë programimi me burim të hapur, si Python që u mundëson studiuesve të shkruajnë kod GPU shumë efikas për ngarkesat e punës me AI. Triton bën të mundur arritjen e performancës maksimale të harduerit me një përpjekje relativisht të vogël, pretendon OpenAI, duke prodhuar kod në të njëjtin nivel me atë që një ekspert mund të arrinte në vetëm 25 rreshta.
Rrjetet e thella nervore janë shfaqur si një lloj i rëndësishëm i modelit AI, të aftë për të arritur performancën më të fundit në përpunimin e gjuhës natyrore, vizionin kompjuterik dhe fusha të tjera. Fuqia e këtyre modeleve qëndron në strukturën e tyre hierarkike, e cila gjeneron një sasi të madhe të punës shumë të paralelizueshme të përshtatshme për pajisjet me shumë bërthama si GPU-të. Kornizat për llogaritjet GPU me qëllime të përgjithshme si CUDA dhe OpenCL e kanë bërë zhvillimin e programeve me performancë të lartë më të lehtë vitet e fundit. Megjithatë GPU -të mbeten veçanërisht sfiduese për tu optimizuar, pjesërisht sepse arkitekturat e tyre evoluojnë me shpejtësi.
Gjuhët dhe përpiluesit specifikë të domenit janë shfaqur për të adresuar problemin, por këto sisteme kanë tendencë të jenë më pak fleksibël dhe më të ngadaltë se bërthamat më të mira të llogaritjes të shkruara me dorë të disponueshme në biblioteka si cuBLAS, cuDNN ose TensorRT. Arsyetimi për të gjithë këta faktorë mund të jetë sfidues edhe për programuesit me përvojë. Qëllimi i Triton, pra, është të automatizojë këto optimizime, në mënyrë që zhvilluesit të mund të përqëndrohen në logjikën e nivelit të lartë të kodit të tyre.
“Idetë e reja kërkimore në fushën e mësimit të thellë zbatohen në përgjithësi duke përdorur një kombinim të operatorëve kornizë vendas … [Duke përmendur kernelët e specializuar GPU [mund të përmirësojë performancën], por [shpesh] është çuditërisht e vështirë për shkak të ndërlikimeve të shumta të programimit GPU. Dhe megjithëse një sërë sistemesh janë shfaqur kohët e fundit për ta bërë këtë proces më të lehtë, ne kemi gjetur se ato janë ose shumë të folura, nuk kanë fleksibilitet, [ose] krijojnë një kod dukshëm më të ngadaltë sesa linjat tona bazë të sintonizuara me dorë, “Philippe Tillet, krijuesi origjinal i Triton, i cili tani punon në OpenAI si anëtar i stafit teknik, shkruajti në një postim në blog. “Hulumtuesit tanë kanë përdorur tashmë [Triton] për të prodhuar kernel që janë deri në 2 herë më efikas sesa zbatimet ekuivalente të Pishtarit, dhe ne jemi të ngazëllyer për të punuar me komunitetin për ta bërë programimin GPU më të arritshëm për të gjithë.”