Apple bashkohet me NVIDIA për të shpejtuar modelet e gjuhës së AI

Apple ka ndarë detaje mbi një bashkëpunim me NVIDIA për të përmirësuar në masë të madhe performancën e modeleve të gjuhëve të mëdha (LLM) duke zbatuar një teknikë të re të gjenerimit të tekstit që ofron përmirësime të konsiderueshme të shpejtësisë për aplikacionet e AI.

Apple në fillim të këtij viti publikoi dhe me burim të hapur Recurrent Drafter (ReDrafter), një qasje që kombinon kërkimin me rreze dhe metodat dinamike të vëmendjes së pemës për të përshpejtuar gjenerimin e tekstit. Kërkimi me rreze eksploron sekuenca të shumta të mundshme teksti në të njëjtën kohë për rezultate më të mira, ndërsa vëmendja e pemës organizon dhe heq mbivendosjet e tepërta midis këtyre sekuencave për të përmirësuar efikasitetin.

Apple tani e ka integruar teknologjinë në kornizën TensorRT-LLM të NVIDIA, e cila optimizon LLM-të që funksionojnë në GPU-të NVIDIA, ku arriti “performancën më të mirë”, sipas Apple. Integrimi pa që teknika të menaxhonte një rritje të shpejtësisë 2.7x në shenjat e gjeneruara në sekondë gjatë testimit me një model prodhimi që përmban dhjetëra miliarda parametra.

Apple thotë se performanca e përmirësuar jo vetëm që redukton vonesën e perceptuar nga përdoruesi, por gjithashtu çon në ulje të përdorimit të GPU-së dhe konsumit të energjisë. Nga blogu i Kërkimit të Mësimit të Makinerisë së Apple:
“LLM-të po përdoren gjithnjë e më shumë për të fuqizuar aplikacionet e prodhimit dhe përmirësimi i efikasitetit të konkluzioneve mund të ndikojë në kostot llogaritëse dhe të zvogëlojë vonesën për përdoruesit. Me qasjen e re të ReDrafter për dekodimin spekulativ të integruar në kornizën NVIDIA TensorRT-LLM, zhvilluesit tani mund të përfitojnë nga gjenerimi më i shpejtë i shenjave në GPU-të NVIDIA për aplikacionet e tyre të prodhimit LLM.”

Zhvilluesit e interesuar në zbatimin e ReDrafter mund të gjejnë informacion të detajuar si në faqen e internetit të Apple ashtu edhe në blogun e zhvilluesve të NVIDIA.