Mjeti i ri i Nvidia ju lejon të ekzekutoni modelet GenAI në një PC

Nvidia, gjithnjë e prirur për të nxitur blerjet e GPU-ve të saj më të fundit, po lëshon një mjet që lejon pronarët e kartave GeForce RTX 30 Series dhe 40 Series të ekzekutojnë një chatbot të fuqizuar nga AI jashtë linje në një kompjuter Windows.

I quajtur Chat with RTX, mjeti i lejon përdoruesit të personalizojnë një model GenAI përgjatë linjave të ChatGPT të OpenAI duke e lidhur atë me dokumente, skedarë dhe shënime që më pas mund t’i kërkojë.

“Në vend që të kërkojnë përmes shënimeve ose përmbajtjes së ruajtur, përdoruesit thjesht mund të shkruajnë pyetje,” shkruan Nvidia në një postim në blog. “Për shembull, dikush mund të pyesë: “Cili ishte restoranti që më rekomandoi partneri im ndërsa ishte në Las Vegas?” dhe Chat with RTX do të skanojë skedarët lokalë tek të cilët përdoruesi i drejton dhe do të japë përgjigjen me kontekst.”

Chat me RTX është i paracaktuar në modelin me burim të hapur të Mistral-it të startimit të AI , por mbështet modele të tjera të bazuara në tekst, duke përfshirë Llama 2 të Metës . Nvidia paralajmëron se shkarkimi i të gjithë skedarëve të nevojshëm do të konsumojë një sasi të mjaftueshme ruajtjeje – 50 GB deri në 100 GB, në varësi të modelit(ve) të zgjedhur.

Aktualisht, Chat with RTX funksionon me formate teksti, PDF, .doc, .docx dhe .xml. Drejtimi i aplikacionit në një dosje që përmban ndonjë skedar të mbështetur do t’i ngarkojë skedarët në grupin e të dhënave të rregullimit të imët të modelit. Për më tepër, Chat with RTX mund të marrë URL-në e një liste luajtjeje në YouTube për të ngarkuar transkriptimet e videove në listën e luajtjes, duke mundësuar që cilido model i zgjedhur të kërkojë përmbajtjen e tyre.

Tani, ka disa kufizime për t’u mbajtur në mend, të cilat Nvidia për kredinë e saj i përshkruan në një udhëzues se si duhet.

Biseda me RTX nuk mund të kujtojë kontekstin, që do të thotë se aplikacioni nuk do të marrë parasysh asnjë pyetje të mëparshme kur u përgjigjet pyetjeve vijuese. Për shembull, nëse pyetni “Çfarë është një zog i zakonshëm në Amerikën e Veriut?” dhe ndiqni atë me “Cilat janë ngjyrat e saj?”, Biseda me RTX nuk do ta kuptojë se po flisni për zogj.

Nvidia pranon gjithashtu se rëndësia e përgjigjeve të aplikacionit mund të ndikohet nga një sërë faktorësh, disa më të lehtë për t’u kontrolluar se të tjerët – duke përfshirë formulimin e pyetjeve, performancën e modelit të zgjedhur dhe madhësinë e grupit të të dhënave të rregullimit të imët. Kërkimi i fakteve të mbuluara në disa dokumente ka të ngjarë të japë rezultate më të mira sesa të kërkoni një përmbledhje të një dokumenti ose një grupi dokumentesh. Dhe cilësia e përgjigjes në përgjithësi do të përmirësohet me grupe të dhënash më të mëdha – siç do të tregojë Chat me RTX në më shumë përmbajtje rreth një teme specifike, thotë Nvidia.

Pra, Chat with RTX është më shumë një lodër se çdo gjë për t’u përdorur në prodhim. Gjithsesi, ka diçka për të thënë për aplikacionet që e bëjnë më të lehtë ekzekutimin e modeleve të AI në nivel lokal – që është një tendencë në rritje.

Në një raport të fundit, Forumi Ekonomik Botëror parashikoi një rritje “dramatike” të pajisjeve të përballueshme që mund të ekzekutojnë modelet GenAI jashtë linje, duke përfshirë PC-të, telefonat inteligjentë, pajisjet e Internetit të Gjërave dhe pajisjet e rrjetit. Arsyet, tha WEF, janë përfitimet e qarta: Jo vetëm që modelet offline janë në thelb më private – të dhënat që përpunojnë nuk largohen kurrë nga pajisja në të cilën funksionojnë – por ato janë me vonesë më të ulët dhe më kosto-efektive se modelet e strehuara në cloud.

Natyrisht, demokratizimi i mjeteve për të drejtuar dhe trajnuar modele hap derën për aktorët keqdashës – një Kërkim i përciptë në Google jep shumë listime për modele të rregulluara mirë në përmbajtje toksike nga qoshet e paskrupullta të uebit. Por përkrahësit e aplikacioneve si Chat with RTX argumentojnë se përfitimet janë më të mëdha se dëmet. Do të duhet të presim dhe të shohim.