Nvidia trajnon një model të vogël AI që kontrollon robotët humanoidë më mirë se specialistët

Studiuesit e Nvidia kanë ndërtuar një rrjet të vogël nervor që kontrollon robotët humanoidë në mënyrë më efektive sesa sistemet e specializuara, edhe pse përdor shumë më pak burime. Sistemi funksionon me metoda të shumta të hyrjes, nga kufjet VR deri te kapja e lëvizjes.

Sistemi i ri, i quajtur HOVER, ka nevojë për vetëm 1.5 milion parametra për të trajtuar lëvizjet komplekse të robotëve. Për kontekstin, modelet tipike të gjuhëve të mëdha përdorin qindra miliarda parametra.

Ekipi trajnoi HOVER në mjedisin e simulimit të Isaac të Nvidia, i cili përshpejton lëvizjet e robotëve 10,000 herë. Sipas studiuesit të Nvidia, Jim Fan, kjo do të thotë që një vit i plotë trajnimi në hapësirën virtuale kërkon vetëm 50 minuta kohë reale llogaritëse në një GPU.

HOVER lëviz zero-shot nga simulimi në robotë fizikë pa pasur nevojë për rregullim të imët, thotë Fan. Sistemi pranon të dhëna nga burime të shumta, duke përfshirë gjurmimin e kokës dhe të duarve nga pajisjet XR si Apple Vision Pro, pozicionet e trupit të plotë nga kapja e lëvizjes ose kamerat RGB, këndet e nyjeve nga ekzoskeletet dhe kontrollet standarde të levës.

Sistemi performon më mirë në secilën metodë kontrolli sesa sistemet e ndërtuara posaçërisht për vetëm një lloj hyrjeje. Autori kryesor Tairan Ai spekulon se kjo mund të jetë për shkak të kuptimit të gjerë të sistemit të koncepteve fizike si ekuilibri dhe kontrolli i saktë i gjymtyrëve, të cilat ai i zbaton në të gjitha llojet e kontrollit.

Sistemi bazohet në projektin H2O & OmniH2O me burim të hapur dhe punon me çdo robot humanoid që mund të funksionojë në simulatorin Isaac. Nvidia ka postuar shembuj dhe kode në GitHub.