SIM i ri i fizikës trajnon robotët 430,000 herë më shpejt se realiteti

Të enjten, një grup i madh studiuesish të universitetit dhe industrisë private zbuluan Genesis, një sistem i ri simulimi kompjuterik me burim të hapur që lejon robotët të praktikojnë detyra në realitetin e simuluar 430,000 herë më shpejt se në botën reale. Studiuesit mund të përdorin gjithashtu një agjent AI për të gjeneruar simulime të fizikës 3D nga kërkesat e tekstit.

Simulimi i përshpejtuar do të thotë që një rrjet nervor për pilotimin e robotëve mund të kalojë ekuivalentin virtual të dekadave duke mësuar të marrë objekte, të ecë ose të manipulojë mjetet gjatë vetëm disa orëve të kohës reale të kompjuterit.

“Një orë kohë llogaritëse i jep një roboti 10 vjet përvojë trajnimi. Kështu Neo ishte në gjendje të mësonte artet marciale sa hap e mbyll sytë në Matrix Dojo,” shkroi bashkëautori i letrës së Genesis, Jim Fan në X, i cili thotë se ai luajti një “rol të vogël” në hulumtim. Fan ka punuar më parë në disa projekte simulimi robotikë për Nvidia.

Zanafilla mbërrin ndërsa studiuesit e robotikës kërkojnë mjete më të mira për të testuar dhe trajnuar robotët në mjedise virtuale përpara se t’i vendosin në botën reale. Simulimi i shpejtë dhe i saktë i ndihmon robotët të mësojnë më shpejt detyrat komplekse duke reduktuar nevojën për testime të shtrenjta fizike. Për shembull, në këtë faqe të projektit, studiuesit tregojnë teknikat e zhvilluara në simulimet e fizikës së Zanafillës (të tilla si bërja e rrokullisjeve të pasme) që aplikohen te robotët katërkëmbësh dhe robotët e butë.

Platforma Genesis, e zhvilluar nga një grup i udhëhequr nga Zhou Xian i Universitetit Carnegie Mellon, përpunon llogaritjet e fizikës deri në 80 herë më shpejt se simulatorët ekzistues të robotëve (si Gym Isaac i Nvidia ). Ai përdor karta grafike të ngjashme me ato që fuqizojnë lojërat video për të ekzekutuar deri në 100,000 kopje të një simulimi menjëherë. Kjo është e rëndësishme kur bëhet fjalë për trajnimin e rrjeteve nervore që do të kontrollojnë robotët e ardhshëm të botës reale.

“Nëse një AI mund të kontrollojë 1000 robotë për të kryer 1 milion aftësi në 1 miliard simulime të ndryshme, atëherë mund të ‘funksionojë’ vetëm në botën tonë reale, që është thjesht një pikë tjetër në hapësirën e madhe të realiteteve të mundshme,” shkroi Fan në X e tij. postim. “Ky është parimi themelor përse simulimi funksionon kaq efektivisht për robotikën.”

Ekipi njoftoi gjithashtu aftësinë për të gjeneruar atë që e quan “botë dinamike 4D” – ndoshta duke përdorur “4D” sepse ata mund të simulojnë një botë 3D në lëvizje me kalimin e kohës. Sistemi përdor modele të gjuhës së vizionit (VLM) për të gjeneruar mjedise të plota virtuale nga përshkrimet e tekstit (të ngjashme me “kërkesat” në modelet e tjera të AI), duke përdorur API-të e infrastrukturës simuluese të vetë Genesis për të krijuar botët.

Botët e krijuara nga AI thuhet se përfshijnë fizikën realiste, lëvizjet e kamerës dhe sjelljet e objekteve, të gjitha nga komandat e tekstit. Sistemi më pas krijon video dhe të dhëna të sakta fizike të gjurmuara nga rrezet që robotët mund t’i përdorin për stërvitje.

Ky sistem i bazuar në prompt i lejon studiuesit të krijojnë mjedise komplekse testimi robotësh duke shtypur komandat e gjuhës natyrore në vend që t’i programojnë ato me dorë. “Tradicionalisht, simulatorët kërkojnë një sasi të madhe përpjekjesh manuale nga artistët: asetet 3D, teksturat, paraqitjet e skenave, etj. Por çdo komponent në rrjedhën e punës mund të automatizohet,” shkroi Fan.

Duke përdorur motorin e tij, Genesis mund të gjenerojë gjithashtu lëvizje të personazheve, skena interaktive 3D, animacion të fytyrës dhe më shumë, të cilat mund të lejojnë krijimin e aseteve artistike për projekte krijuese, por gjithashtu mund të çojnë në lojëra dhe video më realiste të krijuara nga AI në të ardhmen. , duke ndërtuar një botë të simuluar në të dhëna në vend që të operohet në pamjen statistikore të pikselëve si me një model të difuzionit të sintezës së videos.

Ndërsa sistemi gjenerues nuk është ende pjesë e kodit aktualisht të disponueshëm në GitHub, ekipi planifikon ta lëshojë atë në të ardhmen.

Genesis mbetet në zhvillim aktiv në GitHub, ku ekipi pranon kontributet e komunitetit.

Platforma dallon nga simulatorët e tjerë të botës 3D për trajnimin robotik duke përdorur Python si për ndërfaqen e tij të përdoruesit, ashtu edhe për motorin bazë të fizikës. Motorë të tjerë përdorin C++ ose CUDA për llogaritjet e tyre themelore ndërsa i mbështjellin ato në Python API. Genesis merr një qasje të parë Python.

Veçanërisht, natyra jo pronësore e platformës Genesis i bën simulimet e trajnimit të robotëve me shpejtësi të lartë të disponueshme për çdo studiues falas përmes komandave të thjeshta të Python që funksionojnë në kompjuterë të rregullt me ​​pajisje të disponueshme.

Më parë, ekzekutimi i simulimeve të robotëve kërkonte programim kompleks dhe pajisje të specializuara, thotë Fan në postimin e tij duke njoftuar Genesis, dhe kjo nuk duhet të jetë kështu. “Robotika duhet të jetë një iniciativë e hënës në pronësi të gjithë njerëzimit,” shkroi ai.