Të dhënat e reja HOT3D të Meta-s mund t’u mundësojnë robotëve të mësojnë aftësi manuale nga ekspertë njerëzorë

Meta ka lëshuar një bazë të re të dhënave standarde të quajtur HOT3D për të avancuar kërkimin e AI në fushën e ndërveprimeve 3D dorë-objekt. Të dhënat përmbajnë mbi një milion korniza nga këndvështrime të shumta.

Të dhënat e HOT3D nga Meta synojnë të përmirësojnë të kuptuarit se si njerëzit përdorin duart e tyre për të manipuluar objektet. Sipas Metës, kjo mbetet një sfidë kyçe për kërkimin e vizionit kompjuterik.

Kompleti i të dhënave përfshin mbi 800 minuta regjistrime video egocentrike dhe përmban regjistrime video të sinkronizuara nga këndvështrime të shumta, si dhe shënime të pozave 3D me cilësi të lartë të duarve dhe objekteve. Ai përfshin gjithashtu modele objektesh 3D me materiale PBR, kuti kufizuese 2D, sinjale shikimi dhe retë e pikës së skenës 3D nga SLAM.

Regjistrimet tregojnë 19 subjekte që ndërveprojnë me 33 objekte të ndryshme të përditshme. Përveç skenarëve të thjeshtë ku objektet merren, ekzaminohen dhe vendosen, grupi i të dhënave përfshin gjithashtu veprime tipike në ambientet e kuzhinës, zyrës dhe dhomës së ndenjes.

Dy pajisje Meta u përdorën për kapjen e të dhënave: syzet kërkimore të Project Aria dhe kufjet VR Quest 3. Project Aria ofron një imazh RGB dhe dy imazhe pikturë njëngjyrëshe për kapje, ndërsa Quest 3 ofron dy imazhe njëngjyrëshe.

Një element thelbësor i grupit të të dhënave janë shënimet e sakta 3D për duart dhe objektet. Këto janë kapur duke përdorur një sistem kapjeje lëvizjeje të bazuar në shënues. Pozat e duarve ofrohen në formatin UmeTrack dhe MANO, ndërsa pozat e objekteve paraqiten si transformime 3D.

Për më tepër, grupi i të dhënave përfshin modele 3D me cilësi të lartë të 33 objekteve të përdorura. Këto janë krijuar me një skaner 3D të brendshëm nga Meta dhe përmbajnë gjeometri të detajuar si dhe materiale PBR që lejojnë paraqitjen fotorealiste.

Meta sheh potencial për aplikacione të ndryshme në grupin e të dhënave: “Të dhënat e të dhënave HOT3D dhe pikë referimi do të zhbllokojnë mundësi të reja brenda kësaj fushe kërkimore, të tilla si transferimi i aftësive manuale nga ekspertët tek përdoruesit ose robotët më pak me përvojë, duke ndihmuar një asistent të AI të kuptojë veprimet e përdoruesit ose të mundësojë aftësi të reja hyrëse për përdoruesit e AR/VR, të tilla si kthimi i çdo sipërfaqeje fizike në një tastierë virtuale ose çdo laps në një shkop magjik shumëfunksional.”