Apple lëshon Depth Pro, një model i AI që rishkruan rregullat e vizionit 3D

Ekipi hulumtues i AI i Apple ka zhvilluar një model të ri që mund të avancojë ndjeshëm mënyrën se si makineritë e perceptojnë thellësinë, duke transformuar potencialisht industritë që variojnë nga realiteti i shtuar tek automjetet autonome.

Sistemi, i quajtur Depth Pro, është në gjendje të gjenerojë harta të detajuara të thellësisë 3D nga imazhe të vetme 2D në një fraksion të sekondës pa u mbështetur në të dhënat e kamerës që tradicionalisht nevojiten për të bërë parashikime të tilla.

Teknologjia, e detajuar në një punim kërkimor të titulluar Thellësia Pro: Thellësia e mprehtë metrike monokulare në më pak se një sekondë, është një hap i madh përpara në fushën e vlerësimit të thellësisë monokulare, një proces që përdor vetëm një imazh për të nxjerrë thellësinë.

Kjo mund të ketë aplikime të gjera në të gjithë sektorët ku ndërgjegjësimi hapësinor në kohë reale është kyç. Krijuesit e modelit, të udhëhequr nga Aleksei Bochkovskii dhe Vladlen Koltun, e përshkruajnë Depth Pro si një nga sistemet më të shpejta dhe më të sakta të këtij lloji.

Vlerësimi i thellësisë monokulare ka qenë prej kohësh një detyrë sfiduese, duke kërkuar ose imazhe të shumta ose meta të dhëna si gjatësitë fokale për të matur me saktësi thellësinë.

Por Depth Pro i anashkalon këto kërkesa, duke prodhuar harta të thellësisë me rezolucion të lartë në vetëm 0,3 sekonda në një GPU standard. Modeli mund të krijojë harta 2,25 megapikselë me mprehtësi të jashtëzakonshme, duke kapur detaje edhe të vogla si flokët dhe bimësia që shpesh anashkalohen nga metoda të tjera.

“Këto karakteristika mundësohen nga një sërë kontributesh teknike, duke përfshirë një transformator vizioni efikas në shumë shkallë për parashikime të dendura,” shpjegojnë studiuesit në punimin e tyre. Kjo arkitekturë i lejon modelit të përpunojë njëkohësisht kontekstin e përgjithshëm të një imazhi dhe detajet më të imta të tij një hap i madh nga modelet më të ngadalta dhe më pak të sakta që dolën përpara tij.

Ajo që vërtet e veçon Depth Pro është aftësia e tij për të vlerësuar thellësinë relative dhe absolute, një aftësi e quajtur “thellësi metrike”.

Kjo do të thotë që modeli mund të sigurojë matje në botën reale, gjë që është thelbësore për aplikacione si realiteti i shtuar (AR), ku objektet virtuale duhet të vendosen në vende të sakta brenda hapësirave fizike.

Dhe Depth Pro nuk kërkon trajnim të gjerë në grupet e të dhënave specifike të domenit për të bërë parashikime të sakta një veçori e njohur si “të mësuarit me goditje zero”. Kjo e bën modelin shumë të gjithanshëm. Mund të aplikohet në një gamë të gjerë imazhesh, pa pasur nevojë për të dhënat specifike të kamerës që zakonisht kërkohen në modelet e vlerësimit të thellësisë.

“Depth Pro prodhon harta metrike të thellësisë me shkallë absolute në imazhe arbitrare ‘në natyrë’ pa kërkuar meta të dhëna të tilla si brendësia e kamerës,” shpjegojnë autorët. Ky fleksibilitet hap një botë mundësish, nga përmirësimi i përvojave AR deri te përmirësimi i aftësisë së automjeteve autonome për të zbuluar dhe për të naviguar pengesat.

Për ata që janë kureshtarë të përjetojnë drejtpërdrejt Depth Pro, një demonstrim i drejtpërdrejtë është i disponueshëm në platformën Hugging Face.

Kjo shkathtësi ka implikime të rëndësishme për industri të ndryshme. Në tregtinë elektronike, për shembull, Depth Pro mund t’i lejojë konsumatorët të shohin se si përshtaten mobiljet në shtëpinë e tyre, thjesht duke drejtuar kamerën e telefonit në dhomë. Në industrinë e automobilave, aftësia për të gjeneruar harta të thellësisë me rezolucion të lartë në kohë reale nga një kamerë e vetme mund të përmirësojë mënyrën se si makinat vetë-drejtuese e perceptojnë mjedisin e tyre, duke rritur navigimin dhe sigurinë.

“Metoda duhet të prodhojë në mënyrë ideale harta metrike të thellësisë në këtë regjim me shkrepje zero për të riprodhuar me saktësi format e objekteve, paraqitjet e skenës dhe shkallët absolute,” shkruajnë studiuesit, duke theksuar potencialin e modelit për të reduktuar kohën dhe koston e lidhur me trajnimin e modeleve më konvencionale të AI.

Një nga sfidat më të vështira në vlerësimin e thellësisë është trajtimi i atyre që njihen si “pikselë fluturues” – pikselë që duket se notojnë në ajër për shkak të gabimeve në hartimin e thellësisë. Depth Pro e trajton këtë çështje drejtpërdrejt, duke e bërë atë veçanërisht efektiv për aplikacione si rindërtimi 3D dhe mjediset virtuale, ku saktësia është parësore.

Për më tepër, Depth Pro shkëlqen në gjurmimin e kufijve, duke tejkaluar modelet e mëparshme në përcaktimin e mprehtë të objekteve dhe skajeve të tyre. Studiuesit pretendojnë se ai tejkalon sistemet e tjera “me një faktor shumëzues në saktësinë e kufirit”, i cili është thelbësor për aplikacionet që kërkojnë segmentim të saktë të objekteve, të tilla si matja e imazhit dhe imazhet mjekësore.

Në një lëvizje që mund të përshpejtojë miratimin e tij, Apple ka bërë Depth Pro me burim të hapur. Kodi, së bashku me peshat e modeleve të trajnuara paraprakisht, është i disponueshëm në GitHub, duke i lejuar zhvilluesit dhe studiuesit të eksperimentojnë dhe të përsosin më tej teknologjinë. Depoja përfshin gjithçka, nga arkitektura e modelit deri te pikat e kontrollit paraprakisht të trajnuar, duke e bërë të lehtë për të tjerët të ndërtojnë punën e Apple.

Ekipi hulumtues po inkurajon gjithashtu eksplorimin e mëtejshëm të potencialit të Depth Pro në fusha si robotika, prodhimi dhe kujdesi shëndetësor. Ne publikojmë kodin dhe peshat në https://github.com/apple/ml-depth-pro, shkruajnë autorët, duke e sinjalizuar këtë si vetëm fillimin për modelin.

Ndërsa inteligjenca artificiale vazhdon të shtyjë kufijtë e asaj që është e mundur, Depth Pro vendos një standard të ri në shpejtësi dhe saktësi për vlerësimin e thellësisë monokulare. Aftësia e tij për të gjeneruar harta të thellësisë me cilësi të lartë dhe në kohë reale nga një imazh i vetëm mund të ketë efekte të gjera në të gjithë industritë që mbështeten në ndërgjegjësimin hapësinor.

Në një botë ku AI është gjithnjë e më qendrore për vendimmarrjen dhe zhvillimin e produktit, Depth Pro ilustron se si kërkimi i fundit mund të përkthehet në zgjidhje praktike dhe të botës reale. Pavarësisht nëse bëhet fjalë për përmirësimin e mënyrës se si makineritë e perceptojnë mjedisin e tyre apo përmirësimin e përvojave të konsumatorëve, përdorimet e mundshme për Depth Pro janë të gjera dhe të ndryshme.

Siç përfundojnë studiuesit, “Depth Pro në mënyrë dramatike tejkalon të gjithë punën e mëparshme në përcaktimin e mprehtë të kufijve të objekteve, duke përfshirë strukturat e imëta si flokët, gëzofin dhe bimësinë”. Me lëshimin e tij me burim të hapur, Depth Pro së shpejti mund të bëhet pjesë përbërëse e industrive që variojnë nga drejtimi autonom deri te realiteti i shtuar – duke transformuar mënyrën se si makinat dhe njerëzit ndërveprojnë me mjediset 3D.