Google lëshon kodin për HeAR, një AI që analizon audion për të vlerësuar shëndetin
Google Research ka zhvilluar një sistem AI të quajtur Health Acoustic Representations (HeAR) që analizon kollën dhe tingujt e frymëmarrjes për të vlerësuar shëndetin.
HeAR përdor mësimin e vetë-mbikëqyrur dhe është trajnuar për mbi 300 milionë klipe të shkurtra audio nga videot e YouTube pa të drejtë autori. Rrjeti nervor bazohet në arkitekturën Transformer.
Gjatë trajnimit, pjesë të spektrogrameve audio u fshehën dhe rrjeti mësoi të rindërtonte këto seksione që mungonin. Kjo e lejoi HeAR-in të krijojë paraqitje kompakte të të dhënave audio që përmbajnë informacione përkatëse shëndetësore.
Google publikoi gjetjet e tij në mars 2024 dhe tani ka lëshuar kodin për t’u përdorur nga studiues të tjerë.
Studiuesit testuan HeAR në 33 detyra nga 6 grupe të dhënash, duke përfshirë njohjen e tingujve të lidhur me shëndetin, klasifikimin e regjistrimeve të kollës dhe vlerësimin e vlerave të funksionit të mushkërive. Hear ia kalonte modelet ekzistuese të AI audio në shumicën e standardeve.
Ai arriti një saktësi (AUROC) prej 0,739 në zbulimin e tuberkulozit nga tingujt e kollës, duke tejkaluar modelin e dytë më të mirë TRILL në 0,652. Autorët shohin potencial për përdorimin e analizës së kollës së AI për të identifikuar njerëzit në zonat me burime të varfëra që kanë nevojë për testime të mëtejshme.
Hear gjithashtu tregoi premtim në vlerësimin e parametrave të funksionit të mushkërive si FEV1 (kapaciteti një sekondë) dhe FVC (kapaciteti vital) nga regjistrimet e smartfonëve. Me një gabim mesatar prej vetëm 0,418 litrash për FEV1, ishte më i saktë se metoda më e mirë e krahasimit (0,479 litra). Kjo mund të çojë në mjete të reja, të aksesueshme të shqyrtimit për sëmundjet e mushkërive si COPD.
Studiuesit theksojnë se HeAR është ende një mjet kërkimor. Çdo aplikim diagnostikues do të kërkonte vërtetim klinik. Ekzistojnë gjithashtu kufizime teknike, të tilla si aftësia aktuale e HeAR për të përpunuar vetëm klipe audio dy sekondash. Google planifikon të përdorë teknika si distilimi i modeleve dhe kuantizimi për të mundësuar përdorimin më efikas të HeAR direkt në pajisjet celulare.
Partneriteti StopTB, një organizatë e mbështetur nga OKB-ja që synon të kurojë tuberkulozin deri në vitin 2030, mbështet këtë qasje. Hulumtuesit tani mund të kërkojnë modelin e trajnuar HeAR dhe një version anonim të grupit të të dhënave CIDRZ (të dhënat audio të kollës) nga Google. Më shumë informacion është i disponueshëm në GitHub.