OpenAI zbulon modelin që mund të krijojë përmbajtjen për librat e çdo madhësie

OpenAI është larg nga hera e parë që ka aplikuar AI në problemin e përmbledhjes. Fillimet si Primer përdorin teknika të mësimit të makinerisë për të ndihmuar në analizimin dhe grumbullimin e një numri të madh të dokumenteve në disa gjuhë. Google ka hetuar metoda përmbledhëse që mund të gjenerojnë përmbledhje abstrakte të paragrafëve – siç ka bërë Microsoft. Facebook thuhet se po zhvillon një mjet AI që përmbledh artikujt e lajmeve në mënyrë që përdoruesit të mos kenë nevojë t’i lexojnë ato.

Modeli i ri i OpenAI bazohet në hulumtimet e mëparshme të kompanisë, të cilat zbuluan se trajnimi i një modeli me mësim përforcues nga reagimet njerëzore ndihmoi në harmonizimin e përmbledhjeve të modelit me preferencat e njerëzve në postimet dhe artikujt e shkurtër. Mësimi përforcues përfshin trajnimin e një sistemi për të kryer një detyrë – për shembull, përmbledhjen e tekstit – duke shpërblyer sjelljet e dëshiruara dhe/ose ndëshkuar ato të padëshiruara.

Për të krijuar modelin, OpenAI kombinoi mësimin përforcues me zbërthimin e detyrave rekursive, e cila proceduralisht shpërbën një detyrë të vështirë (p.sh., përmbledhja e një pjese të gjatë të tekstit) në ato më të thjeshta, individuale (p.sh., përmbledhja e disa pjesëve më të shkurtra). Ky zbërthim i lejon njerëzit të vlerësojnë përmbledhjet e modelit shpejt duke përdorur përmbledhje të pjesëve më të vogla të librave. Për më tepër, ai i mundëson modelit të përmbledhë libra të çdo gjatësi, nga dhjetëra faqe në qindra ose mijëra.

OpenAI e trajnoi modelin në një nëngrup të librave në grupin e të dhënave të trajnimit të GPT-3 që ishin kryesisht të varietetit trillues dhe përmbajnë mesatarisht mbi 100,000 fjalë. Për të vlerësuar modelin, studiuesit e laboratorit morën 40 librat më të njohur të botuar në vitin 2020 (sipas Goodreads) dhe caktuan dy persona për të lexuar secilin libër dhe për të shkruar një përmbledhje dhe më pas për të vlerësuar përmbledhjet nga modeli dhe njëri -tjetri.