Kompanitë e AI-së të befasuara nga udhëzimet e përforcuara të robots.txt

Kompanitë dhe botuesit kryesorë të internetit duke përfshirë Reddit, Yahoo, Quora, Medium, The Daily Beast, Fastly dhe të tjerë mendojnë se më në fund mund të ketë një zgjidhje për t’i dhënë fund programeve të inteligjencës artificiale që sulmojnë faqet e internetit për të mbledhur përmbajtje pa leje ose kompensim.

I njoftuar të mërkurën në mëngjes, standardi “Really Simple Licensing” (RSL) evoluon udhëzimet robots.txt duke shtuar një shtresë licencimi automatike që është projektuar për të bllokuar botët që nuk i kompensojnë në mënyrë të drejtë krijuesit për përmbajtjen.

I lirë për çdo botues që nga sot, standardi RSL është një protokoll i hapur dhe i decentralizuar që ua bën të qarta agjentëve dhe programuesve të inteligjencës artificiale kushtet për licencimin, përdorimin dhe kompensimin e çdo përmbajtjeje të përdorur për të trajnuar inteligjencën artificiale, vuri në dukje një njoftim për shtyp.

Standardi u krijua nga RSL Collective, i cili u themelua nga Doug Leeds, ish-drejtor ekzekutiv i Ask.com, dhe Eckart Walther, një ish-nënkryetar i produkteve të Yahoo dhe bashkëkrijues i standardit RSS, i cili e bëri të lehtë sindikimin e përmbajtjes në të gjithë uebin.

Bazuar në standardin “Really Simple Syndication” (RSS), kushtet RSL mund të zbatohen për të mbrojtur çdo përmbajtje dixhitale, duke përfshirë faqet e internetit, librat, videot dhe grupet e të dhënave. Standardi i ri mbështet “një gamë modelesh licencimi, përdorimi dhe të drejtash autoriale, duke përfshirë falas, atribuim, abonim, pagesë për çdo zvarritje (botuesit kompensohen sa herë që një aplikacion i IA-së zvarrit përmbajtjen e tyre) dhe pagesë për çdo përfundim (botuesit kompensohen sa herë që një aplikacion i IA-së përdor përmbajtjen e tyre për të gjeneruar një përgjigje)”, thuhet në njoftimin për shtyp.

Leeds i tha Ars se ideja për të përdorur “udhëzuesin” RSS për të zbatuar standardin RSL lindi pasi ai e ftoi Waltherin të fliste para studentëve të Universitetit të Kalifornisë, Berkeley, në fund të vitit të kaluar. Atëherë miqtë e hershëm me përvojë në kërkim filluan të mendonin se si Inteligjenca Artificiale e kishte ndryshuar industrinë e kërkimit, pasi botuesit sot janë të detyruar të konkurrojnë me rezultatet e Inteligjencës Artificiale duke iu referuar përmbajtjes së tyre ndërsa trafiku i kërkimit bie ndjeshëm.

Eckart kishte parë standardin RSS të përvetësohej shpejt nga miliona faqe interneti dhe ai e kuptoi se RSS në fakt kishte qenë gjithmonë një standard licencimi, tha Leeds. Në thelb, duke përvetësuar standardin RSS, botuesit ranë dakord t’i linin motorët e kërkimit të licenconin një “pjesë” të përmbajtjes së tyre në këmbim të trafikut të kërkimit dhe Eckart e kuptoi se mund të ishte po aq e thjeshtë të shtoheshin kushtet e licencimit të IA-së në të njëjtën mënyrë. Në këtë mënyrë, botuesit mund të përpiqeshin të rikuperonin të ardhurat e humbura të kërkimit duke rënë dakord të licenconin të gjithë ose një pjesë të përmbajtjes së tyre për të trajnuar IA-në në këmbim të pagesës sa herë që rezultatet e IA-së lidhen me përmbajtjen e tyre.

Leeds i tha Ars se standardi RSL nuk u sjell dobi vetëm botuesve. Ai zgjidh gjithashtu një problem për kompanitë e inteligjencës artificiale, të cilat janë ankuar në padi për përgjimin e të dhënave nga inteligjenca artificiale se nuk ka një mënyrë efektive për të licencuar përmbajtje në të gjithë uebin.

“Ne i kemi dëgjuar ata dhe ajo që kemi dëgjuar të thonë është… na duhet një protokoll i ri”, tha Leeds. Me standardin RSL, firmat e inteligjencës artificiale marrin një “mënyrë të shkallëzueshme për të marrë të gjithë përmbajtjen” që duan, ndërsa vendosin një nxitje që ato do të duhet të paguajnë vetëm për përmbajtjen më të mirë që modelet e tyre i referohen në të vërtetë.

“Nëse e përdorin, paguajnë për të, dhe nëse nuk e përdorin, nuk paguajnë për të”, tha Leeds.

Në këtë pikë, është e vështirë të thuhet nëse kompanitë e IA-së do ta përqafojnë standardin RSL. Ars kontaktoi Google, Meta, OpenAI dhe xAI – disa nga kompanitë e mëdha të teknologjisë, programet kërkimore të të cilave kanë tërhequr vëmendjen – për të parë nëse ishte teknikisht e realizueshme të paguanin botuesit për çdo rezultat që i referohej përmbajtjes së tyre. xAI nuk u përgjigj dhe kompanitë e tjera refuzuan të komentonin pa dhënë detaje të mëtejshme rreth standardit, duke u dukur se nuk e kanë konsideruar ende se si një shtresë licencimi që forcon robots.txt mund të ndikojë në mbledhjen e tyre të të dhënave.

Sot ka të ngjarë të jetë shansi i parë që kompanitë e inteligjencës artificiale të mendojnë rreth idesë së pagesës së botuesve për çdo rezultat. Leeds konfirmoi se Kolektivi RSL nuk u konsultua me kompanitë e inteligjencës artificiale kur zhvilloi standardin RSL.

Por kompanitë e inteligjencës artificiale e dinë se kanë nevojë për një rrjedhë të vazhdueshme përmbajtjeje të freskët për t’i mbajtur mjetet e tyre relevante dhe për të inovuar vazhdimisht, sugjeroi Leeds. Në këtë mënyrë, standardi RSL “mbështet atë që i mbështet ato”, tha Leeds, “dhe krijon sistemin e duhur të nxitjes” për të krijuar rrjedha të qëndrueshme të të drejtave të autorit për krijuesit dhe për të siguruar që kreativiteti njerëzor të mos pakësohet ndërsa evoluon inteligjenca artificiale.

Ndërkohë që do të na duhet të presim për të parë se si do të reagojnë firmat e IA-së ndaj RSL-së, ata që e kanë miratuar herët standardin e festuan lançimin sot. Ndër ta ishte Neil Vogel, CEO i People Inc., i cili tha se “RSL e çon industrinë përpara – duke evoluar nga bllokimi i thjeshtë i shfletuesve të paautorizuar, deri te vendosja e kushteve tona të licencimit, për të gjitha rastet e përdorimit të IA-së, në shkallë globale të internetit”.

Simon Wistow, bashkëthemelues i Fastly, sugjeroi që zgjidhja “është një përgjigje në kohë dhe e nevojshme ndaj ekonomisë në ndryshim të internetit”.

“Duke ua lehtësuar botuesve përcaktimin dhe zbatimin e kushteve të licencimit, RSL hedh themelet për një ekosistem përmbajtjeje të shëndetshme – një ekosistem ku inovacioni dhe investimi në punën origjinale shpërblehen dhe ku bashkëpunimi midis botuesve dhe kompanive të inteligjencës artificiale bëhet pa fërkime dhe i dobishëm për të dyja palët”, tha Wistow.

Leeds vuri në dukje se një përfitim kyç i standardit RSL është se edhe krijuesit e vegjël tani do të kenë një mundësi për të gjeneruar të ardhura duke ndihmuar në trajnimin e inteligjencës artificiale. Tony Stubblebine, CEO i Medium, nuk i kurseu fjalët kur shpjegoi betejën me të cilën përballen blogerët, ndërsa përdoruesit e inteligjencës artificiale kërcënojnë të devijojnë trafikun e tyre pa i kompensuar ata.

“Tani për tani, IA funksionon me përmbajtje të vjedhur,” tha Stubblebine. “Miratimi i këtij Standardi RSL është mënyra se si i detyrojmë ato kompani të IA-së që ose të paguajnë për atë që përdorin, ose të ndalojnë së përdoruri atë, ose të mbyllen.”

Në faqen e standardit RSL , botuesit mund të gjejnë terma të zakonshëm për të shtuar tekst të shabllonizuar ose të personalizuar në skedarët e tyre robots.txt për të adoptuar standardin RSL sot dhe për të filluar mbrojtjen e përmbajtjes së tyre nga përgjimi i pakufizuar nga IA. Ja një shembull se si mund të duken termat e licencimit të lexueshëm nga makina, të shtuar direkt në skedarët robots.txt.

Përmes kushteve të RSL-së, botuesit mund të automatizojnë licencimin, me kompaninë e cloud-it Fastly që bashkëpunon me kolektivin për të siguruar zbatimin teknik që Leeds e përshkroi si teknologji që vepron si një mbrojtje për të mbajtur robotët e pamiratuar larg përmbajtjes së vlefshme. Duket e mundshme që Cloudflare, e cila lançoi një program me pagesë për zvarritje që bllokon shfletuesit lakmitarë në korrik, gjithashtu mund të ndihmojë në zbatimin e standardit RSL.

Për botuesit, standardi “zgjidh menjëherë një problem biznesi”, tha Leeds për Ars, kështu që kolektivi shpreson që RSL do të përdoret me shpejtësi dhe gjerësisht. Si nxitje e mëtejshme, botuesit mund të mbështeten gjithashtu në standardin RSL për të “enkriptuar dhe licencuar lehtësisht përmbajtje të pabotuar dhe pronësore për kompanitë e inteligjencës artificiale, duke përfshirë artikuj, libra, video, imazhe dhe të dhëna me pagesë”, tha faqja e internetit e RSL Collective, dhe kjo potencialisht mund të zgjerojë pishinën e të dhënave të firmave të inteligjencës artificiale.

Përveç zbatimit teknik, Leeds tha se botuesit dhe krijuesit e përmbajtjes mund t’i zbatonin ligjërisht kushtet, duke vënë në dukje se marrëveshja e fundit prej 1.5 miliardë dollarësh me Anthropic sugjeron se “ka para të vërteta në lojë” nëse nuk e trajnoni IA-në “në mënyrë të ligjshme”.

Nëse industria e miraton standardin, ajo mund të “vendosë çmime të drejta tregu dhe të forcojë ndikimin negociues për të gjithë botuesit”, thuhet në njoftimin për shtyp. Dhe Leeds vuri në dukje se është shumë e zakonshme që rregulloret të ndjekin zgjidhjet e industrisë (merrni parasysh Aktin e të Drejtave të Autorit të Mijëvjeçarit Dixhital). Meqenëse Kolektivi RSL është tashmë në bisedime me ligjvënësit, Leeds mendon se “ka arsye të mira për të besuar” se kompanitë e inteligjencës artificiale së shpejti “do të detyrohen ta pranojnë” standardin.

“Por edhe më mirë se kaq,” tha Leeds, “është në interesin e tyre” të miratojnë standardin.

Me RSL, firmat e inteligjencës artificiale mund të licencojnë përmbajtje në shkallë të gjerë “në një mënyrë që është e drejtë [dhe] ruan përmbajtjen që u nevojitet për të bërë që produktet e tyre të vazhdojnë të inovohen”.

Për më tepër, standardi RSL mund të zgjidhë një problem që rrezikon të shkatërrojë besimin dhe interesin në inteligjencën artificiale në këtë fazë të hershme.

Leeds vuri në dukje se aktualisht, rezultatet e IA-së nuk ofrojnë “përgjigjen më të mirë” për pyetjet, por mbështeten në përzierjen e përgjigjeve nga burime të ndryshme për të shmangur marrjen e shumë përmbajtjes nga një faqe interneti. Kjo do të thotë që jo vetëm që kompanitë e IA-së “shpenzojnë një sasi të madhe parash për kostot llogaritëse për ta bërë këtë”, por mjetet e IA-së mund të jenë gjithashtu më të prirura ndaj halucinacioneve në procesin e “përzierjes” së materialit burimor “për të bërë diçka që nuk është përgjigjja më e mirë sepse nuk kanë të drejtat për përgjigjen më të mirë”.

“Përgjigja më e mirë mund të ekzistojë diku,” tha Leeds. Por “ata po shpenzojnë miliarda dollarë për të krijuar halucinacione, dhe ne po flasim për: Le ta zgjidhim këtë me një skemë licencimi që ju lejon të përdorni përmbajtjen aktuale në një mënyrë që zgjidh më së miri pyetjen e përdoruesit.”

Duke transformuar “ekosistemin” me një standard që është “vërtet i qëndrueshëm dhe i drejtë”, Leeds tha se kompanitë e inteligjencës artificiale mund të sigurojnë gjithashtu që njerëzimi të mos arrijë kurrë në pikën ku “njerëzit të ndalojnë së prodhuari” dhe “të drejtohen te inteligjenca artificiale për të riprodhuar atë që njerëzit nuk mund ta bëjnë”.

Mospërshtatja e standardit RSL do të ishte e keqe për inovacionin në IA, sugjeroi Leeds, ndoshta duke hapur rrugën që IA të zëvendësojë kërkimin me një “lloj shkëmbimi vetëpërmbushës të përmbajtjes së keqe që në të vërtetë nuk ka asnjë informacion aktual, nuk ka asnjë mendim aktual, sepse gjithçka bazohet në informacion të vjetër trajnimi”.

Për Leedsin, standardi RSL në fund të fundit ka të bëjë me “krijimin e sistemit që lejon vazhdimin e uebit të hapur. Dhe kjo ndodh kur ne adoptohemi nga të gjithë”, tha ai, duke këmbëngulur se “fjalë për fjalë, djemtë e vegjël janë po aq të rëndësishëm sa djemtë e mëdhenj” në nxitjen e të gjithë industrisë për të ndryshuar dhe për të kompensuar në mënyrë të drejtë krijuesit.