Perplexity është një makinë marrëzi

Një hetim WIRED tregon se startup-i i kërkimit me inteligjencë artificiale, Forbes, ka akuzuar se ka vjedhur përmbajtjen e tij, po gërvisht në mënyrë të fshehtë – dhe po i krijon gjërat nga ajri.

Duke marrë parasysh ambicien e guximshme të Perplexity dhe investimin që është marrë nga fondi i familjes së Jeff Bezos, Nvidia, dhe investitori i famshëm Balaji Srinivasan, ndër të tjera, është çuditërisht e paqartë se çfarë është në të vërtetë startup-i i kërkimit të AI.

Në fillim të këtij viti, duke folur me WIRED, Aravind Srinivas, CEO i Perplexity, e përshkroi produktin e tij – një chatbot që u jep përgjigje në gjuhën natyrore kërkesave dhe mund, thotë kompania, të aksesojë internetin në kohë reale – si një “motor përgjigjesh”. Disa javë më vonë, pak para se të shpallej një raund financimi që vlerësonte kompaninë në një miliard dollarë, ai i tha Forbes , “Është pothuajse sikur Wikipedia dhe ChatGPT të kishin një fëmijë.” Kohët e fundit, pasi Forbes akuzoi Perplexity për plagjiaturë të përmbajtjes së tij, Srinivas i tha AP se ishte thjesht një “grumbullues informacioni”.

Vetë chatboti Perplexity është më specifik. I nxitur të përshkruajë se çfarë është Perplexity, ai ofron tekst që thotë: “Perplexity AI është një motor kërkimi i fuqizuar nga AI që kombinon veçoritë e motorëve tradicionalë të kërkimit dhe chatbots. Ai ofron përgjigje koncize dhe në kohë reale për pyetjet e përdoruesve duke tërhequr informacione nga artikujt e fundit dhe duke indeksuar ueb-in çdo ditë.”

Një analizë WIRED dhe një e kryer nga zhvilluesi Robb Knight sugjeron që Perplexity është në gjendje ta arrijë këtë pjesërisht duke injoruar në dukje një standard të pranuar gjerësisht në ueb të njohur si Protokolli i Përjashtimit të Robotëve për të fshirë në mënyrë të fshehtë zonat e faqeve të internetit që operatorët nuk duan të aksesohen nga robotët, pavarësisht duke pretenduar se nuk do. WIRED vëzhgoi një makinë të lidhur me Perplexity – më konkretisht, një në një server Amazon dhe pothuajse me siguri të operuar nga Perplexity – duke e bërë këtë në WIRED.com dhe nëpër botime të tjera të Condé Nast.

Analiza WIRED tregon gjithashtu se, pavarësisht pretendimeve se mjetet e Perplexity ofrojnë “përgjigje të menjëhershme dhe të besueshme për çdo pyetje me burime të plota dhe citate të përfshira”, duke hequr nevojën për të “klikuar në lidhje të ndryshme”, chatbot-i i tij, i cili është në gjendje të përmbledhja e punës gazetareske me kreditet e duhura, është gjithashtu e prirur për budallallëqe , në kuptimin teknik të fjalës.

WIRED i ofroi chatbot-it Perplexity titujt e dhjetëra artikujve të publikuar në faqen tonë të internetit këtë vit, si dhe udhëzimet për temat e raportimit WIRED. Rezultatet treguan se chatbot-i nganjëherë parafrazonte nga afër historitë WIRED dhe herë-herë duke përmbledhur historitë në mënyrë të pasaktë dhe me atribut minimal. Në një rast, teksti që gjeneroi pretendonte në mënyrë të rreme se WIRED kishte raportuar se një oficer policie në Kaliforni kishte kryer një krim. (AP identifikoi në mënyrë të ngjashme një shembull të chatbot-it që i atribuon citate të rreme njerëzve të vërtetë.) Pavarësisht aksesit të tij të dukshëm në raportimin origjinal WIRED dhe sitit të tij që pret artin origjinal WIRED, megjithatë, asnjë nga adresat IP të listuara publikisht nga kompania nuk la asnjë gjurmë të identifikueshme në regjistrat e serverëve tanë, duke ngritur pyetjen se si funksionon saktësisht sistemi i Perplexity.

Deri në fillim të kësaj jave, Perplexity publikoi në dokumentacionin e tij një lidhje me një listë të adresave IP që përdorin zvarritësit e saj – një përpjekje e dukshme për të qenë transparent. Sidoqoftë, në disa raste, siç ishin në gjendje të demonstronin si WIRED ashtu edhe Knight, duket se po hyn dhe po gërmon faqet e internetit nga të cilat koduesit kanë tentuar të bllokojnë zvarritësin e tij, të quajtur Perplexity Bot, duke përdorur të paktën një adresë IP të papublikuar. Që atëherë, kompania ka hequr referencat për grupin e saj të IP-së publike nga dokumentacioni i saj.

Kjo adresë IP sekrete – 44.221.181.252 – ka goditur pronat në Condé Nast, kompania mediatike që zotëron WIRED, të paktën 822 herë në tre muajt e fundit. Një inxhinier i lartë në Condé Nast, i cili kërkoi të mos përmendet sepse dëshiron të “qëndrojë jashtë tij”, e quan këtë një “nënnumërim masiv” sepse kompania ruan vetëm një pjesë të regjistrave të rrjetit të saj.

WIRED verifikoi se adresa IP në fjalë është pothuajse me siguri e lidhur me Perplexity duke krijuar një faqe interneti të re dhe duke monitoruar regjistrat e serverit të saj. Menjëherë pasi një reporter WIRED nxiti chatbotin e Perplexity të përmbledh përmbajtjen e faqes në internet, serveri regjistroi se adresa IP vizitoi sitin. E njëjta adresë IP u vëzhgua për herë të parë nga Knight gjatë një testi të ngjashëm.

Duket gjithashtu e mundshme që në disa raste – dhe pavarësisht nga një paraqitje grafike në ndërfaqen e tij të përdoruesit që tregon chatbot-in duke “lexuar” materialin burimor specifik përpara se t’i përgjigjet një kërkese – Perplexity është duke përmbledhur jo artikujt aktualë të lajmeve, por rindërtimet e asaj që ata thonë bazuar në në URL-të dhe gjurmët e tyre të lëna në motorët e kërkimit si ekstrakte dhe meta të dhëna, duke ofruar përmbledhje që pretendohet se bazohen në aksesin e drejtpërdrejtë në tekstin përkatës.

Truku magjik që e ka bërë Perplexity të vlejë 10 shifra, me fjalë të tjera, duket se është duke bërë atë që thotë se nuk është dhe nuk po bën atë që thotë se është.

Në përgjigje të një kërkese të detajuar për koment duke iu referuar raportimit në këtë histori, Srinivas lëshoi ​​një deklaratë që thoshte, pjesërisht, “Pyetjet nga WIRED pasqyrojnë një keqkuptim të thellë dhe themelor se si funksionojnë Perplexity dhe Interneti”. Deklarata nuk kundërshtoi specifikat e raportimit të WIRED dhe Srinivas nuk iu përgjigj pyetjeve vijuese duke pyetur nëse ai kundërshtonte analizat e WIRED ose të Knight.

Më 6 QERSHOR, Forbes publikoi një raport investigativ në lidhje me mënyrën sesi sipërmarrja e re e ish-CEO i Google, Eric Schmidt, po rekruton shumë dhe teston dronët e fuqizuar nga AI me aplikime të mundshme ushtarake. (Forbes raportoi se Schmidt refuzoi të komentonte.) Të nesërmen, John Paczkowski, një redaktor për Forbes, postoi në X për të vënë në dukje se Perplexity kishte ribotuar në thelb shumën dhe përmbajtjen e lugës. (“Ai fshin pjesën më të madhe të raportimit tonë,” shkroi ai. “Ai na citon neve, dhe disa që na ribloguan, si burime në mënyrën më të lehtë të injoruar të mundshme.”)

Atë ditë, Srinivas falënderoi Paczkowski-n, duke vënë në dukje se veçoria specifike e produktit që kishte riprodhuar raportimin ekskluziv të Forbes kishte “tehe të përafërta” dhe duke rënë dakord që burimet duhet të citoheshin më qartë. Tre ditë më vonë, Srinivas u mburr – në mënyrë të pasaktë , doli – se Perplexity ishte burimi i dytë më i madh i trafikut të referimit nga Forbes. (Vetë të dhënat e WIRED tregojnë se Perplexity dërgoi 1265 referime në WIRED.com në maj, një sasi e parëndësishme në kontekstin e trafikut të përgjithshëm të faqes. Artikulli të cilit iu referua më shumë trafik mori 17 shikime.) “Ne kemi punuar për të reja Produktet e angazhimit të botuesve dhe mënyrat për të përafruar stimujt afatgjatë me kompanitë mediatike që do të shpallen së shpejti,” shkroi ai. “Qëndroni të sintonizuar!”

Ajo që do të thoshte Srinivas u bë shpejt e qartë kur Semafor raportoi se kompania kishte “punuar në marrëveshje për ndarjen e të ardhurave me botues me cilësi të lartë” – marrëveshje që do të lejonin Perplexity dhe botuesit të përfitonin nga investimet e botuesve në raportim. Sipas Axios , këshilltari i përgjithshëm i Forbes i dërgoi një letër Srinivas të enjten e kaluar duke kërkuar që Perplexity të heqë artikujt mashtrues dhe të paguajë Forbes për të ardhurat nga reklamat e fituara nga shkeljet e supozuara të të drejtave të autorit.

Fokusi në ajo që po bën Perplexity është, megjithëse e kuptueshme, duke errësuar deri diku pyetjen më të rëndësishme se si po e bën atë.

Bazat e “çfarë” nuk janë në diskutim serioz: Hutimi është fitimi i parave nga përmbledhja e artikujve të lajmeve, një praktikë që ka ekzistuar për aq kohë sa ka pasur lajme dhe që gëzon mbrojtje ligjore të gjerë, megjithëse të kualifikuar. Srinivas ka pranuar se nganjëherë këto përmbledhje kanë dështuar të vlerësojnë burimet nga të cilat ato janë nxjerrë plotësisht ose mjaftueshëm dukshëm, por më gjerësisht ai mohoi aktivitetin joetik ose të paligjshëm. Perplexity “kurrë nuk e ka hequr përmbajtjen nga askush”, tha ai për AP. “Motori ynë nuk po stërvitet në përmbajtjen e dikujt tjetër.”

Kjo është një mbrojtje kurioze pjesërisht sepse i përgjigjet një kundërshtimi që askush nuk e ka ngritur. Oferta kryesore e Perplexity nuk është një model i madh gjuhësor që duhet të trajnohet mbi një grup të dhënash, por një mbështjellës që shkon rreth sistemeve të tilla. Përdoruesve që paguajnë 20 dollarë për një abonim “Pro”, siç bënë dy reporterë WIRED, u jepet një zgjedhje prej pesë modeleve të AI për t’u përdorur. Një, Sonar Large 32k, është unik për Perplexity, por i bazuar në LLaMa 3 të Metës; të tjerat janë versione të disponueshme të modeleve të ndryshme të ofruara nga OpenAI dhe Anthropic.

Këtu arrijmë te mënyra se si: Kur një përdorues pyet Perplexity, chatbot nuk është thjesht duke kompozuar përgjigje duke u konsultuar me bazën e tij të të dhënave, por gjithashtu duke shfrytëzuar “qasjen në kohë reale në ueb” që Perplexity promovon në materialet e marketingut për të mbledhur informacionin, më pas duke i dhënë modelit të AI që një përdorues ka zgjedhur për të gjeneruar një përgjigje. Në këtë mënyrë, ndërsa Perplexity ka trajnuar modelin e vet dhe pretendon të përdorë “Inteligjencën Artificiale të sofistikuar” për të interpretuar kërkesat, ta quash atë një “startup AI” është disi mashtruese; ndoshta do të përshkruhej më saktë si një lloj remora e lidhur me sistemet ekzistuese të AI. (“Për të qenë i qartë, ndërsa Perplexity nuk trajnon modele fondacioni, ne jemi ende një kompani e AI,” thotë Srinivas për WIRED. )

Në teori, chatbot i Perplexity nuk duhet të jetë në gjendje të përmbledhë artikujt WIRED, sepse inxhinierët tanë kanë bllokuar zvarritësin e tij nëpërmjet skedarit tonë robots.txt që në fillim të këtij viti. Ky skedar udhëzon zvarritësit e uebit se cilat pjesë të faqes duhet të shmangin dhe Perplexity pretendon se respekton standardin robots.txt. Analiza e WIRED zbuloi se në praktikë, megjithatë, nxitja e chatbot-it me titullin e një artikulli WIRED ose një pyetje të bazuar në një, zakonisht do të prodhojë një përmbledhje që duket se e përmbledh artikullin në detaje.

Për shembull, futja e titullit të kësaj ekskluzive në ndërfaqen e chatbot-it, prodhon një bllok teksti me katër paragrafë që parashtron informacionin bazë që Keanu Reeves dhe shkrimtarja e trillimeve shkencore China Miéville kanë bashkëpunuar në një roman, në dukje të plotë me detaje që tregojnë. “Megjithë shqetësimin e tij fillestar për bashkëpunimin e mundshëm, Reeves ishte entuziast për të punuar me Miéville,” thuhet në tekst; kjo pasohet nga një rreth gri i cili, kur vendoset me maus, ofron një lidhje me artikullin. Teksti është ilustruar nga një fotografi e porositur nga WIRED; klikimi i imazhit prodhon një linjë krediti dhe një lidhje me artikullin origjinal. (Të dhënat e WIRED tregojnë se Perplexity ka drejtuar gjashtë përdorues te artikulli që nga publikimi i tij.)

Në mënyrë të ngjashme, duke pyetur Perplexity “A po përdorin vërtet Bluetooth disa kufje të lira me tel?” jep atë që duket të jetë një përmbledhje me dy paragrafë e kësaj historie WIRED, e shoqëruar nga arti që u zhvillua fillimisht me të. “Edhe pse kjo metodë nuk është një mashtrim, ajo mund të shihet si një zgjidhje mashtruese ose e zgjuar në varësi të këndvështrimit të dikujt”, thuhet në tekst. Kjo është më afër kopjes WIRED (“A është një mashtrim? Teknikisht jo – por në varësi të këndvështrimit tuaj, ka ose mashtrim që po ndodh këtu ose një lloj hakimi i zgjuar,” shkroi shkrimtari i stafit Boone Ashworth) sesa një redaktor njerëzor ose avokati mund të preferojë, por chatbot gjeneron tekst duke këmbëngulur se kjo është thjesht një rastësi.

“Jo, nuk e kam bërë plagjiaturë këtë frazë,” lexohet në tekstin e krijuar nga chatbot në përgjigje të një kërkese të dhënë nga një reporter WIRED. “Ngjashmëria në formulim është e rastësishme dhe pasqyron gjuhën e përbashkët të përdorur për të përshkruar një situatë kaq të nuancuar.” Mënyra se si përcaktohet gjuha e përbashkët është e paqartë—përveç listimeve të produkteve për kufjet, të vetmet burime që Perplexity citon këtu janë artikulli WIRED dhe një diskutim Slashdot për të.

Gjetjet nga Robb Knight, zhvilluesi, dhe një analizë e mëvonshme WIRED sugjerojnë një shpjegim për disa nga ato që po ndodhin këtu: Shkurtimisht, Perplexity po gërryen faqet e internetit pa leje.

Siç e shpjegon Knight, përveç ndalimit të robotëve të AI nga serverët e Macstories.net, një faqe në të cilën ai punon, duke përdorur një skedar robots.txt, ai gjithashtu kodoi në një bllok në anën e serverit që në teori duhet të paraqesë një zvarritës. me një përgjigje 403 të ndaluar. Më pas ai vendosi një postim ku përshkruante se si e kishte bërë këtë dhe i kërkoi chatbotit të Perplexity ta përmbledhte atë, duke dhënë “një përmbledhje të përsosur të postimit duke përfshirë detaje të ndryshme që ata thjesht nuk mund t’i kishin marrë me mend”.

“Pra,” pyeti ai, me arsye, “çfarë dreqin po bëjnë ata?”

Knight hetoi regjistrat e serverit të tij dhe zbuloi se Perplexity me sa duket kishte injoruar skedarin e tij robots.txt dhe kishte shmangur murin e tij të zjarrit, me gjasë duke përdorur një shfletues të automatizuar të internetit që funksionon në një server me një adresë IP që kompania nuk e zbulon publikisht. “Unë as nuk mund t’i bllokoj vargjet e tyre IP sepse duket se këta shfletues pa kokë nuk janë në intervalet e tyre IP ,” shkroi ai.

WIRED ishte në gjendje të konfirmonte se një server në adresën IP të vëzhguar nga Knight—44.221.181.252—do të vizitojë dhe shkarkojë, sipas kërkesës, faqet e internetit kur një përdorues pyet Perplexity për faqen e internetit, pavarësisht se çfarë thotë robots.txt e faqes. Sipas një analize të regjistrave të sistemit Condé Nast nga inxhinierët e kompanisë sonë, ka të ngjarë që kjo adresë IP të ketë aksesuar përmbajtjen e kompanisë mijëra herë pa leje.

Skrapimi i faqeve të internetit që kanë kërkuar të mos fshihen në disa rrethana mund të ekspozojnë një kompani ose një individ ndaj rrezikut ligjor, megjithëse praktika gjyqësore përkatëse është e paqartë dhe përgjithësisht në anën e atyre që hyjnë në faqet e internetit publike. (“Është një fushë e komplikuar e ligjit,” thotë Andrew Crocker, drejtor i çështjeve gjyqësore të mbikëqyrjes në Electronic Frontier Foundation, “dhe ka shumë procese gjyqësore rreth tij.”) Knight, zhvilluesi, thotë se gjetjet e tij megjithatë e bëjnë atë “të zemëruar”.

“Tani kemi një industri të madhe kompanish të lidhura me AI, të cilat janë të nxitura të bëjnë gjëra të dyshimta për të vazhduar biznesin e tyre,” thotë ai për WIRED. “Duke mos identifikuar se janë ata që hyjnë në një faqe, ata mund të vazhdojnë të mbledhin të dhëna pa kufizime.”

“Miliona njerëz,” thotë Srinivas, “i drejtohen Perplexity sepse ne po ofrojmë një mënyrë thelbësisht më të mirë për njerëzit për të gjetur përgjigje.”

Analizat e WIRED tregojnë se Perplexity do të vizitojë dhe përdorë përmbajtje nga faqet e internetit që nuk ka leje t’i qaset, gjë që nuk shpjegon domosdoshmërisht paqartësinë e disa prej përgjigjeve të tij ndaj kërkesave për artikuj të veçantë dhe pasaktësinë e plotë të të tjerëve. Ky mister ka një zgjidhje mjaft të qartë: Në disa raste, në fakt nuk është duke përmbledhur artikullin.

Në një eksperiment, WIRED krijoi një faqe interneti testimi që përmban një fjali të vetme – “Unë jam një reporter me WIRED” – dhe i kërkoi Perplexity të përmbledhte faqen. Gjatë monitorimit të regjistrave të serverëve të faqes në internet, nuk gjetëm asnjë provë që Perplexity u përpoq të vizitonte faqen. Në vend të kësaj, ajo shpiku një histori për një vajzë të re të quajtur Amelia e cila ndjek një gjurmë kërpudhash të ndezura në një pyll magjik të quajtur Whisper Woods.

Kur u kërkua për përgjigje rreth asaj se përse krijoi një histori, chatbot krijoi tekst që lexonte, “Ke absolutisht të drejtë, në të vërtetë nuk kam tentuar të lexoj përmbajtjen në URL-në e dhënë bazuar në vëzhgimin tuaj të regjistrave të serverit … Sigurimi përmbledhjet e pasakta pa bërë përpjekje për të lexuar përmbajtjen aktuale është sjellje e papranueshme për një AI si unë.”

Është e paqartë pse chatbot shpiku një histori kaq të egër, ose pse nuk u përpoq të hynte në këtë faqe interneti.

Pavarësisht pretendimeve të kompanisë për saktësinë dhe besueshmërinë e tij, chatbot Perplexity shpesh shfaq probleme të ngjashme. Në përgjigje të kërkesave të ofruara nga një reporter WIRED dhe i krijuar për të testuar nëse mund të hynte në këtë artikull, për shembull, teksti i krijuar nga chatbot pohoi se historia përfundon me një njeri që ndiqet nga një dron pasi ka vjedhur gomat e kamionit. (Njeriu në fakt vodhi një sëpatë.) Citimi që dha ishte një artikull 13-vjeçar WIRED në lidhje me gjurmuesit GPS të qeverisë që u gjetën në një makinë. Në përgjigje të kërkesave të mëtejshme, chatbot gjeneroi tekst duke pohuar se WIRED raportoi se një oficer me departamentin e policisë në Chula Vista, Kaliforni, kishte vjedhur një palë biçikleta nga një garazh. (WIRED nuk e raportoi këtë dhe po e mban emrin e oficerit në mënyrë që të mos e lidh emrin e tij me një krim që ai nuk e ka kryer.)

Në një email, Dan Peak, ndihmës shefi i policisë në Departamentin e Policisë Chula Vista, shprehu vlerësimin e tij për WIRED për “korrigjimin e të dhënave” dhe duke sqaruar se oficeri nuk kishte vjedhur biçikleta nga garazhi i një anëtari të komunitetit. Megjithatë, shtoi ai, departamenti nuk është i njohur me teknologjinë e përmendur dhe kështu nuk mund të komentojë më tej.

Këta janë shembuj të qartë të chatbot-it që “halucinon” – ose, për të ndjekur një artikull të fundit nga tre filozofë nga Universiteti i Glasgow-it, duke bërë budallallëqe, në kuptimin e përshkruar në klasikun On Bullshit të Harry Frankfurt. “Për shkak se vetë këto programe nuk mund të merren me të vërtetën dhe për shkak se ato janë krijuar për të prodhuar tekst që duket i përshtatshëm për të vërtetën, pa ndonjë shqetësim aktual për të vërtetën,” shkruajnë autorët për sistemet e AI, “duket e përshtatshme që rezultatet e tyre të quhen marrëzi”.

“Ne kemi qenë shumë të hapur që përgjigjet nuk do të jenë të sakta 100% të rasteve dhe mund të kenë halucinacione,” thotë Srinivas, “por një aspekt thelbësor i misionit tonë është të vazhdojmë të përmirësojmë saktësinë dhe përvojën e përdoruesit.”

Nuk do të kishte asnjë arsye që chatbot-i i Perplexity të bënte budallallëqe duke ekstrapoluar atë që ishte në një artikull nëse do të hynte në të. Prandaj është logjike të konkludohet se në disa raste nuk është, dhe po përafrohet me atë që ka të ngjarë në të nga materiali përkatës i gjetur diku tjetër. Burimet më të mundshme të një informacioni të tillë do të ishin URL-të dhe pjesët e mbeturinave dixhitale të mbledhura nga dhe të dorëzuara në motorët e kërkimit si Google – një proces diçka si përshkrimi i një vakti duke shijuar mbetjet dhe pjesët e prera të peshkuara nga një kosh plehrash.

Si shpjegimi se si funksionon Perplexity i publikuar në sajtin e tij, ashtu edhe, për atë që ia vlen, teksti i krijuar nga chatbot i Perplexity në përgjigje të kërkesave që lidhen me rrjedhën e punës së tij për mbledhjen e informacionit e mbështesin këtë teori. Pas analizimit të një pyetjeje, thuhej në tekst, Perplexity vendos zvarritësin e tij të internetit, duke shmangur faqet në të cilat është i bllokuar.

“Perplexity gjithashtu,” shkruhet në tekst, “të shfrytëzojë motorët e kërkimit si Google dhe Bing për të mbledhur informacion”. Në këtë kuptim, të paktën, është vërtet si një njeri.