Scale AI pati vështirësi me spam-in nga kontraktorët gjatë shërbimit për Google

Më herët këtë muaj, pasi Meta investoi 14 miliardë dollarë në Scale AI dhe punësoi drejtorin ekzekutiv të saj, Alexandr Wang, dolën shpejt spekulime se Scale mund të humbiste disa nga klientët e saj kryesorë. Siç raportoi më vonë Reuters, Google ishte kompania e parë që ndërpreu marrëdhënien e saj me Scale, duke përmendur pjesëmarrjen e Metës në startup, e cila tani është 49 përqind.

Por kjo ndarje ishte vetëm kapitulli i fundit në një marrëdhënie të gjatë midis Google dhe Scale, e cila ishte e mbushur me boshllëqe në protokollet e sigurisë për të paktën 11 muaj midis marsit 2023 dhe prillit 2024, sipas një koleksioni dokumentesh të brendshme të siguruara nga Inc.

Përpjekjet e hershme të Scale AI për të trajnuar programet e Google AI ishin menduar të punësoheshin ekskluzivisht nga ekspertë në specialitete të ndryshme. Në vend të kësaj, programi, i quajtur “Ekspertët Bulba”, u përmbyt me “spam”, sipas një serie veprimesh të përditshme të mirëmbajtura nga drejtuesit e projekteve që punojnë për degën Remotasks të Scale. Identitetet e klientëve të Scale janë konfidenciale publike dhe njihen brenda kompanisë me pseudonime të ndryshme. “Bulba”, një ripërdorim i dukshëm i emrit Pokémon “Bulbasaur”, ishte emri për programin Bard AI të Google, i cili më vonë u riemërua në Gemini.

Regjistrat e memorizuar zbulojnë presionin për t’i shërbyer një klienti të madh si Google në vapën e bumit të inteligjencës artificiale pas ChatGPT. Dokumentet tregojnë përpjekjet e bëra nga udhëheqësit e ekipit për të ndaluar “spamerët”, të cilët punonin si kontraktorë të pavarur, të quajtur ndryshe “kontribues” brenda gjuhës së kompanisë. Ata shpesh abuzonin me sistemin duke paraqitur punë transparente me cilësi të dobët që arrinin t’i shmangeshin zbulimit.

Variacione të fjalës “spam” shfaqen në 83 faqe të dokumenteve. Një hyrje ofron një përkufizim të “sjelljes spam” si “shkrim i pakuptimtë, shkrim i informacionit të pasaktë, procese mendimi të gjeneruara nga GPT”.

Shpesh, spammerët paguheshin, sepse ishte shumë e vështirë t’i zbuloje të gjithë për shkak të numrit të madh të tyre, thonë ish-kontraktorët e Scale.

Dokumentet ofrojnë një pasqyrë të problemeve që ndodhën gjatë marrëdhënies së Scale me Google midis viteve 2023 dhe 2024. Ato shpjegojnë shumë shqetësime, duke përfshirë kontributorët që mbushën platformën nga jashtë dhe ndonjëherë duke përdorur ChatGPT për të përfunduar projekte, me sa duket si një mjet për të kapërcyer një barrierë gjuhësore kur projekti kërkonte njohuri të gjuhës angleze. Shpesh, projektet kërkonin diploma të avancuara që shumë pjesëmarrës nuk i kishin, pretendojnë ish-kontraktorët e Scale.

Në një deklaratë për Inc., zëdhënësi i Scale AI, Joe Osborne, tha: “Kjo histori është e mbushur me kaq shumë pasaktësi, sa është e vështirë të ndiqet. Ajo që tregojnë këto dokumente dhe ajo që ia shpjeguam Inc para publikimit, është se kishim masa të qarta mbrojtëse për të zbuluar dhe hequr spam-in përpara se çdo gjë t’u shkojë klientëve.”

Një zëdhënës i Google nuk iu përgjigj kërkesës për koment.

Dokumentet, të titulluara “Përmbledhje e SSOT-së nga Ekspertët e Bulba-s”, janë në thelb një axhendë operative për udhëheqësit e ekipeve që drejtojnë projekte të etiketimit të të dhënave. (SSOT është një term i zakonshëm në shkencën e të dhënave, që do të thotë Burim i Vetëm i së Vërtetës.)

Gemini, përveç mjeteve të tjera të shquara të IA-së të zhvilluara nga OpenAI, Meta dhe Departamenti i Mbrojtjes i SHBA-së, nuk do të mund të ishte vendosur komercialisht pa shërbimet e Scale AI.

Kompania, e bashkëthemeluar në vitin 2016 nga Wang dhe Lucy Guo , ofron trajnime për të dhënat për sistemet e inteligjencës artificiale nëpërmjet një mori punonjësish me kontratë, të cilët etiketojnë imazhet, modifikojnë tekstin dhe sigurohen që mjetet e inteligjencës artificiale të jenë të përshtatshme për tregun. Punonjësit me kontratë trajnojnë modele të papërpunuara nëpërmjet platformave Remotasks dhe Outlier AI, të cilat janë të dyja në pronësi të Scale AI. Modelet e inteligjencës artificiale kanë nevojë për të dhëna cilësore për të funksionuar siç duhet.

Pavarësisht se nuk kishin kualifikimet e duhura dhe futën të dhëna që ndonjëherë përshkruheshin si “palëllima” në dokumente, shumë nga dërguesit e spamit u kompensuan. “Njerëzit fituan kaq shumë para”, thotë një ish-kontribues i historisë së Remotasks në projektin Bulba. “Ata thjesht punësuan të gjithë ata që mund të merrnin frymë.”

Ky episod ngre pyetjen nëse Google në një moment kishte kontrastuar të dhëna jetësore nga punonjës që nuk kishin kredencialet e kërkuara nga programi Bulba. Gjithashtu vë në pikëpyetje protokollet e sigurisë dhe verifikimit të Scale AI.

Ishte një rrëmujë. Ata nuk kishin autentifikim në fillim», thotë ish-kontribuesi.

Dokumentet tregojnë se Google përdori Remotasks për të zhvilluar mjete të inteligjencës artificiale në një gamë temash gjatë periudhës kohore në fjalë. Ato përfshijnë kontabilitetin, fizikën, biologjinë, kiminë, burimet njerëzore, historinë, shkencën kompjuterike, ekonominë, shkencën e të dhënave, financën, marketingun, ligjin dhe tema të tjera të ndryshme.

Kontribuesit në këto programe trajnimi duhej të kishin një nivel të sofistikuar ekspertize në fushën e tyre, ndonjëherë duke kërkuar një diplomë të avancuar në fushat e tyre përkatëse. Por sipas bisedave me ish-kontraktorë të Remotasks, siguria dhe verifikimi i fuqisë punëtore të Remotasks shpesh nuk ekzistonin.

“Kishte njerëz në fushën time që nuk kishin përvojë, asnjë koncept për të”, thotë një ish-Menaxher i Radhës (QM) për Remotasks, i cili shqyrtoi dhe miratoi punën e kontribuesve individualë dhe kërkoi anonimat për të mbrojtur marrëdhëniet. Mungesa e përvojës së grupit të punëtorëve ishte një problem i vazhdueshëm për 11 muajt e mbuluar nga dokumentet, thotë ish-QM. “Do të punoja gjithë natën duke kërkuar dhe hequr” kontribues të pakualifikuar, thotë ish-QM.

Iniciativa Bulba ishte e madhe, që do të thoshte se kontribuesit e pakualifikuar mund të ndërhynin dhe shpesh të shmangnin kapjen. Dhe nëse kapeshin, ndonjëherë përdornin një VPN për ta filluar procesin nga e para.

Dërguesit e spam-eve “mund t’ia dilnin mbanë duke dërguar thjesht gjëra të panevojshme dhe nuk kishte mjaftueshëm njerëz për t’i gjurmuar”, thotë ish-QM. Shpesh, dërgimi i spam-eve përfshinte futjen e gjërave të panevojshme ose përdorimin e ChatGPT për të ndihmuar në përmirësimin e një përgjigjeje. Ndonjëherë, këta kontribues prapë arrinin të paguheshin, pavarësisht se përdornin një mjet të ndryshëm të inteligjencës artificiale të zhvilluar nga OpenAI, një konkurrent kryesor i Google.

“Unë personalisht do të kontrolloja të gjithë njerëzit në domenin tim dhe do të kontrolloja detyrat e tyre dhe do të sigurohesha që nuk po e bënin këtë, por shumë prej tyre u shpëtonin nga skemat. Pra, po, shumë prej tyre ishin punë të paguara”, thotë ish-QM, i cili punoi për Remotasks gjatë gjithë periudhës së mbuluar nga dokumentet.

Një tjetër QM thotë se përmbytja e numrit të kontribuesve ishte rezultat i komunikimit të dobët me ekipin e Alokimeve të Scale AI, i cili ishte përgjegjës për caktimin e kontribuesve në projekte: “Një mëngjes u futa në internet për të kontrolluar mesazhet dhe vura re se Departamenti i Alokimeve kishte dërguar 800 spammerë në ekipin tonë dhe ata fshinë radhën që po dërgonte spam të gjitha detyrat.”

Edhe pse programet e trajnimit Bulba kërkonin rrjedhshmëri në anglishten amerikane, një fluks i punonjësve të detyrueshëm nga vendet në zhvillim kishte zbritur në platformën Remotasks deri në verën e vitit 2023, tregojnë dokumentet.

Nuk kishte asnjë kontroll të së kaluarës», thotë ish-QM. «Për shembull, klientët kërkonin që njerëzit që punonin në projekte të kishin diploma të caktuara. Por nuk kishte kontrolle verifikimi… Shpesh bëhej fjalë për njerëz që nuk e kishin anglishten si gjuhë amtare.

Kjo krijoi një problem për ata që monitoronin dhe miratonin detyrat. Një hyrje nga regjistrat më 3 korrik 2023 thotë: “Shpërndarës të spamit: Ju lutemi të mos lejojmë më përdorues të detyrave nga EG [Egjipti], KE [Kenia], ZA [Afrika e Jugut], VE [Venezuela], PK [Pakistani] dhe çdo vend tjetër në zhvillim.”

Një dokument i quajtur “Udhëzimet e Ekspertëve për Aktivitetet e Dyshimta” këshillon mbikëqyrësit të largojnë punëtorët nga Kenia, Egjipti, Pakistani dhe vende të tjera afrikane, dhe të verifikojnë hyrjet duke përdorur ZeroGPT, një mjet që zbulon përdorimin e ChatGPT.

Udhëzimet për Aktivitete të Dyshimta gjithashtu u këshillojnë mbikëqyrësve të kenë kujdes nga llogaritë që qëndrojnë aktive për sasi të tepërta kohe. “Abuzim: nëse personat që kryejnë detyra regjistrojnë orët e punës, por nuk punojnë ose nëse personat që kryejnë detyra regjistrojnë 18+ orë në një ditë të caktuar.”

Një problem tjetër kishte të bënte me kontributorët individualë që shisnin llogaritë e tyre. Një postim nga gushti 2023 titullohet “Anëtarët e Komunitetit të Ekspertëve që Shisin Llogaritë e tyre” dhe ka disa lidhje të listuara poshtë atij titulli, njëri prej të cilëve titullohet “Dokument për gjetjen e spamit, duke përfshirë udhëzimet, procesin dhe metodologjinë”.

Kontraktorët dyshonin se llogari të caktuara po përdoreshin nga shumë persona për periudha të zgjatura kohore, sipas një ish-QM, i cili vuri re se disa llogari qëndronin të kyçura në platformë për “tetëmbëdhjetë orë rresht… gjë që nuk duket e realizueshme nga ana njerëzore. Ideja ishte se mund të ketë shumë persona që e përdorin atë llogari”.

Aktualisht, ka ende tema aktive në Reddit dhe faqe në Facebook që ofrojnë llogari Remotasks dhe Outlier AI për shitje.