Kërkimi i Apple merret me theksin anglez të inteligjencës artificiale
Pyet çdo folës jo-amtar të anglishtes, dhe ai ndoshta do të të thotë se studentët e LLM-së kanë tendencë të performojnë shumë më mirë në gjuhën e Shekspirit sesa në gjuhën e tyre.
Ndonjëherë, ndryshimi është delikat. Ndonjëherë, jo aq shumë. Ndonjëherë, është vërtet e rrezikshme, siç tregohet në këtë studim të Carnegie Mellon të vitit 2023, i cili zbuloi se hyrjet jo-anglisht mund të anashkalonin më lehtë filtrat e sigurisë.
Tani, Apple është bashkautor i një studimi që propozon një metodë të re që mund të mbyllë një pjesë të këtij boshllëku.
Siç e shpjegon Apple:
Modelet aktuale të Gjuhëve të Mëdha janë projektuar kryesisht me anglishten si gjuhë kryesore, dhe madje edhe ato pak që janë shumëgjuhëshe kanë tendencë të shfaqin paragjykime të forta të përqendruara në anglisht.
Ashtu si folësit që mund të prodhojnë shprehje të çuditshme kur mësojnë një gjuhë të dytë, LLM-të shpesh gjenerojnë rezultate të panatyrshme në gjuhët jo-anglisht, duke reflektuar modele të përqendruara në anglisht si në fjalor ashtu edhe në gramatikë.
Me fjalë të tjera, edhe kur modelet gjenerojnë kinezisht ose frëngjisht, ato prapë “mendojnë” në anglisht. Rezultati? Rezultatet jo-anglisht ende ndjekin modele gramatikore dhe fjalori të ngjashme me anglishten.
Për ta testuar këtë, studiuesit e Apple, së bashku me studiuesit nga Inria Paris, École Polytechnique dhe Universiteti Sapienza i Romës, prezantuan dy metrika të reja:
Natyrshmëria Leksikore: A e përdor modeli fjalorin siç do ta përdorte një folës amtare?
Natyrshmëria Sintaksore: A i strukturon fjalitë në një mënyrë që përputhet me gramatikën amtare?
Ata krahasuan rezultatet e modelit me artikujt e Wikipedia-s të shkruar në gjuhën amtare në kinezisht, frëngjisht dhe anglisht.
Rezultatet konfirmuan paragjykimin. Edhe modeli Qwen i zhvilluar në Kinë nuk pati rezultate të mira në të gjitha gjuhët, përfshirë kinezishten. Llama 3.1 e Metës ishte më e natyrshme në përgjithësi, por prapëseprapë mbeti shumë prapa rezultateve në nivel njerëzor.
Për të mbyllur hendekun, Apple trajnoi një model që të preferonte rezultatet me tingull natyral mbi ato të çuditshme, duke përdorur një metodë mjaft të zgjuar: në vend që të mblidhnin manualisht shembuj të panatyrshëm, ata i gjeneruan ato automatikisht duke përdorur përkthimin e kundërt.
Një përgjigje e shkruar rrjedhshëm në gjuhën kineze do të përkthehej në anglisht dhe pastaj përsëri në gjuhën kineze, duke futur modele delikate të panatyrshme të njohura si “përkthimore”. Këto rezultate të manipuluara shërbenin si shembuj negativë, ndërsa origjinalet përdoreshin si përgjigje të preferuara.
Duke e trajnuar modelin që të preferonte versionin më natyral, Apple arriti të përmirësonte ndjeshëm si zgjedhjen e fjalorit ashtu edhe gramatikën, pa degraduar performancën e përgjithshme në testet standarde.