Uuring: Poola keeles parimad AI-päringu tulemused maailmas

Üllatav leid ühisuuringust Marylandi Ülikooli ja Microsofti vahel: poola keel osutus 25 muu keele seas kõige tõhusamaks keeleks suurte tehisintellekti mudelite juhendamiseks ehk promptimiseks, samal ajal kui inglise keel jäi alles kuuendaks.

Kuidas teadlased keele jõudlust AI-ga testisid

Uurimisrühm pakkus identseid päringuid, mis olid tõlgitud 26 keelde, mitmele suurele keelemudelile — sealhulgas OpenAI mudelid, Google Gemini, Qwen, Llama ja DeepSeek — ning mõõtis ülesannete täpsust ja tulemuste kvaliteeti. Katsemaatriks hõlmas eri tüüpi ülesandeid: lühivastuste genereerimine, pikema teksti analüüs, tõlgendamine, klassifitseerimine ja loogikapõhised küsimused. Selle süsteemse lähenemise eesmärk oli võrrelda, kuidas sama semantiline sisend erinevates keeltes mõjutab mudelite väljundit.

Vastupidiselt paljudele ootustele tõusis Poola keel esikohale, saavutades keskmise ülesandetäpsuse 88%. Uuringus kasutatud hindamismeetrikad olid standardiseeritud ja hõlmasid nii kvantitatiivseid täpsusmõõdikuid kui ka kwalitatatiivset käsitsi ülevaatust, et kontrollida vastuste loogilisust ja ühemõttelisust. Lisaks uuriti tulemuste statistilist usaldusväärsust, et eristada juhuslikke kõikumisi korduvatest mustritest.

Raporti autorid nimetasid tulemusi "ootamatuks" ja rõhutasid, et inglise keel ei olnud universaalne võitja. Pikkade tekstide hindamises jäi inglise keel kuuendale kohale, samal ajal kui Poola juhtis pingerida. See uuring rõhutab, kui palju võib keelevalik mõjutada mudeli väljundi kvaliteeti, ning toob esile vajaduse mitmekeelse testimise ja prompti insenerimise parimate tavade arendamise järele.

Parimad keeled AI-päringute jaoks — uuringu edetabel

Järgnev nimekiri on uuringu kümne parima keele kohta, paigutatud keskmise täpsuse järgi. Edetabel on oluline nii teadlastele kui ka arendajatele, kes töötavad mitmekeelse keelemudelite ja promptimisega.

• Poola — 88%
• Prantsuse — 87%
• Itaalia — 86%
• Hispaania — 85%
• Vene — 84%
• Inglise — 83.9%
• Ukraina — 83.5%
• Portugali — 82%
• Saksa — 81%
• Hollandi — 80%

Miks võib poola keel AI-päringutele paremini sobida?

Mitmed teooriad aitavad seletada seda algul intuitiivsust vastandavat tulemust. Üks keskne selgitus puudutab keele morfoloogilist rikkust ja ortograafilist järjekindlust. Poola keel on morfoloogiliselt rikkalik — see tähendab, et sõnavormid kannavad palju grammatilist infot, näiteks käände- ja pöördevormid ning eri afiksid, mis võivad anda mudelile selgemaid signaale tähenduse ja grammatilise suhte kohta. Samal ajal on poola kirjutamise reeglid suhteliselt ühtsed, mis võib tähendada, et tokeniseerimise (tokenization) protsess jagab teksti sellisteks alamüksusteks, mis sobituvad hästi transformeri arhitektuuriga.

Tokeniseerimine, mida paljud suured keelemudelid kasutavad (nt byte-pair encoding ehk BPE või unigram-sõnastik), jagab sõnad alamüksusteks. Kui alamüksused kattuvad loomulike morfeemidega või kui morfeemilised tunnused on järjekindlad, saab mudel kiiresti leida stabiilseid mustreid. See võib tähendada, et isegi piiratud treeningandmete korral suudavad mudelid Poola keeles genereerida täpsemaid ja selgemaid vastuseid kui teistes keeltes, kus tokeniseerimine võib lõhkuda semantika vähem sobivalt.

Teine oluline tegur on ambiguitet ja fraasistamise viis: mõned keeled sundivad loogiliselt ja grammatikaliselt selgemaid konstruktsioone, vähendades mudeli vale-tõlgendamise riski. Näiteks, kui keele struktuur nõuab konkreetset sõnajärge või inflektsioonimarki, siis on mudelil lihtsam tuvastada, milline on päringu tegelik intent. Uuring viitab ka sellele, et see, kui "keeruline" keel inimõppija jaoks tundub, ei pruugi olla korrelatsioonis modelleerimise raskusega — mudelid õpivad strukturaalseid mustreid sõltumata inimeste keele omandamise raskusest.

Veel üks tähelepanuväärne aspekt on treeningandmete jaotuse ning kvaliteedi mõju. Suur treeningandmete hulk ühes keeles ei garanteeri automaatselt paremat promptimistulemuse kvaliteeti. Näiteks hiina keel paiknes selles hindamises üsna madalal (neljas lõpust), mis näitab, et andmete mahust lähtuvalt ei pruugi eeliste tekkida ilma, et arvesse võetaks tokeniseerimise mõju, tekstide tüübi mitmekesisust ja prefereeritud fraasivorme, mida mudel treeningu jooksul kohtab.

Järeldused prompti insenerimise ja mitmekeelse AI jaoks

Mida peaksid arendajad, teadlased ja promptiinsenerid sellest võtma?

• Ärge eeldage, et inglise keel on alati parim: testige päringuid mitmes keeles — võite saada täpsemaid või kokkuvõtlikumaid väljundeid ootamatust keelest. Promptimine (prompt engineering) peaks olema iteratiivne protsess, mis sisaldab mitmekeelseid eksperimente ja A/B-teste.
• Arvestage morfoloogia ja tokeniseerimise mõju, kui kujundate mitmekeelseid benchmarke või peenhäälestate (fine-tuning) andmekogumeid. Tokeniseerimisstrateegia võib otseselt mõjutada seda, kuidas mudel interpreteerib grammatilist infot ja semantikat.
• Rahvusvaheliste rakenduste jaoks hinnake mudeli käitumist sihtkeeltes, mitte ainult inglise keeles tehtud testide põhjal. Lokaliseerimine ja keeletestimine peaksid olema osa tootearendusprotsessist, eriti kui teenus suunatud mitmele keelepiirkonnale.

Poola Patendiamet isegi postitas sotsiaalmeedias, et tulemused näitavad poola keele täpsust AI juhendamisel, lisades lõbusa märkuse: inimestele võib poola keelt olla raske õppida, kuid AI-l seda piirangut ei ole. Sellised avaldused aitavad tõstatada ühiskondlikku tähelepanu uurimistöö järeldustele, kuid teaduslik diskursus nõuab siiski täiendavat valideerimist ja sõltumatuid kordusi.

Mis saab edasi?

Teadlased rõhutavad, et see ei ole lõplik vastus — on vaja rohkem tööd, et mõista, kuidas tokeniseerimine, treeningandmete jaotus ning keeleline struktuur mõjutavad mudelite käitumist. Soovituslikud järgmised sammud hõlmavad mitut uurimisvektorit:

• Võrdlevad eksperimendid erinevate tokeniseerimisstrateegiate (BPE, unigram, byte-level BPE, morphologically aware tokenizers) kasutamise kohta, et mõõta, millist mõju avaldab tokeniseerimine promptide täpsusele eri keeles.
• Andmete kvaliteedi ja tüübi analüüs: kas mudelile antud treeningtekstid sisaldavad piisavalt instruktiivset ja formaalset keelt, mis sarnaneb päringute stiilile? Kui mitte, siis tuleb kaaluda spetsiifilisi andmekogu laiendusi ja puhastamist.
• Uurida, kuidas keele tüpoloogilised omadused (nt flectional vs. agglutinatiivne struktuur, vabad sõnajärjed) mõjutavad ülesannete edastatavust ja mudeli õppimisvõimet. See aitab luua keelespetsiifilisi parimaid praktikaid promptimiseks.
• Praktilised testid tootmistingimustes: ettevõtted peaksid läbi viima kontrollitud A/B-teste sihtkeeltes, et hinnata tõelist sisu kvaliteeti ja kasutajakogemust erinevates keeleversioonides.

Lisaks teaduslikele järgnevatele sammudele on oluline arendada tööriistu ja juhendeid, mis aitavad promptiinseneridel ja arendusmeeskondadel hõlpsamini katsetada eri keeli. See võib hõlmata automatiseeritud keele-võrdluse raamistikke, mis mõõdavad nii kvantitatiivseid kui ka kvalitatiivseid aspekte (täpsus, selgus, vastuste konsistents).

Uuring annab märku, et AI kogukond peaks ümber hindama mõningaid levinud oletusi ja julgustab eksperimenteerima laialdaselt, kui optimeeritakse päringuid mitmekeelsete mudelite jaoks. See on oluline samm promptimise teaduse ja praktikaarenduse suunas ning toob esile vajaduse koostöö järele keeleteadlaste, AI-uurijate ja inseneride vahel.

Kokkuvõttes näitab uuring, et keele valik võib olla strateegiliselt oluline komponent AI-põhiste tootete ja teadusuuringute arendamisel. Hoolikas keeleline analüüs, tokeniseerimise parandamine ja mitmekeelsete testide integreerimine võivad aidata saavutada paremaid ja usaldusväärsemaid tulemusi, olgu teemaks siis klienditeeninduse automatiseerimine, lokaliseeritud sisugeneratsioon või teaduslikud rakendused suurte keelemudelite vallas.