Gemini 3.5 reaalaja tõlge: inimlikum ja sujuvam kõnetõlge

Kujuta ette, et seisad rahvarohkes rongijaamas kõrvaklapid peas ja kuuled, kuidas võõra sõnad muudetakse sinu keelde peaaegu enne, kui ta oma lause lõpetab. Selle lubaduse täidab Google Gemini 3.5 Reaalaja tõlge, mudel, mis on loodud selleks, et reaalajas suuline tõlge kõlaks vähem nagu masin ja rohkem nagu mitmekeelne sõber, kes tõlgib otseajal.

Gemini 3.5 tunneb ära ja kuvab kõnet enam kui 70 keeles, säilitades esineja rütmi, kõlatooni ja tempo, nii et tõlked kõlavad loomulikumalt kui robotlikult. Trikk ei ole mingi võlukäik; tegemist on voogedastuse lähenemisega, mis töötleb heli samaaegselt, kui seda räägitakse, kärpides ebamugavaid pause, mis tekkisid vanemates süsteemides, mis ootasid rääkija lõpetamist enne vastamist.

Latentsus on väike. Väga väike. Google’i sõnul jäävad tõlked originaalhäälega maha kõigest mõne sekundi võrra, mis teeb vestluse sujuvamaks. See suudab ka segakeelset sisendit töödelda ilma käsitsi säteteta; osalejad võivad rääkida mitmes keeles ja mudel juhib voogu. Mitte mingit menüüde tagaajamist kõne ajal. Mitte mingit kohmakaid režiimivahetusi. Selleks see ongi.

Saadavus algab Google'i tõlkerakenduses Androidi ja iOS-i jaoks. Selle kasutamiseks ühenda kõrvaklapid ja toksake alumises vasakus nurgas reaalaja tõlke valikut. Kui kõrvaklappe parasjagu käepärast pole, suunab Androidi uus Kuula-režiim tõlked telefoni kõlarist: hoia seadet kõrva lähedal nagu tavalise kõne puhul ja lase telefonil tõlgendada.

Koosolekute jaoks võib see olla mängumuutja. Google Koosoleku reaalajas subtiitrid olid varem tõlgitud kõne puhul piiratud vaid viie keelega. Gemini 3.5 abil laieneb tugi enam kui 70 keeleni, võimaldades ühes seansis üle 2000 keelepaari, mis annab palju laiemat katvust globaalsetele meeskondadele, klassiruumidele ja üritustele.

Veebis tutvustab Google ühekoputusega juhtnuppu, et alustada reaalaja tõlget kohe. See juhtnupp hakatakse eksperimentaalselt välja viima sel kuul, mis rõhutab, et ettevõte soovib, et reaalaja tõlge tunduks pigem sisseehitatud funktsioonina kui lisana.

Mudel on üles ehitatud vastupidavaks lärmakates ja ettearvamatutes keskkondades. Taustamürin, tänavamüra või kattuvad hääled; Gemini 3.5 on loodud neid taluma. Arendajad võivad eeldada, et mudel ilmub kogu Google'i ökosüsteemis, alates tõlkerakendusest kuni koosolekuteenuse ja kolmandate osapoolte rakenduste API-de kaudu.

Kõik Google’i mudelite loodud helid sisaldavad väljundisse peidetud nähtamatut SynthID-veesignaali, mis teeb tehisintellekti genereeritud kõne tuvastatavaks ja aitab kuritarvitusi piirata.

Küsimusi jätkub. Kuidas süsteem toime tuleb piirkondlike dialektide, koodivahetuse või piiratud andmestikega keeltes? Kuidas hallatakse privaatsust ja nõusolekut, kui vestlusi transkribeeritakse ja tõlgitakse reaalajas? Google viitab kahele aastakümnele tõlketööd ja ütleb, et miljardid kasutajad juba toetuvad selle tööriistadele, kuid võimsa voogedastusmudeli igapäevasesse kasutusse viimine tõstatab uusi poliitika- ja kasutajakogemuse väljakutseid.

Kõigile, kes reisivad, õpetavad või korraldavad ülemaailmseid koosolekuid, on Gemini 3.5 reaalaja tõlge praktiline hüpe: vähem takistusi, rohkem otsesust ja hääl, mis kõlab inimlikumalt. Kui keel lõpetab olemise seinana ja muutub taustamüraks, nihkub küsimus sellest, kuidas me tõlgime, selle peale, kuidas me teistmoodi kuuleme.