Xiaomi AI Cube: kompaktne kohalik tehisintellektisüsteem

Kujuta ette peopesasuurust lauaarvutit, mis püüab andmekeskuse toppida kingakarpi. Xiaomi prototüüp AI Cube tundub just sellise eksperimendina: kompaktne, täpne ja avalikult ambitsioonikas.

Väike kast, suur ambitsioon

Selle mini-PC südamikus paiknevad kolm kodumaist kiipi: XRING O3, XRING O100 ja XRING D100. O3 on peamine tehisintellekti mootor: 10-tuumaline protsessor koos 16-tuumalise G2‑Ultra NX GPU ja madala energiatarbega NPU-ga, mille jõudlus on ligikaudu 200 TOPS. Lühikesed puhangud suurest läbilaskevõimest. Pikaajaline tõhus inferents.

O100 täidab kõrge läbilaskevõimega kiirendi rolli. 6 nm protsessil toodetud kiip väidab, et tal on 28 672 efektiivset andmeliini ja mälest lähedal asuva töötlemise läbilaskevõime ligikaudu 1,22 TB/s. Selline kohalik läbilaskevõime on oluline, kui soovite käivitada suuremaid keelemudeleid ilma pidevalt pilve appi kutsumata.

Seejärel on D100, 3 nm arhitektuur, mis on suunatud juhtimise ja tajutööde jaoks. See sisaldab 20 võimsat arvutusituuma, 16-tuumalist NPU-d ja toetab kuni 160 GB mälu. Kolmik peaks tööd jagama: üldine orkestreerimine, raske töö ja I/O-sensitiivne kiirendus.

Füüsiliselt on AI Cube kaetud lennundusklassi alumiiniumiga, töödeldud 33 874 CNC-lõikega. Xiaomi väidab, et šassii talub püsivat toiteühendust kuni 150 vatti. See näitab, et tegemist ei ole passiivse demonstreerimisega; seade on ehitatud nõudlike mudelite pikemaks jooksutamiseks.

Mis on kasutusjuhtum? Kohalik inferents. Xiaomi esitleb Cube'i kastina, mis suudab kohapeal käitada LLM-e ligikaudu 3 miljardist kuni 120 miljardi parameetrini offline'is. Mõelge privaatsusele keskenduvatele assistentidele, seadmes töötavatele kodeerimisabivahenditele või ääre-AI tööriistadele, mis ei talu latentsust ega pilvest sõltuvust. Füüsiline lüliti võimaldab kasutajal valida tööülesandele vastava kõrge jõudluse või madala energiatarbega režiimi.

Sellel on kontekst, mida tasub meeles pidada. Teised kitsamad tooted, nagu Tiiny AI Pocket Lab, on juba näidanud, et 120B mudelite käitamine kompaktse vormi puhul on võimalik. Xiaomi eripära on see, et nad kasutavad patenteeritud kiipi ja arhitektuuri, mitte kolmanda osapoole kiirendite ümberpakendamist.

Praegu on AI Cube prototüüp. Xiaomi pole jaganud hindu ega turuletoomise ajakava, nii et kas sellest saab kommertstoode või jääb see tehnoloogianäitusena on endiselt lahtine küsimus. Üks huvitav kõrvalmärk: varased masintõlked reklaamkujundustest olevat XRING nimed asendanud teise märgistusega, mis tekitas ajutist segadust meedias. Tõeline riistvara tundub siiski sihilikult Xiaomi-sisene.

Kokkuvõte: AI Cube näitab Xiaomi ambitsiooni omada suuremat osa virnast, alates pooljuhtidest kuni teenusteni, ja tuua kõrge jõudlusega tehisintellekt kasutaja lähedale. Kas turg vajab veel üht ääreseadet, näitab aeg. Kuid tehnilisena avalduse pole seda lihtne eirata.