ByteDance alustas vaikides 10 triljoni AI-mudeli koolitust

ByteDance on vaikselt alustanud hiigelprojekti koolitust: tehisintellekti mudelit, millel on umbes 10 triljonit parameetrit. See on julge samm, mis asetab ettevõtte globaalse mudeli mõõtude ja võimekuse võidurelvastumise keskmesse.

Inimestele, kes on asjaga kursis, on eelõpe juba käimas. See etapp, kus mudel neelab suures koguses toorandmeid mustrite õppimiseks, kestab tavaliselt kolm kuni kuus kuud enne peenhäälestust ja avalikku vabastamist. Parameetrid on mudeli sisemised seaded teadmiste kodeerimiseks; need ei anna kogu pilti, kuid on laialdaselt kasutatav lühiväljend mudeli suuruse ja potentsiaali tähistamiseks.

Miks on suurus oluline? Suuremad mudelid suudavad tabada rohkem nüansse ja üldistada paremini erinevate ülesannete vahel, kuigi tulusus ei ole lineaarne ning tõhusus loeb endiselt. ByteDance'i teatatud 10 triljoni parameetri siht paneks selle mudeli enam kui kolm korda suuremaks kui Kimi K3, hiina idufirmalt pärit 2,8 triljoni parameetriga süsteem, ning palju suuremaks kui varasemad kohalikud osalejad nagu LongCat-2.0 ja V4-Pro, mis mõlemad on umbes 1,6 triljonit parameetrit.

Otsesed võrdlused juhtivate USA süsteemidega on endiselt keerulised. Ettevõtted nagu Anthropic ja OpenAI avaldavad harva oma lipulaevade täpseid parameetrite arve. Sõltumatud hinnangud asetavad Anthropicu arenenuma pakkumise, Mithos 5, ligi kaheksa triljoni parameetri juurde ja Fable 5 umbes viie triljoni juurde. Kui need hinnangud osutuvad õigeks, viiks ByteDance'i uus pingutus selle piirkonda, mis on võrreldav Anthropicu kõige keerukamate süsteemidega.

Selles loos on veel üks tahk: logistika ja kulud. Sellisel skaalal koolitamine on kallis ja energiakulukas. Hiina tehnoloogiaettevõtted võistlevad arendustsüklite lühendamise ja oma tehnoloogiapinu tõhusama kasutamise nimel, püüdes välja tuua võimsaid süsteeme ilma kontrollimatute tegevuskuludeta. See on pragmaatiline vastus karmile turule.

Kas puhas parameetrite arv otsustab võitjad, on endiselt lahtine küsimus, kuid ByteDance'i pingutus rõhutab, kuidas konkurentsi esiots on nihkunud nutikatest teadusartiklitest tööstusliku mastaabiga inseneritöö ja juurutamise suunas.

Oodata tuleks rohkem teadustusi ja samm-sammulisi täiustusi, mitte üht määravat läbimurret. Tõeline võitlus toimub selle üle, kuidas neid süsteeme häälestatakse, skaleeritakse ja integreeritakse toodetesse, mida inimesed tõepoolest kasutavad.