Kuidas $200 kuus AI-tellimus võib muutuda kalliks kuluks

Kui maksad 200 dollarit kuus, võid arvata, et saad tipptasemel boti. Kuid järelvaates võib see kuutasu mudelit jooksutavale ettevõttele paisuda palju suuremaks arveks. SemiAnalysis testis raskete kasutusjuhtude puhul OpenAI ja Anthropicu tasulisi tasemeid ning numbrid on... mõtlemapanevad.

Kujuta ette kogenud kasutajat, kes käitab pikki kodeerimistöid ja agendi-põhiseid töövooge kuni nädalapiirid on ammendunud. Lühike sisend? Väike kulu. Orkestreeritud agendid, mis iterseerivad, kutsuvad tööriistu ja esitavad uuesti päringuid? Tokenite arv plahvatab. SemiAnalysis hindab, et täielikult koormatud ChatGPT Pro 20x tellimus hinnaga 200 dollarit kuus võib OpenAI jaoks API-tasandi tokenikuludena tähendada umbes 14 000 dollarit. Anthropicu puhul võib sama hinnaga Claude Max 20x maksma minna umbes 8 000 dollarit.

Need numbrid teevad ühe asja selgeks: pealkirjas olev tellimuse hind ütleb vähe selle taga oleva majanduse kohta. Kui kiiresti pakkuja jõuab kasumlikkuseni, sõltub vähem sellest, kui palju dollarites kasutaja maksab, ja rohkem sellest, kui tõhusalt see kasutaja tarbib arvutusressursse ja tokeneid.

Tasakaalupunktid saabuvad varem, kui võid arvata. SemiAnalysisi modelleerimine viitab, et Anthropicu Claude Pro ja Claude Max 5x plaanid muutuvad kasumlikuks ainult siis, kui tüüpilise kasutaja tõhusus on umbes 20 protsenti. OpenAI-l on veel kitsamad marginaalid: ChatGPT Plus ja ChatGPT Pro 5x võivad sattuda kahjumisse, kui kasutajate kasutustase tõuseb üle ligikaudu 11,4 protsendi. Kõrgeimate tasemete juures muutub olukord veelgi keerulisemaks: Anthropic jõuab nulli brutomarginaalini ligi 10 protsendi kasutustasemel, samal ajal kui OpenAI läheb negatiivseks üle umbes 5,7 protsendi.

Lihtsas keeles: tellimuse muutmiseks kahjumlikuks ei vaja sa suurt hulka võimekaid kasutajaid. Keerukad agendi töövood, mahukad koodi silumisistungid või ettevõtte automatiseerimisrutiinid võivad tarbimise kiirelt sellesse ohtlikku tsooni viia.

200 dollarit kuus maksva plaani puhul võib rasketel kasutusjuhtudel pakkujale tekkida kuni 14 000 dollari väärtuses tokenikulusid.

See rahaline surve on juba muutmas ettevõtete sisekäitumist. Tokenite tarbimine kasvab kiiresti; agendi-stiilis süsteemid võivad nõuda kuni 1 000 korda rohkem tokeneid kui üksainus päring. Ettevõtted, mis varem soodustasid laialdast sisemist katsetamist, piiravad nüüd ligipääsu. Microsoft, Meta ja Amazon on sisemeetmeid karmistanud pärast arvel šokki entusiastlike töötajate pärast, kes kohtlesid suuri keelemudeleid nagu tasuta uurimistööriistu.

Siin on poliitiline pinge. Ühetasulised tellimused on olnud kasutajakasu ja laialdase vastuvõtu kiirendaja. Need alandavad sisenemistõket ja teevad väärtuspakkumise lihtsaks. Kuid nad varjutavad ka marginaalseid kulusid, ning kui ilmnevad mõned kõrge tarbimisega kasutajad, võivad nad kiirelt üle ujutada hinnamudelit toitnud majanduslikud alused.

SemiAnalysis pakub siiski leevenduse teed: infrastruktuuri ja mudelite tõhususe paranedes võivad keskmise klassi mudelid muutuda palju odavamaks kasutada, mis võib tähendada tarbijahinnaga tasemeid umbes 20 dollarit kuus. Kinnipeetav osa on tipptasemel mudelid. Kõige võimekamad järgmise põlvkonna süsteemid jäävad tõenäoliselt kalliks käitada ja neid võidakse viia tellimuselt vaid API-juurdepääsule koos kasutuse alusel tasumisega suurte tarbijate jaoks.

Ettevõtetele ja võimekatele kasutajatele vihjab see tulevasele lahknemisele: taskukohased tellimused igapäevaste ülesannete jaoks ning mõõdetud API-juurdepääs suurt mahtu nõudva automatiseerimise ja arenenud agendi tööde jaoks. Pakkujatele on väljakutse pigem poliitiline kui tehniline: kuidas piirata ligipääsu või tõsta hindu ilma kasvu pidurdamata ja kasutajaskonda võõrandamata, kes alles harjub selle tehnoloogiaga.

Igal juhul jõuab matemaatika üleshinnatud ootuste järele. Tellimused olid kasvumootoriks. Nüüd sunnivad need ettevõtteid tunnistama, kus tegelikud kulud asuvad ja kes lõpuks arve maksab.