PEPS: AMD positsioonikodeerimise uus lähenemine tekstuurile

Mõtle tekstuurile kui meloodiale. Lihtsad koordinaadid sumisevad viisi. Kujuta nüüd ette selle viisi ümberorkestreerimist mööda Lissajous' kõverat, nii et meloodias tekib palju rohkem harmoonikuid. See on sisuliselt see, mida AMD-i Positional Encoding Projected Sampling ehk PEPS pakub.

Positsioonikodeerimise uus nüanss

Traditsiooniline neuraaltekstuuride kokkusurumine tugineb implitsiitsetele neuraalsetele esitustele, ehk INR-ile. Sisestad madaldimensionaalsed tekstuuri koordinaadid mitmekihilisse perceptronisse ja võrk õpib taastama pildi detaili väga väikese mälumahu juures. Positsioonikodeerimine on saladuslik koostisosa: see tõstab koordinaadid kõrgema dimensiooniga sinusoidsesse ruumi, võimaldades MLP-l modelleerida peenemaid detaile.

PEPS sõnastab selle tõusu uuesti. Selle asemel, et käsitleda iga sinusoidselt manustatud vektorit eraldiseisvana, kaardistab AMD-i lähenemine need manustused punktidele mööda Lissajous' kõveraid ning seejärel proovib kodeeritavat või võrku nendel projitseeritud punktidel. Tulemuseks on INR-i jaoks laiendatud informatsiooni manifold. Praktilises mõttes suudab mudel esindada rikkalikumat tekstuuri sisu ilma võrgu põhialust muutmata.

Kinnihoidev koht on hind. Rohkem proovivõtmisi tähendab rohkem arvutust ja suuremat mäluliiklust. AMD-i katsed 9070 XT GPU-l näitavad vahet selgetes numbrites: kolmekanalilise 1024 by 1024 tekstuuri genereerimine võttis nende baasmudelis 4.32 millisekundit. Grid-PEPS tõstis selle 5.47 millisekundini. Optimeeritud variant nimega Grid-PinkPEPS vähendas karistust 4.86 millisekundini, kuid see ei ületanud baasmudelit. Need lisakellad tulenevad täiendavatest projekteerimistest ja rängematest mälule juurdepääsudest, mida PEPS nõuab.

See arvutuslik ülekoormus ei ole siiski otsustav takistus. See on disaini valik. Kui sinu prioriteet on puhas kompressioonitõhusus ja salvestuse vähendamine, pakub PEPS uut hooblit. Kui sinu prioriteet on latentsusele tundlik reaalajas renderdus, eelistad võib-olla kergemaid kodeerijaid, vähemalt praegu.

Veel üks huvitav nüanss: see trikk ei piirdu vaid värvitekstuuridega. PEPS-i saab rakendada signeeritud kaugusväljadele, ehk SDF-idele, mis on paljude kaasaegsete geomeetria- ja volüümrendimiste aluseks. SDF-id nõuavad tavaliselt kõrgeresolutsioonilisi võrke, mis tarbivad VRAM-i. Kompaktne ja väljendusrikas INR, mis säilitab täpsuse, võiks oluliselt vähendada mälusurvet stseenides, mis muidu vajaksid kilomeetrite kaupa tekstuuri- ja geomeetriapuhvreid.

Kas näed PEPS-i oma järgmisel Radeon draiveril? Mitte kohe. Uurimistöö esitati I3D-s ja tutvustab paljulubavaid tehnilisi ideid, kuid tööstuse kasutuselevõtt jääb uuringutele järele. Nvidia on juba avaldanud mõningaid avalikke tööriistu ja demo'sid neuraaltekstuuride töövoogude kohta, ent ükski peavoolu pealkiri ei tule täisneuraalse tekstuuri kompressioonitorustikuga. AMD avalikud materjalid jäävad eksperimenteerivateks ja brändituteks; ettevõte kasutab oma avaldustes endiselt üldist terminoloogiat tarbijale suunatud nime asemel.

On laiem kontekst, mida meeles hoida. Tööstus on veel mälukriisi faasis: aastakümne keskpaiga graafikakaardid 8 gigabaidise mäluga on endiselt tavalised, nii et igasugune meetod, mis pigistab mälutarvet ilma dramaatilisi riistvaranõudeid esitamata, on praktiline. PEPS asub täpselt selles ruumis: väljendusrikkam kompressioon arvutuse hinnaga, mis võib olla tasuv vahetus stuudiotele ja mootoritele, kes suudavad CPU/GPU koormuse amortiseerida.

Lõppkokkuvõttes tundub PEPS elegantse eksperimendina, millel on praktilisi tagajärgi. See nihutab piirjooni positsioonikodeerimise kasutamises, laenates veidi geomeetriast ja signaalitöötlusest, et anda INR-idele rohkem tegutsemisruumi. Oodata on rohkem artikleid, optimeerimisi ning aeglast ja ettevaatlikku labori-demo'de ülekannet tööriistadesse ja mootoritesse. Praegu on PEPS huvitav vahepeatus tee peal efektiivsemate sisutootmisvoogude suunas, mitte valmis tarbijafunktsioon.