LiteLLM tarneahela rünnak paljastas 195TB paroole firmadelt

40 minutit. Selle ajaga selle märtsi jooksul suutsid ründajad tavalised pakendite allalaadimised muuta massiliseks andmerööviks.

Arendajad ja insenerid, kes tõmbasid seda, mida nad pidasid legitiimseks avatud lähtekoodiga teegi LiteLLM (versioonid 1.82.7 ja 1.82.8) väljalaskeks, said selle asemel koodi, mis sisaldas mälust saladusi korjanud tagaukse. Kui pahatahtlik koorem käivitati, skaneeris see süsteemi RAM-i, kogus sealt leitud saladusi ja voogedastas neid ründajate kontrollitavatele serveritele. Tulemuseks: paljudest maailma suurimatest ettevõtetest eksfiltreeriti terabaitide kaupa tundlikku materjali.

Kuidas ühe paketi kompromiteerimine muutus ülemaailmseks tarneahela katastroofiks

Turbeuurijad leidsid hiljem umbes 195 terabaiti andmekogu. Selles olid pilve ligipääsu võtmed, konteineriregistri tokenid, SSH-võtmed ja aktiivsed andmebaasi paroolid, mis olid seotud enam kui 2 500 organisatsiooniga. Andmestik sisaldas ka mandaate rohkem kui 434 000 CI/CD töövoo kirje jaoks, paljud neist paljastusid lubavate avalike seadistuste tõttu. Lühidalt: kui mandaadid asusid mälus või töövoo muutujates, olid need ohus.

Sissetung ei alanud LiteLLM-ist. Uurimise tehnilised jäljed näitavad, et ründajad kompromiteerisid esmalt laialdaselt kasutatava haavatavusskanneri Trivy ja kasutasid seda jalajälge seotud projektide, nagu KICS ja Telnyx Python SDK, saastamiseks. Sealt levis saastunud ahel LiteLLM-i väljaannetesse.

Operatsiooni on enda nimele võtnud rühm, kes jätab end kutsuma TeamPCP-ks. Mitmed sõltumatud turbetiimid on rünnakumustri ja ajajoone kinnitanud, mistõttu on vähe kahtlust, et tegu oli koordineeritud tarneahela kampaaniaga, mitte üksiku ärakasutamisega.

Kes said kannatada? Mõjud on laialdased. Avalikustatud võtmete seas on tehnoloogiahiiglasi ja kriitilise infrastruktuuri ettevõtteid: Nvidia, Amazon Web Services, Samsung, Cisco, Siemens, Volkswagen, Reuters, FedEx, Epic Games, X (endise nimega Twitter), HP, Philips ja Deutsche Bank kuuluvad ettevõtete hulka, mille lekitatud võtmete olemasolu on kõrge kindlusega kinnitatud.

Miks see levis nii kiiresti? Kaks tegurit kattusid: kiirustamine AI-tööriistade kasutuselevõtuga ja habras usaldusmudel avatud lähtekoodiga tarneahelates. Organisatsioonid, kes olid innukad AI-võimekusi integreerima, paigaldasid raamatukogusid ja automaatikat minimaalse auditeerimisega. Keskkonnamuutujates hoitud või build-runneritesse jäävad saladused muutusid lihtsaks saagiks.

Seal on ka tehniline põhjus, miks rünnak oli nii efektiivne. Pahatahtlikud LiteLLM-ehitised käivitasid mälupuhasti, mis dumpis kõik mälus olevad mandaadid ja saatis need kogujasse. See tähendab, et ka ajutised tokenid, mida kasutati vaid lühidalt deploy'de ajal, püüti kinni. Ajutine ei tähenda turvalist, kui ründaja saab lugeda RAM-i.

Tühistage ja vahetage kõik lekitunud võtmed ja tokenid kohe.

Seda nõuet kordavad nüüd turbetidimid. Kuid kõrvaldamine on keeruline. Kuna paljud lekitunud saladused leiti ilma domeenimärgendite või organisatsioonitunnuseta, seisavad kaitsmeüksused silmitsi valuliku inventuuriprobleemiga: tuvastada, millised võtmed kuulusid millistele teenustele, seejärel tühistada, vahetada ja ümber konfigureerida. Paljudele arendusmeeskondadele tähendab see CI/CD runnerite ülesehitamist uuesti, manustatud saladuste asendamist lühiajaliste mandaadidega ning saladuste skannimise tööriistade kasutuselevõttu, mis tabavad lekkeid enne tootmisse jõudmist.

Õppetunnid on selged ja karmid. Esiteks, sõltuvuste päritolu on oluline. Kiire paigaldamine mugavusraamatukogudele ilma kontrollsummasid ja avaldaja identiteeti kinnitamata tekitab tarneahela riski. Teiseks, saladused ei tohi elada tavalises tekstis CI/CD muutujates ega püsivates tokenites. Kasutage võimalusel lühiajalisi teenuseidentiteete ja rollide-põhist ligipääsu. Kolmandaks, avatud lähtekoodi ökosüsteem vajab tugevamaid tõkkeid: reprodutseeritavad ehitised, allkirjastatud paketid ja hooldajate parem käitumine vähendavad seda tüüpi rünnakuid.

Organisatsioonidele, kes kasutavad LiteLLM-i või mis tahes sellega seotud tööriistu, peaksid kiireloomulised sammud sisaldama:

• Tehke inventuur kõigist mandaatidest ja tokenitest, mis võisid laadida ehitus- või jooksuaja mällu.
• Kehtetuks tunnistage ja vahetage need võtmed, väljastades uued mandaadid minimaalsete õigustega.
• Auditeerige CI/CD töövood ja asendage kõik tavalises tekstis olevad saladused turvalise võtmehoidla toetatud lühiajaliste tokenitega.
• Kontrollige pakettide terviklikkust, võrdledes kontrollsummasid ja eelistades usaldusväärsete hooldajate allkirjastatud väljaandeid.
• Jälgige ehitusinfrastruktuurist väljaminevat anomaalset liiklust, mis võib viidata jäävatele tagaukudele.

Rünnak on äratuskell. AI-tööriistade integreerimine võib tuua olulisi tootlikkuse võite. Kuid kui kiirus ületab turvalisuse, ei ole tagajärjed teoreetilised. Mandaadid on valuuta. Kui need lekkivad, võimaldavad need eskalatsiooni, lateraalset liikumist ja andmete vargust suurel skaalal. Meeskonnad peavad eeldama, et kompromiss on võimalik, ja kujundama süsteeme nii, et miski, mida ründaja saab ühes sessioonis haarata, oleks minimaalne.

Oodake täpsemaid avaldusi turbefirmadelt, kui nad jätkavad 195 terabaiti mahuga saagi analüüsimist ja mõjutatud organisatsioonide kaardistamist. Praegu on kõige turvalisem poliitika kiire, koordineeritud võtmete pööramine koos ehitus- ja juurutusprotsesside forensilise ülevaatega.