Barion Pixel

Hackertámadás - 2021.03.30.

Kedves ügyfeleink, kollégáink, versenytársaink, más vállalatok vezetői és informatikusai, tisztelt Olvasó!


Zombori Antal vagyok, az UNIX Autó alapítója és vezetője. Egy évvel ezelőtt az általam alapított vállalat az egyik pillanatról a másikra meghalt. Zsarolóvírus támadás érte és irányító rendszere teljesen összeomlott, ezért leállt a vállalat szíve. Hála a kollégáink és sok külsős szakértők áldozatos munkájának, sikerült a vállalatot újra éleszteni, a cég szívét újra indítani.

Én magam nem vagyok informatikus, bár korábban autodidakta módon megtanultam programozni és a vállalatirányítási rendszerünk alapjainak megírásában is részt vettem, de nem tartom magam igazi IT szakembernek.

Ennek ellenére úgy döntöttem, leírom az eseményeket a saját szemszögemből, és megosztom tapasztalatainkat mindenkivel, aki kíváncsi rá. Egyrészt maga a történet is érdekes, és az is, hogy éltük meg mi ezt belülről. Valamint azt is gondolom, más vállalatok vezetőinek, informatikusainak is tanulságos lehet az, hogy kezeltük a helyzetet, hol hibáztunk, mit csináltunk jól, és végül, hogyan sikerült kimásznunk ebből a helyzetből.

A magam részéről azt kívánom mindenkinek, soha ne legyen szüksége ilyen információkra, és soha ne éljen meg senki hasonlót, ezt még a konkurenseimnek sem kívánom. De azért a végén összefoglalom, személyesen milyen tapasztalatokra tettem szert, mit gondolok arról, hogy lehet egy ilyen helyzetet elkerülni, és ha már benne vagyunk, hogyan érdemes kezelni.


A mi történetünk főbb vonalakban:

2021.03.30. - KEDD

Egy átlagosnak tűnő munkanapon készülődtünk az ebédhez, amikor 12:09-kor a központban a szerverek és a felügyleti rendszerek sorban elkezdtek hibát jelezni, majd leállni.

Először nem értettük, és üzemzavarra gyanakodtunk, de a megváltozott Windows asztalokon megjelent fájlokból gyorsan kiderült, zsaroló vírus támadás ért minket.

Amint erre rádöbbentünk, azonnal megkezdtük a rendszerek leállítását, ami persze nem egyszerű egy több száz szerverből álló környezetben. Gyakorlatilag informatikusaink versenyt futottak a zsaroló vírussal, ami hatalmas sebességgel titkosított fájlokat, amiket elért. Alig pár percen belül szinte az összes kiszolgáló szerver, irodai gép és kirendeltségi munkaállomás használhatatlanná vált. A támadók jól felkészültek, alapos munkát végeztek. Mint utólag kiderült, teljesen feltérképezték a teljes hálózatunkat, előtte már több hétig tervezték ezt a támadást.

12:30-ra a teljes cégcsoport működése leállt mindhárom országban. Be kellett zárni üzleteinket, leállt a logisztikai központunk. Gyakorlatilag meghalt a vállalat, leállt a szíve. Hallottunk már korábban kibertámadásról, de közelről nem tapasztaltunk még ehhez hasonló pusztítást. Az átlagos délelőtt hirtelen rémálommá vált.

A titkosított számítógépeken felugró ablakban tudomásunkra hozták, miként vehetjük fel a kapcsolatot a zsarolókkal, akik morbid módon saját ügyfélszolgálatot is működtettek. Ezen az oldalon láthattuk először a követelt váltságdíj mértékét, ami $2.700.000 volt. Az összeg azonnali kifizetése esetén, a leírás szerint megkaptuk volna a titkosítás feloldásához szükséges dekódoló kulcsot, sőt még segítségüket és szakértelmüket is szorgosan ajánlgatták a helyreállításhoz. Ha viszont nem fizetünk, a váltságdíj 5 nap után a duplájára, 5,4 millió dollárra nőtt volna.

Bár akkor még csak részleges információk voltak a károkról, illetve a mentések állapotáról, úgy döntöttem, hogy nem engedünk a zsarolásnak, nem fizetünk, hanem a mentésekből fogjuk helyreállítani az informatikai rendszereinket, és így indítjuk újra a vállalat működését. Meggyőződésem volt, ha fizetnénk, ha engednénk a zsarolásnak, soha nem lenne vége, nem engednének el minket, és ha újra is indítjuk a rendszereinket, pár nap múlva megint itt tartanánk.

A támadás előtt úgy gondoltuk, hogy az IT üzemeltetés és biztonság terén kellő felkészültséggel és védelemmel rendelkezünk. Voltak tűzfalaink, felügyeleti és jogosultsági rendszereink, végponti vírus védelmünk,lemezes mentési rendszerünk, szalagos mentési rendszerünk, teljes mentés, differenciál mentés, több is, mint ami a szakmában szokásos. Egyébként is úgy gondoltuk, ilyen csak más cégeknél történhet meg. Tévedtünk. Mindez kevés volt. Ilyen támadás ellen ez nem bizonyult elegendőnek. Döbbenten kellett tudomásul vennünk, hogy a világ megváltozott, amit tegnap lehetetlennek gondoltunk, az ma megtörtént.

A vírustámadás elhárításában tapasztalattal rendelkező IT biztonsági szakembereket kerestünk és segítséget kértünk. Estére már a saját szakembereinkkel együtt egy 50-60 fős csapat dolgozott a problémák megoldásán. Megkezdtük a károk felmérését és elkezdtük a helyre állítást, először logikusan a mentésekből próbálkoztunk. Ez elsőre sikerült is. Már közel éjfél volt, amikor nyilvánvaló lett, hogy a mentésből helyreállított domain kontroller is fertőzött. Amint bekapcsoltuk, a hackerek rögtön megpróbálták átvenni az irányítását.

Az már a váltságdíj követelésből világos volt, a REvil-Sodinokibi zsaroló csoport támadott meg minket. Nekünk ez nem sokat mondott, korábban nem hallottunk róluk. Ahogy sorban érkeztek a szakértők, megerősítették azt, amit mi is találtunk a weben erről a bandáról. Sajnos a világ egyik legsikeresebb, és egyben legveszélyesebb, gátlástalan gengszter csapatával találtuk szembe magunkat. A Wikipédia cikkében felsorolt híresebb "hőstetteik" magukért beszélnek:

https://en.wikipedia.org/wiki/REvil

Mint utóbb kiderült, minket és a több száz másik áldozatukat is egy olyan katonai jellegű fegyverrel támadtak meg, ami ellen a "polgári szintű" elhárító rendszerek, vírusirtók, tűzfalak tehetetlenek voltak.

A szakértői összefoglaló szerint először egy banki levélnek álcázott email útján sikerült bejutni hozzánk még januárban, vagyis két hónappal a tényleges támadás előtt.

Abba a levélbe rejtettek egy kis vírust, ami miután hozzánk bejutott, (mert kollégánk gyanútlanul rákattintott) máris "behúzta" a fegyver további elemeit. Ezek megbújtak nálunk, többszörözték magukat, és szépen elterjedtek az egész hálózatban. Megfigyelték a hálózati forgalmat, lemásolták maguknak a jogosítási adatcsomagokat, és szépen kivárták, amíg rendszergazdai jogosultsággal jelentkezik be valaki. Akkor ez a kis aranyos program ennek a hitelesítési információinak a birtokában saját magának is rendszergazdai jogosultságot adott, majd hátsó bejáratot nyitott a tűzfalakon. Ezután létrehozott egy vírust, ami a titkosítást végezte, majd ezt szétterjesztette a hálózatban. Ez volt az a pont, amikor már jeleztek a vírusirtók, de ekkor már késő volt. Na és persze a kis ketyere behívta a hackereket, akik onnantól már távolról irányították a hálózati eszközöket, minket nagyrészt kizárva a saját hálózatunkból. A jelentés szerint, amikor bekerült a fegyver a hálózatunkba, a jellegéből és képességeiből adódóan esélyünk sem volt a védekezésre:

"A malware által fertőzött eszközökre a forenzikus vizsgálati adatok és a korrelációs elemzés alapján Cobalt Strike alapú ún. beacon szondák kerültek. Ezzel a fertőzött eszközöket a bot hálózat részévé tették, és kihasználva a támadó képességeit a hálózatba direkt elérést tudtak szerezni. Ettől a ponttól kezdve a UNIX Autó védelmi lehetőségei a támadással szemben gyakorlatilag nullára csökkentek"

A világhálón fellelhető legendák szerint ennek a kiber fegyvernek az alapjait egyébként pár éve az amerikai hadsereg megrendelésére fejlesztette ki egy magáncég. A rendszer elődjét állítólag az amerikai hadsereg többek között az iráni urán termelés megbénítására használta, még Stuxnet néven. Segítségével sikeresen tették tönkre Iránban az urán dúsító centrifugákat, a vezérlő szoftverébe behatolva túlterhelték azokat. Ennek a rendszernek egy továbbfejlesztett változatát kilopták a fejlesztő cégtől, és átalakították zsarolóvírusos támadáshoz. Az alapját képező "támadás szimulációs" programot, a Cobalt Strike Beacon rendszert egyébként a mai napig árulják, megvásárolható termék.

A sors furcsa fintora, hogy mint utóbb kiderült, szinte mi voltunk az egyetlenek, akik nem fizettünk a zsarolóknak. Volt, aki nyíltan elismerte, hogy fizetett, például a JBS, Colonial Pipeline, az Acer számítógép gyár. Volt, aki nem beszélt erről. Például Donald Trump, vagy az Apple mélyen hallgattak a váltságdíjról. Azonban sem Donald Trump, sem az Apple kényes információi nem kerültek napvilágra, így joggal feltételezhető, hogy ők is fizettek.

Visszakanyarodva a saját történetünkhöz, éjfél körül világossá vált, nem tehettünk mást, nekiálltunk teljesen nulláról újraépíteni az egész rendszert, hiszen a mentéseinkben is benne volt a vírus. Mindenünk megbénult, a rendszer teljesen leállt:

Azzal kezdtük, hogy letöltöttünk egy Windows szerver telepítő csomagot, és azt kezdtük el telepíteni, minden korábbi mentést félretéve. Ezek után mentésből már csak az adatokat használtuk fel, és azokat is csak alapos vizsgálat és tisztítás után.


2021.03.31. - SZERDA

Valamikor hajnalban el is indult az első kis Windows hálózatunk, majd sorban raktuk egymásra az építőkockákat. Minden feladattal külön csoport foglalkozott.

Lassan 24 órája állt a vállalat, nem működött a kiszolgálás. Nem tudtuk mikor tudunk újra elindulni, csak azt tudtuk, hogy nagyon sok munka van előttünk. Mindenki fáradt volt, de senki nem panaszkodott, mindenki tette a dolgát.

Jobb híján, egy flipchart táblán koordináltuk a munkát. Mivel nem volt levelező rendszerünk sem, így a táblát fényképezgettük, és úgy adtuk át egymásnak az aktuális információkat:

Megkezdtük a helyreállítást. Az cég minden egyes kiszolgáló szerverét, notebookját, asztali számítógépét, PDA eszközét újra kellett telepíteni, hiszen bárhol megbújhatott a vírus. Így persze ez végtelenül lassú folyamat volt, hiszen több, mint 300 különböző szervert kellett telepíteni, és közel 3000 munkaállomást, 166 különböző telephelyen. És akkor még nem beszéltünk az egyéb kütyükről, a több ezer PDA-ról, egyéb okoseszközökről. De senki nem kesergett, leszegett fejjel mindenki tette a dolgát. Pár óránként tartottunk eligazítást, amikor átbeszéltük, melyik csapat hol tart, milyen új ötletek vagy akadályok vannak.

Szerettük volna partnereinket is értesíteni a kialakult helyzetről, de mivel nem működött a vállalatirányítási rendszerünk - ahol a telefonszámokat és elérhetőségeket tároljuk - ez sem volt egyszerű. Még a saját telephelyeink telefonszámát sem tudtuk, hiszen azt is rendszerben tároltuk.

Sőt, még a felhasználókat is kézzel vettük fel az új rendszerbe, mivel nem mertünk semmiféle mentést felhasználni. Küzdöttünk az adatbázis helyreállításával a mentésből. Sajnos megsérült a szalagos mentőrendszer katalógusa is. Voltak mentési szalagok, de nem tudtuk, melyiken mi van. Borzalmas időszak volt, sorba jöttek a rosszabbnál rosszabb hírek.

Napközben tovább folyt a károk felmérése, melynek során újabb és újabb veszteségeket azonosítottunk. A vállalatirányítási rendszer teljes forrásállománya elveszett, a program források központi mentése teljesen megsemmisült. Kezdtünk reményvesztetté válni, egyáltalán nem láttuk a fényt az alagút végén.

Aztán a délután folyamán lassan valahogy elkezdtük "megtalálni a fonalat". Jöttek már jobb hírek is, sikerült a szalagos mentés katalógusát helyreállítani, és találtunk még további mentéseket. Egy szoftverfejlesztő gépéről pont a támadás előtt készült egy mentés, így meglett a vállalatirányítási rendszer forráskódja is egy asztalon felejtett Pendrive formájában.

Sorban kerültek elő azok az elemek, amik nélkül nem tudtuk volna újraindítani a vállalatunkat. Számunkra olyan volt ez, mint egy isteni csoda. Valószínűleg az is volt, mert rengeteg véletlen segítette munkánkat. Még messze voltunk a céltól, de már volt remény, megcsillant a fény az alagút végén…


2021.04.01. - CSÜTÖRTÖK

Ezen a napon készítettük el az új működési alapok első vázlatait.

Sok megbeszélés után közösen döntöttünk, hogy nem a támadás előtti állapotot állítjuk helyre. Ha már földig rombolták a rendszert, akkor felhasználjuk a kényszerleállást, és új alapokra helyezzük az informatikánk hátterét. Előnyt akartunk kovácsolni a pillanatnyi hátrányból. Na meg persze így volt biztonságos és logikus. Tartottunk attól, ha csak egyszerűen visszaállítjuk az eredeti állapotot, egy percig sem érezhetjük biztonságban magunkat.

Először csak sima A4-es papírra firkáltam saját elképzelésem:

Majd ezt közösen „tovább gondoltuk”, és a fejlesztett változatot már egy flipchart táblára vázoltuk fel:

Ez lett a kiinduló biblia, a helyreállítás alapja. Persze mára már ez jelentősen bonyolódott, és sokkal komplexebb lett.

A verzió szám mára 12.5-nél jár, ez egyben azt is jelenti, hogy már 125 különböző változatot rajzoltunk fel. Persze indulásnak az egyszerű is megtette, abban is volt bőven változtatás, hogy a környezet a hackerek számára már ne legyen azonosítható, és persze ezt sokkal jobban tudtuk is védeni.

A sok változás között az egyik az volt, hogy a kirendeltségi számítógépek számára saját operációs rendszert állítunk össze.

A „saját operációs rendszeren” is egy külön csapat dolgozott:

Sok sikertelen próbálkozás után hajnali 03:25 perckor sikerült létrehozni és elindítani az első saját magunknak összebarkácsolt operációs rendszer telepítő csomagját. Egyébként olyan jól sikerült, hogy a mai napig ezt használjuk.

Ezen a napon már megkezdhettük a 164 kirendeltségünk több, mint 200 számítógépére a telepítését. Ehhez felvásároltuk a nagykereskedések pendrive készletét, melyekre feltöltöttük a törlő és telepítő csomagokat.

Ezeket a kiszállítóink segítségével eljuttattuk a kirendeltségeinkre. A telepítéshez külön leírást és oktató videót is készítettünk, ezek alapján a kirendeltségek maguk végezték a telepítéseket. Minden pendrive-ot csak egyszer használtunk, utána gondosan vissza gyűjtöttük, nehogy véletlenül tovább fertőzzenek. Amikor visszaértek, ment mind egy gyűjtőbe, ahonnan csak újra formázás után volt szabad újra felhasználni őket.

A helyreállításhoz, az új környezet kialakításához, valamint a központi rendszer megerősítéshez rengeteg új eszközt kellett beszereznünk. Egy külön csapat folyamatosan szállította be az új eszközöket. Mindennek örültünk, mint majom a farkának:


Az élelmezésről az UNIX Café gondoskodott, rengeteg szendvics, üdítő, és energia ital fogyott. (Még jó, hogy van saját energiaitalunk.)



2021.04.02. - PÉNTEK - NAGYPÉNTEK

Ez volt a harmadik nap. Sikerült elindítani a központi adatbázist, ekkor láttuk először, hogy adat szinten mekkora kiesést okozott a támadás.

Az eredmény 17 perc. Ennyi esett ki az életünkből. Mindössze ennyi adatunk veszett el végleg, a többit sikerült helyreállítani.

Fáradtan, de már lelkesen és jókedvűen folytattuk a kiszolgáló szerverek újratelepítését és a hálózati alapok helyreállítását. Ekkor már én sütöttem a reggeli rántottát, az UNIX Café-ban:

Este 21:44:32-kor sikerült elindítanunk a TradeLine vállalatirányítási rendszerünk első példányát. Ez egy hatalmas eredmény volt, ezt a pillanatot tekinthetjük úgy is, mint a cég újjászületését, ekkor indult újra a vállalat szíve.

Mivel teljesen újra strukturáltuk a rendszert, több egymástól független szegmentált rendszert alakítottunk ki, így mindent át is kellett kábelezni. Nem csak a szerver szobát, de a központi irodát, és a logisztikai központunkat is. Szünet nélkül, éjjel-nappal folyt a munka, voltak pillanatok, amikor térden állva ment a fejlesztés:

És bizony voltak olyan pillanatok, amikor borzalmas állapotok uralkodtak.





2021.04.06. - KEDD

Eltelt újabb három nap. Miután az egész hétvégét, beleértve a teljes húsvétot is, bent töltöttük, végigdolgoztuk, keddre eljutottunk oda, hogy ki tudtunk nézni az alagútból a fényre. Sok előttünk álló feladat mellett ugyan, de sikerült kinyitni néhány kirendeltséget. Habár még nem teljes gőzzel, de már fogadni tudtuk a rendeléseket és elindítottuk az értékesítést. Ez volt a mi húsvéti feltámadásunk, amiben ugyanúgy megvolt az Isteni csoda, mint a kétezer évvel ezelőttiben.

Új struktúrát, védelmi rendszert és biztonsági felügyeletet alakítottunk ki, valamint megváltoztattuk a szervezet működését. Szerdán már teljes gőzzel üzemelt a vállalat, valamennyi üzletünk nyitva volt, és a szokásos forgalmunk kb. 80-90%-át tudtuk is hozni. Persze koránt sem készültünk el, és a mai napig folyamatosan dolgozunk az IT biztonság javításán.

Hogy mit tanultunk az esetből? Senki sem gondolhatja azt, hogy felkészült és védett a hacker támadások ellen. Újra és újra fel kell tennünk magunknak a kérdést, hogy hol tudunk a működés biztonságán javítani. Ha megvan a válasz, nincs idő késlekedni, azonnali aktív beavatkozásra van szükség, mert ebben a kiber háborúban nincs fegyverszünet.


Egy szoftverfejlesztő kollégám ezt írta az esetről:

"Sosem gondoltam volna, hogy bármikor is részese leszek egy ilyen komoly kibertámadásnak, mégis elkerülhetetlenül belecsöppentem. Azt elmondhatom, hogy egy olyan felbecsülhetetlen tapasztalattal gazdagodtam, mely nem sokaknak adatik meg.
Bár az esemény vitathatatlanul kellemetlenül érintett minden dolgozót, hiszen a bizonytalan, az ismeretlen akaratlanul is negatív érzéseket váltott ki mindannyiunkban.
Mégis jó volt látni és egyben át is élni azt, ahogy ebben a feszült helyzetben is mind próbáltunk összetartani, közösen talpra állni a földről. Még akkor is a következő lépésen és teendőn járt az agyunk, amikor még senki nem tudta mi vár ránk az elkövetkező napokban, hetekben, hónapokban. Azt hiszem nyugodtan állíthatom, hogy igaz a mondás: "Bajban ismerszik meg az igaz barát." esetünkben a munkatárs. Elvesztettünk jó néhány kollégát, a többség mégis páratlan kitartásról tett tanúbizonyságot."

Végül vállalatvezetőknek és IT vezetőknek összefoglalnám, mik a saját tapasztalataim a témában:

Hogyan kerüljük el, hogy zsaroló vírustámadás érjen minket?

És ha mégis megesik a baj?

Gyorsbillentyűk

Általános
Navigáció
/
/
/
Visszalépés
Esc
Ablak bezárása
Esc
Gyorskereső
Ctrl
F
/
F2
Személyautó keresés
Alt
A
Teherautó keresés
Alt
T
Motorkerékpár keresés
Alt
M
Típusfüggetlen termékek
F10
Elmentett autók
Alt
P
Előzmények
Alt
E
Kosár
Alt
C
/
Alt
F5
Webshop kezdőlap
Ctrl
Home
Webshop menü navigáció
Ctrl
Fejléc navigáció
Ctrl
Alvázszám kereső
Alt
V
Gyári ajánlat
Alt
G
Gyorsbillentyűk
F1
Billentyűsúgó
Alt
F1
Jármű keresése
Jármű kiválasztása
Kategóriák
Cikklista
Kosár
Alvázszám kereső
Gyári ajánlat kérése
Kiválasztás
Enter
Enter
/
Keresés
Gépelés
Kijelölés
Szóköz
Csoport kinyitása
Enter
Enter
/
Szóköz
/
Ritka gyártók
Alt
S
Ritka modellek
Alt
S
Kiválasztás
Enter
Enter
/
Keresés
Gépelés
Részletes adatok
F8
Autó mentése
F2
Nézetváltás
Alt
N
Rendezés
Alt
R
Autó mentése
Alt
F2
Kiválasztás
Enter
Enter
Keresés
Gépelés
Kijelölés
Szóköz
Típusfüggetlen kategóriák elrejtése
Alt
F10
Kiválasztás és továbblépés
Enter
Csoportok közötti váltás
/
Kosárba helyezés
Enter
Enter
Keresés
Gépelés
Tulajdonságok
F8
Termékadatlap
F7
Kapcsolódó termékek
Alt
K
Kedvencekbe rakás
Alt
F2
Nézetváltás
Alt
N
Rendezés
Alt
R
Több részlet
Alt
+
Kevesebb részlet
Alt
-
Szűrő kijelölése
Szóköz
Darabszám növelése
+
Darabszám csökkentése
-
Megjegyzés
Gépelés
Flottakártya választás
Alt
F
Kilépés a beviteli mezőből
Esc
Funkció indítása
Alt
V
Kiválasztás
Enter
Enter
Jármű adatai
F8
Szűrés
1-9
Fordítás
Alt
F
Keresés
Gépelés
Funkció indítása
Alt
F11
Kiválasztás
Enter
Enter
Új ajánlat
Insert
Fejadat csatolmánya
F3
Fejadatok
F4
Ajánlat másolása
Ctrl
Insert
Fejadat megjegyzés
Alt
F2
Időszak módosítása
Alt
F10
Ajánlat nyomtatása
Ctrl
P
Ajánlatkérő ablakban mentés
Ctrl
Enter
Enter
Tételek oldal mennyiség módosítás
+
-
Tételek oldal megjegyzés
Alt
F2
Tételek oldal rendelés
Alt
R
Tételek oldal csatolmány
F3
Tételek oldal kedvezmény
Ctrl
K