Informace k výpadku webů Nette 29.8.2015

Nette weby (nette.org, dibiphp.com, posobota.cz, texy.info, nettefoundation.com) běží na VPS na CESNETu v Dejvicích.

Na sobotu 29.8.2015 byl naplánovaný výpadek napájení pro celý blok budov. V těchto případech zajišťuje náhradní napájení dieselagregát, který pokryje 100% kapacity všech serveroven a ostatní infrastruktury. Dokud se do něj leje nafta, běží.

V sobotu v 8:00 byl odpojen přívod napájení, agregát nastartoval a jelo se dál. V 8:22 ale nahlásil agregát chybový stav a po pár vteřinách se z bezpečnostních důvodů vypnul. Ručně nastartovat nešel, volal se servis. Některé servery běžely dál na lokálních UPS, ty ale časem odpadávaly. Kdy přesně se vypnul VPS nevím.

Ve 12:35 se agregát podařilo nastartovat a o něco později bylo jeho napájení připojeno k serverovnám. Routery a servery začaly startovat. Převážná většina serverů a routerů naběhla. Některé ne. Projeví se chyby typu: „Odešel zdroj. Po 7 letech v provozu má vyschlé elektrolity…“ a podobně.

Objevil se ale také problém na jednom z centrálních routerů, který, mimo jiné, zajištuje konektivitu lokálních sítí. Přesný problém nedokážu popsat, tak hluboko do té technologie nevidím. Vyřešit ho trvalo několik hodin. Proto ačkoliv již VPS běžel, neměl konektivitu.

Po zprovoznění lokální sítě se začaly ověřovat a oživovat kritické služby, poté zbytek. Pokud vím, VPS byla online asi od 19. hodiny večerní. Celá virtualizační platforma není na žebříčku důležitosti tak vysoko, proto musela čekat na opravu zmíněného routeru.

Jak to s výpadky bývá, i tenhle byl nečekaný. O to víc, že minulý týden proběhla úplně stejná odstávka a dieselagregát fungoval bezchybně, stejně tak jako každý měsíc při jeho startování a testování.

Jako správce VPS se Vám chci za výpadek omluvit a jen doufám, že nezpůsobil velké újmy.

PS: Pokud chcete vidět, jak člověk mění barvy, zeptejte se techniků na CESNETu: „Hele, co se to tam v sobotu stalo?“

PS: Jestli jste od dodavatele agregátu a půjdete sem na schůzku, vezměte si s sebou ochranku ;o)

EDIT: Přišly mi posměvačné reakce od lidí, jako že „jen jedna záloha“ a podobně. Berte prosím na vědomí, že zde popisuji část infrastruktury (a to ještě ne do detailu), ve které je naše VPS. O ničem jiném nemám oprávnění psát.

Editoval Milo (31. 8. 2015 16:45)