4,5 timmars nertid på grund av problem hos Datacentret

Under 5 år har Mortfiles webbhotell varit förskonat från driftstörningar, men nu i helgen så sprack den sviten med en 4.5 timmar lång driftstörning.

 

Omkring 11.15 på lördagen så började kunderna uppmärksamma långa svarstider och det eskalerade sedan till mer eller mindre total blockering. Det betyder att servern mer eller mindre blev okontaktbar. Problemet visade sig ligga hos datacentret Colo4 i Dallas som drabbats av ett kaskadfel i sina routrar.

 

An FIB TCAM exhaustion issue was experienced this morning on the Premium

Network. The initial incident resulted in a small number of routes entering a

software-switched state. However, as the morning went on, this issue cascaded

and required rolling reboots of our border routers.

 

At this time, the issue has been resolved.

 

Klockan 15.15 var nätet tillbaka och vid 15.45 kunde även Mortfiles kunder återigen komma åt sina webbplatser med normala svarstider.

 

Under tiden som problemet pågick så uppdaterade jag kontinuerligt på Facebook och Twitter, men som en kund påpekade så vore det kanske bra om ett mail går ut också och uppmärksammar på att ett problem är pågående och var information om situationen kan hittas. En sådan mailinglista finns nu uppsatt och är redo att tas i bruk, även om jag hoppas att det aldrig behöver hända igen.

 

Den här typen av driftstörningar är förmodligen den värsta eftersom jag som serverägare inte kan göra något annat än uppdatera kunderna om vad som sker, information som sällan är speciellt aktiv och som ofta kommer först efter att situationen är avklarad. Är det ett problem med servern så kan jag alltid göra något, eller skicka någon på plats för att handgripligen få bukt med situationen, men att sitta sysslolös är verkligen inte kul.

 

Även om den här typen av driftstörningar ligger utanför min kontroll och även om mina kunder är världens mest fölåtande och fantastiska kunder som finns så ersätter jag dom iallafall med en månads förlängning av deras webbhotell. 4.5 timmars nertid är en väldigt lång tid och det ska självklart ersättas, även om ett par kunder motsatt sig å det bestämdaste.

 

Har jag nämnt att jag har världens bästa kunder? :)