Microsoft nie może opanować awarii. Serwery ponownie przestają odpowiadać

Microsoft wciąż nie uporał się z rozległą awarią Microsoft 365, która rozpoczęła się w czwartek 12 listopada. Kolejne próby przywrócenia usług nie przynosiły trwałych rezultatów, a restartowane serwery przestawały odpowiadać po wznowieniu obsługi ruchu. W piątek rano firma poinformowała o poprawie stabilności części infrastruktury, jednak wiele usług nadal pozostaje niedostępnych lub działa z problemami.

Awaria rozpoczęła się około godziny 17.17 czasu polskiego i początkowo dotyczyła przede wszystkim Exchange Online oraz Outlooka. Z czasem okazało się, że problemy obejmują znacznie większą część ekosystemu Microsoft 365. Zakłócenia dotknęły między innymi wybranych funkcji Teams, SharePoint Online, Copilota, Plannera, Intune oraz narzędzi administracyjnych i bezpieczeństwa.

Nie wszystkie usługi przestały działać całkowicie. Przykładowo podstawowa komunikacja w Teams jest dostępna, ale pojawiły się problemy z kalendarzami i planowaniem spotkań. Użytkownicy Outlooka mieli natomiast trudności z dostępem do poczty, a dostarczanie wiadomości mogło się opóźniać.

Naprawione serwery ponownie przestawały odpowiadać

Microsoft początkowo podejrzewał przeciążenie infrastruktury. Analiza wykazała jednak, że wzrost obciążenia był przede wszystkim skutkiem niedostępności części serwerów, a nie pierwotną przyczyną awarii.

Inżynierowie rozpoczęli przekierowywanie ruchu, restartowanie maszyn i wprowadzanie zmian konfiguracyjnych. Rezultaty okazały się rozczarowujące. Część serwerów po ponownym uruchomieniu działała prawidłowo, ale przestawała odpowiadać, gdy ponownie zaczynała obsługiwać żądania użytkowników.

Firma próbowała więc ograniczać określone rodzaje ruchu, izolować fragmenty infrastruktury i stopniowo zwiększać obciążenie. Rozpoczęto także odtwarzanie wybranych serwerów ze starszą konfiguracją oprogramowania.

W toku dalszych analiz ustalono, że proces odpowiedzialny za ustanawianie bezpiecznych połączeń ulega przeciążeniu, co prowadzi do utraty zdolności obsługi kolejnych żądań. Microsoft zdecydował się również zwiększyć dostępną moc obliczeniową, uruchamiając dodatkowe maszyny wirtualne.

Poprawa stabilności, ale nie koniec awarii

W piątek rano pojawiły się pierwsze bardziej optymistyczne komunikaty. Microsoft poinformował, że poprawka dotycząca komponentu odpowiedzialnego za uwierzytelnianie i kierowanie ruchu zwiększyła stabilność części serwerów.

O godzinie 9.09 czasu polskiego firma przekazała, że rozpoczęła systematyczne rozszerzanie wdrożenia poprawki na kolejne regiony, przede wszystkim te, w których trwały lub rozpoczynały się godziny największej aktywności użytkowników. Nie oznacza to jednak pełnego przywrócenia działania Microsoft 365. Oficjalny status usług nadal wskazuje na problemy, a Microsoft zapowiada dalsze monitorowanie infrastruktury i przygotowywanie kolejnych zmian.

Firma poinformowała również, że dotychczas nie znalazła przesłanek wskazujących na działanie cyberprzestępców jako przyczynę incydentu. Szczegółowy raport techniczny ma zostać opublikowany dopiero po zakończeniu awarii.