Alerty wyjaśnione

Komunikat

AWARIA: Shop
Shop jest nieosiągalny.

Co oznacza

Kilka naszych punktów kontrolnych kolejno nie mogło połączyć się z monitorem. Pojedyncza nieudana kontrola nigdy nie uruchamia tego alertu: najpierw potwierdza go drugi punkt kontrolny.

Co sprawdzić

Należy samodzielnie otworzyć adres, najlepiej z innej sieci. Warto sprawdzić, czy serwer jest uruchomiony, czy serwer WWW lub usługa są włączone oraz czy zapora sieciowa lub usługa zabezpieczeń (na przykład ochrona przed botami) blokuje nasze punkty kontrolne. Jeśli strona działa u Państwa, problem może leżeć na trasie do serwera; strona incydentu pokazuje, które punkty kontrolne zgłosiły błąd.

Dlaczego go zgłaszamy

Gdy monitor jest niedostępny, odwiedzający i klienci również nie mogą z niego korzystać. Każda minuta ma znaczenie.

Komunikat

AWARIA: Shop
Shop jest nieosiągalny.
Brak odpowiedzi: Connection timed out

Co oznacza

Połączenie zakończyło się niepowodzeniem, zanim nadeszła odpowiedź, na przykład z powodu przekroczenia limitu czasu, odrzuconego połączenia, błędu DNS lub problemu z TLS. Błąd po dwukropku to dokładny błąd, jaki otrzymała nasza kontrola.

Co sprawdzić

Należy przeanalizować treść błędu: "timed out" zwykle oznacza przeciążony serwer lub zaporę odrzucającą połączenie; "connection refused" oznacza, że na porcie nic nie nasłuchuje; błąd DNS oznacza, że nazwa nie została rozwiązana. Jeśli problem trwał tylko chwilę, mogła to być krótka awaria sieci na trasie.

Dlaczego go zgłaszamy

Bez odpowiedzi strona lub usługa nie działa dla nikogo, kto próbuje z niej skorzystać w tej chwili.

Komunikat

AWARIA: Shop
Shop jest nieosiągalny.
Serwer odpowiedział kodem HTTP 503.

Co oznacza

Serwer odpowiedział, ale kodem spoza akceptowanego zakresu (domyślnie od 200 do 399). Typowe kody: 500 – wewnętrzny błąd serwera, 502 i 504 – problemy za serwerem pośredniczącym (proxy), 503 – usługa niedostępna lub prace serwisowe, 403 – dostęp zabroniony, 404 – nie znaleziono strony.

Co sprawdzić

Należy otworzyć adres i sprawdzić stronę. Warto przejrzeć dziennik błędów serwera WWW i aplikacji. Kod 403 może oznaczać, że zapora lub ochrona przed botami blokuje nasze kontrole; wtedy należy zezwolić na nasze punkty kontrolne lub zmienić akceptowane kody odpowiedzi monitora. Podczas zaplanowanej konserwacji kod 503 jest oczekiwany; na ten czas należy wstrzymać monitor.

Dlaczego go zgłaszamy

Strona z komunikatem o błędzie zamiast treści wygląda dla odwiedzających i wyszukiwarek jak awaria.

Komunikat

AWARIA: Shop
Shop jest nieosiągalny.
Nie znaleziono słowa kluczowego „Add to cart” na stronie.

Co oznacza

Strona się załadowała, ale nie zawierała tekstu, którego szuka monitor.

Co sprawdzić

Należy otworzyć stronę i poszukać tego tekstu. Często strona pokazuje błąd, formularz logowania lub baner cookies zamiast treści. Jeśli stronę zmieniono celowo i tekst zniknął, należy dostosować słowo kluczowe w monitorze; wtedy jest to fałszywy alarm.

Dlaczego go zgłaszamy

Strona może odpowiadać normalnie, a mimo to być uszkodzona, na przykład jako pusta strona sklepu lub komunikat o błędzie bazy danych. Słowo kluczowe to wykrywa.

Komunikat

AWARIA: Shop
Shop jest nieosiągalny.
Słowo kluczowe „Error” znaleziono na stronie, a nie powinno się tam pojawiać.

Co oznacza

Strona zawiera tekst, który nie powinien się na niej pojawiać, na przykład "error" lub "maintenance".

Co sprawdzić

Należy otworzyć stronę i sprawdzić, gdzie pojawia się ten tekst. Jeśli jest to część zwykłej treści (na przykład wpis na blogu, w którym pada to słowo), warto wybrać dla monitora bardziej precyzyjny tekst; wtedy jest to fałszywy alarm.

Dlaczego go zgłaszamy

Komunikaty o błędach na stronie, która poza tym działa, łatwo przeoczyć, a kosztują one utratę odwiedzających i zaufania.

Komunikat

AWARIA: Shop
Shop jest nieosiągalny.
Odpowiedź DNS różni się od oczekiwanej.

Co oznacza

Serwer DNS odpowiedział, ale nie podał wartości, której oczekuje monitor (na przykład innego adresu IP).

Co sprawdzić

Należy sprawdzić rekordy DNS u swojego dostawcy. Jeśli zmieniono je celowo, trzeba zaktualizować oczekiwaną wartość w monitorze. Nieoczekiwana zmiana może oznaczać, że ktoś zmienił ustawienia DNS bez zgody.

Dlaczego go zgłaszamy

Błędna odpowiedź DNS kieruje odwiedzających i pocztę na niewłaściwy serwer lub donikąd.

Komunikat

AWARIA: Shop
Shop jest nieosiągalny.
Brak odpowiedzi na ping.

Co oznacza

Host nie odpowiedział na żadne żądanie ping od naszych punktów kontrolnych.

Co sprawdzić

Należy sprawdzić, czy serwer jest uruchomiony i osiągalny w sieci. Niektóre zapory i dostawcy blokują ping (ICMP); jeśli host nigdy nie odpowiada na ping, warto zamiast tego użyć monitora portu lub strony WWW, w przeciwnym razie ten alert może być fałszywy.

Dlaczego go zgłaszamy

Host, który w ogóle nie odpowiada, zwykle jest wyłączony lub odcięty od sieci.

Komunikat

PROBLEM Z SIECIĄ: Shop
Shop jest nieosiągalny z większości lokalizacji, ale co najmniej jedna lokalizacja nadal go osiąga: serwer działa, problem leży w sieci po drodze.

Co oznacza

Większość punktów kontrolnych nie mogła połączyć się z monitorem, ale co najmniej jeden nadal mógł. Serwer sam działa; problem leży w sieci na trasie do niego.

Co sprawdzić

Warto sprawdzić stronę statusu swojego dostawcy oraz komunikaty o pracach sieciowych. Takie awarie często same ustępują. Jeśli trwają, należy zapytać dostawcę, czy trasy z określonych regionów są dotknięte problemem.

Dlaczego go zgłaszamy

Odwiedzający z dotkniętych regionów nie mogą się z Państwem połączyć, mimo że z Państwa własnej sieci wszystko wygląda dobrze.

Komunikat

CERTYFIKAT NIEPRAWIDŁOWY: Shop
Certyfikat SSL dla Shop jest nieprawidłowy.

Co oznacza

Certyfikat SSL wygasł, nie pasuje do nazwy domeny, jest niepełny lub nie jest zaufany.

Co sprawdzić

Należy otworzyć stronę w przeglądarce i sprawdzić ostrzeżenie o certyfikacie. Trzeba odnowić certyfikat lub zainstalować pełny łańcuch certyfikatów. Po odnowieniu warto uruchomić ponownie serwer WWW, aby korzystał z nowego certyfikatu.

Dlaczego go zgłaszamy

Przeglądarki pokazują ostrzeżenie dotyczące bezpieczeństwa, a większość odwiedzających opuszcza stronę. Sklepy i logowania przestają działać.

Komunikat

CERTYFIKAT WYGASA: Shop
Certyfikat SSL dla Shop wkrótce wygasa.

Co oznacza

Certyfikat SSL wkrótce wygaśnie. Obecnie nadal działa.

Co sprawdzić

Warto sprawdzić, czy automatyczne odnawianie (na przykład certbot lub panel hostingowy) jest skonfigurowane i działa. Jeśli certyfikat został już odnowiony, serwer WWW może nadal używać starego: należy go uruchomić ponownie lub przeładować.

Dlaczego go zgłaszamy

Ostrzegamy wcześnie, aby zostało dość czasu na działanie, zanim odwiedzający zobaczą ostrzeżenie bezpieczeństwa.

Komunikat

NIE MOŻNA POBRAĆ CERTYFIKATU: Shop
Nie można pobrać certyfikatu SSL dla Shop.

Co oznacza

Nie mogliśmy pobrać certyfikatu, na przykład dlatego, że port jest zamknięty lub połączenie TLS się nie powiodło.

Co sprawdzić

Należy sprawdzić, czy usługa odpowiada na porcie i czy TLS jest skonfigurowany. Przyczyną może być też zapora blokująca nasze punkty kontrolne; wtedy dla odwiedzających jest to fałszywy alarm.

Dlaczego go zgłaszamy

Bez certyfikatu nie jesteśmy w stanie stwierdzić, czy odwiedzający korzystają z poprawnego, zaufanego połączenia.

Komunikat

BRAK HEARTBEATU: Shop
Shop nie zgłosił się na czas.

Co oznacza

Zadanie (na przykład kopia zapasowa lub zadanie cron) nie zgłosiło się na czas.

Co sprawdzić

Należy sprawdzić, czy zadanie zostało uruchomione i czy nadal może połączyć się z naszym adresem heartbeat. Jeśli zadanie uruchamia się później lub rzadziej, niż zostało skonfigurowane, trzeba dostosować interwał i okres tolerancji monitora.

Dlaczego go zgłaszamy

Zadania, które przestają działać bez wieści, na przykład kopie zapasowe, często zauważa się dopiero wtedy, gdy jest już za późno.

Komunikat

ZADANIE NIEUDANE: Shop
Shop zgłosił nieudane uruchomienie.

Co oznacza

Zadanie zgłosiło się, ale zasygnalizowało, że jego uruchomienie się nie powiodło.

Co sprawdzić

Należy przejrzeć dane wyjściowe lub dziennik zadania dla tego uruchomienia.

Dlaczego go zgłaszamy

Zadanie, które się uruchamia, ale kończy niepowodzeniem, jest równie złe jak zadanie, które się nie uruchamia.

Komunikat

USTAWIENIA POCZTY: Shop
Ustawienia poczty shop.example.com w DNS wymagają uwagi (SPF, DKIM, DMARC lub serwery nazw). Szczegóły i proponowane poprawki w panelu.

Co oznacza

Rekordy DNS domeny związane z pocztą wymagają uwagi: SPF, DKIM, DMARC, MTA-STS, DNSSEC lub serwery nazw.

Co sprawdzić

Strona monitora wymienia dokładne wyniki wraz z proponowanymi poprawkami. Rekordy należy zmienić u swojego dostawcy DNS; zmiana może potrwać, zanim będzie widoczna wszędzie.

Dlaczego go zgłaszamy

Brakujące lub błędne rekordy powodują, że poczta trafia do spamu, lub pozwalają innym wysyłać wiadomości w Państwa imieniu.

Komunikat

BRAK MAILA TESTOWEGO: Shop
Mail testowy z shop.example.com nie dotarł na czas.

Co oznacza

Regularna wiadomość testowa z Państwa serwera nie dotarła na czas.

Co sprawdzić

Warto sprawdzić kolejkę poczty i dziennik serwera pocztowego oraz to, czy zadanie wysyłające nadal działa. Przyczyną może być też krótkie opóźnienie po stronie odbiorcy; jeśli kolejna wiadomość testowa dotrze, alert zamknie się samodzielnie.

Dlaczego go zgłaszamy

Jeśli wiadomości testowe nie docierają, prawdopodobnie nie docierają również wiadomości Państwa klientów.

Komunikat

PROBLEM Z DOSTARCZANIEM POCZTY: Shop
Ostatni mail testowy z shop.example.com nie przeszedł SPF, DKIM lub DMARC, jest na czarnej liście lub został oceniony jako spam. Szczegóły w panelu.

Co oznacza

Wiadomość testowa dotarła, ale nie przeszła weryfikacji SPF, DKIM lub DMARC, znajduje się na czarnej liście albo została oceniona jako spam.

Co sprawdzić

Strona monitora pokazuje dokładnie, co nie przeszło weryfikacji. Należy poprawić rekordy lub zwrócić się o usunięcie z czarnej listy.

Dlaczego go zgłaszamy

Takie wiadomości często trafiają do spamu lub są odrzucane.

Komunikat

SERWER: web1
web1 nie zgłasza się (agent lub serwer offline).
Agent przestał wysyłać dane: serwer może być wyłączony lub offline albo agent się zatrzymał. Należy sprawdzić, czy serwer odpowiada i czy agent działa.

Co oznacza

Nasz agent na serwerze nie wysłał żadnych danych od kilku minut.

Co sprawdzić

Należy sprawdzić, czy serwer jest uruchomiony i ma dostęp do sieci. Jeśli tak, warto sprawdzić usługę agenta ("systemctl status centoculus-agent2"). Po restarcie lub zmianie sieci agent sam ponownie zacznie raportować; wtedy alert się zamknie.

Dlaczego go zgłaszamy

Bez danych nie możemy monitorować serwera, a często sam serwer jest niedostępny.

Komunikat

SERWER: web1
web1 ma zatrzymaną usługę.
Monitorowana usługa przestała działać. Należy sprawdzić jej stan i log, a następnie ją uruchomić.

Co oznacza

Usługa wybrana do monitorowania na serwerze już nie działa.

Co sprawdzić

Należy sprawdzić status i dziennik usługi ("systemctl status <service>", "journalctl -u <service>") i uruchomić ją ponownie. Jeśli usługę zatrzymano lub usunięto celowo, trzeba ją usunąć z monitorowanych usług; wtedy jest to fałszywy alarm.

Dlaczego go zgłaszamy

Zatrzymana usługa WWW, bazy danych lub poczty zwykle oznacza awarię wszystkiego, co od niej zależy.

Komunikat

SERWER: web1
web1 kończy mu się miejsce na dysku.
System plików jest prawie pełny. Należy zwolnić miejsce (stare logi, kopie zapasowe, cache) lub powiększyć dysk, zanim usługi przestaną działać.

Co oznacza

System plików jest bardziej zapełniony niż ustawiony limit (domyślnie ostrzeżenie przy 85 % i alert przy 95 %).

Co sprawdzić

Warto znaleźć duże pliki i katalogi (na przykład "du -xh / | sort -h | tail"), usunąć stare dzienniki, kopie zapasowe i pamięci podręczne lub powiększyć dysk. Jeśli dysk ma być celowo tak zapełniony, należy podnieść limit dla tego systemu plików.

Dlaczego go zgłaszamy

Gdy dysk jest pełny, bazy danych, poczta i strony WWW przestają zapisywać dane i zawodzą.

Komunikat

SERWER: web1
web1 kończą mu się i-węzły.
Prawie nie ma wolnych i-węzłów, zwykle z powodu bardzo wielu małych plików (sesje, cache, kolejka poczty). Usunięcie starych plików zwolni i-węzły.

Co oznacza

Niemal wszystkie inody systemu plików są zajęte, zwykle przez bardzo dużą liczbę małych plików. Nie można już tworzyć nowych plików, nawet jeśli jest wolne miejsce.

Co sprawdzić

Należy znaleźć katalogi z bardzo dużą liczbą plików (sesje, pamięci podręczne, kolejka poczty) i usunąć stare pliki.

Dlaczego go zgłaszamy

Bez wolnych inodów usługi zawodzą tak samo jak przy pełnym dysku, a trudno to zauważyć.

Komunikat

SERWER: web1
web1 ma system plików tylko do odczytu.
System przełączył system plików w tryb tylko do odczytu, zwykle z powodu błędu dysku. Usługi nie mogą już zapisywać danych: należy sprawdzić dysk i log systemowy.

Co oznacza

System przełączył system plików w tryb tylko do odczytu, zwykle z powodu błędu dysku lub systemu plików.

Co sprawdzić

Należy sprawdzić dziennik systemowy ("dmesg", "journalctl -k") pod kątem błędów dysku oraz stan dysku. Często potrzebne są sprawdzenie systemu plików i restart; jeśli dysk się psuje, trzeba przenieść dane na nowy sprzęt.

Dlaczego go zgłaszamy

Usługi nie mogą już nic zapisywać, a dane mogą być zagrożone.

Komunikat

SERWER: web1
web1 ma wysokie obciążenie CPU.
Procesor od dłuższego czasu jest mocno obciążony. Warto sprawdzić, które procesy go używają.

Co oznacza

Procesor przez dłuższy czas był bardziej zajęty niż ustawiony limit (domyślnie powyżej 90 % przez 15 minut).

Co sprawdzić

Warto znaleźć procesy zużywające procesor ("top", "htop"). Zaplanowane zadania, takie jak kopie zapasowe lub importy, mogą to powodować; jeśli dzieje się tak regularnie o tej samej porze, jest to oczekiwane.

Dlaczego go zgłaszamy

Stale zajęty procesor powoduje, że strony WWW i usługi działają wolno.

Komunikat

SERWER: web1
web1 ma wysokie obciążenie systemu.
Czeka więcej pracy, niż procesory są w stanie obsłużyć. Należy sprawdzić działające procesy i aktywność dysku.

Co oznacza

Przez dłuższy czas więcej pracy czekało w kolejce, niż procesory są w stanie obsłużyć (obciążenie systemu na procesor powyżej ustawionego limitu).

Co sprawdzić

Należy sprawdzić procesy i aktywność dysku ("top", "iotop"). Wysokie obciążenie przy niskim wykorzystaniu procesora często oznacza wolne dyski lub oczekiwanie na sieć.

Dlaczego go zgłaszamy

Wysokie obciążenie spowalnia wszystko na serwerze i często poprzedza awarię.

Komunikat

SERWER: web1
web1 ma mało pamięci.
Zostało mało pamięci. Należy sprawdzić, które procesy jej używają; gdy się skończy, system zatrzymuje usługi.

Co oznacza

Wolna pamięć przez pewien czas była poniżej ustawionego limitu (domyślnie mniej niż 10 % dostępnej pamięci).

Co sprawdzić

Warto znaleźć procesy zużywające pamięć ("top" posortowane według pamięci). Należy zmniejszyć ustawienia pamięci bazy danych lub PHP albo dodać pamięć.

Dlaczego go zgłaszamy

Gdy pamięć się wyczerpie, system sam zatrzymuje procesy, często bazę danych.

Komunikat

SERWER: web1
web1 kończy się na nim pamięć i swap.
Pamięć i swap są jednocześnie prawie wyczerpane: serwerowi naprawdę brakuje pamięci, zwalnia i może zatrzymywać usługi. Należy sprawdzić, które procesy używają pamięci, lub dodać pamięć.

Co oznacza

Pamięć i swap są niemal wyczerpane jednocześnie (oba poniżej 10 % wolnego miejsca). Na serwerze brakuje naprawdę dużo pamięci.

Co sprawdzić

Należy znaleźć procesy zużywające pamięć i zmniejszyć ich ustawienia albo dodać pamięć. Sam pełny swap nie jest problemem: system przenosi tam nieużywane dane. Dlatego alarmujemy dopiero wtedy, gdy jednocześnie brakuje pamięci.

Dlaczego go zgłaszamy

Serwer staje się bardzo wolny, a system wkrótce zaczyna zatrzymywać usługi.

Komunikat

SERWER: web1
web1 został zrestartowany.
Serwer został uruchomiony ponownie. Jeśli nie było to planowane, warto sprawdzić log systemowy.

Co oznacza

Serwer został uruchomiony ponownie. Zapisujemy to na liście incydentów bez wysyłania alertu.

Co sprawdzić

Jeśli restart nie był zaplanowany, warto sprawdzić dziennik systemowy pod kątem przyczyny, na przykład zaniku zasilania, błędu jądra lub automatycznej aktualizacji.

Dlaczego go zgłaszamy

Nieplanowane restarty mogą wskazywać na problemy ze sprzętem lub stabilnością.

Komunikat

SERWER: web1
web1 ma nieprawidłowy czas systemowy.
Zegar serwera wskazuje błędny czas. Należy sprawdzić synchronizację czasu (NTP); błędny czas zakłóca certyfikaty, logowanie i zaplanowane zadania.

Co oznacza

Zegar serwera różni się od rzeczywistego czasu o więcej niż minutę.

Co sprawdzić

Należy sprawdzić synchronizację czasu ("timedatectl") i uruchomić lub skonfigurować NTP (na przykład systemd-timesyncd lub chrony).

Dlaczego go zgłaszamy

Błędny czas psuje certyfikaty, logowania, kody dwuskładnikowe i zaplanowane zadania.

Komunikat

POWIADOMIENIE #212: web1
web1 ma zmienione konta użytkowników lub grupy.
Dodano, zmieniono lub usunięto konto użytkownika albo grupę. Jeśli nie zrobił tego nikt z zespołu, serwer może być przejęty: należy sprawdzić, kto ma dostęp.

Co oznacza

Konto użytkownika lub grupa na serwerze zostały dodane, zmienione lub usunięte (zmieniono /etc/passwd lub /etc/group). Zgłaszamy to jednorazowo; nie wysyłamy komunikatu o zakończeniu.

Co sprawdzić

Warto przejrzeć ostatnie zmiany ("tail /etc/passwd", "last", "journalctl"). Instalacje oprogramowania i aktualizacje również tworzą konta systemowe; jeśli w tym czasie Państwo lub Państwa zespół coś instalowali, jest to oczekiwane.

Dlaczego go zgłaszamy

Atakujący często tworzą własne konto, aby zachować dostęp. Wczesna informacja ma duże znaczenie.

Komunikat

POWIADOMIENIE #213: web1
web1 ma zmienione hasła.
Na serwerze zmieniono hasło. Jeśli nie zrobił tego nikt z zespołu, należy sprawdzić, kto ma dostęp.

Co oznacza

Hasło na serwerze zostało zmienione (zmieniono /etc/shadow). Zgłaszamy to jednorazowo; nie wysyłamy komunikatu o zakończeniu.

Co sprawdzić

Należy sprawdzić, kto zmienił które hasło ("journalctl", "last"). Zmiany haseł dokonane przez Państwa lub Państwa zespół oraz niektóre aktualizacje są oczekiwane.

Dlaczego go zgłaszamy

Nieoczekiwana zmiana hasła może oznaczać, że ktoś przejął konto.

Komunikat

POWIADOMIENIE #214: web1
web1 ma zmienione uprawnienia administratora (sudo).
Zmieniono uprawnienia administratora (sudo). Jeśli nie zrobił tego nikt z zespołu, należy sprawdzić, kto ma dostęp.

Co oznacza

Uprawnienia administratora (sudo) na serwerze zostały zmienione (zmieniono /etc/sudoers lub /etc/sudoers.d). Zgłaszamy to jednorazowo; nie wysyłamy komunikatu o zakończeniu.

Co sprawdzić

Warto przejrzeć zmieniony plik i sprawdzić, kto ma uprawnienia administratora. Niektóre pakiety podczas instalacji dodają własne reguły.

Dlaczego go zgłaszamy

Uprawnienia administratora dają pełną kontrolę nad serwerem. Nieoczekiwane zmiany są poważnym sygnałem ostrzegawczym.

Komunikat

POWIADOMIENIE #215: web1
web1 ma zmienioną konfigurację SSH.
Zmieniono konfigurację SSH. Należy sprawdzić, czy logowanie jest nadal ograniczone zgodnie z zamierzeniem.

Co oznacza

Konfiguracja serwera SSH (/etc/ssh/sshd_config) została zmieniona. Zgłaszamy to jednorazowo; nie wysyłamy komunikatu o zakończeniu.

Co sprawdzić

Należy sprawdzić zmienione ustawienia, zwłaszcza logowanie hasłem, logowanie na konto root oraz port. Aktualizacje pakietu SSH również mogą zmienić ten plik.

Dlaczego go zgłaszamy

SSH to główny sposób dostępu do serwera. Osłabiona konfiguracja ułatwia ataki.