Alarmer forklaret

Besked

NEDE: Shop
Shop kan ikke nås.

Hvad det betyder

Flere af vores kontrollokationer kunne ikke nå overvågningen, den ene efter den anden. En enkelt mislykket kontrol udløser aldrig denne alarm: en anden lokation bekræfter det først.

Hvad du bør tjekke

Åbn adressen selv, helst fra et andet netværk. Tjek, om serveren kører, om webserveren eller tjenesten er startet, og om en firewall eller en sikkerhedstjeneste (for eksempel botbeskyttelse) blokerer vores kontrollokationer. Hvis siden virker for dig, kan problemet ligge på vejen til serveren; hændelsessiden viser, hvilke lokationer der fejlede.

Hvorfor vi melder det

Når en overvågning ikke er tilgængelig, kan dine besøgende og kunder heller ikke nå den. Hvert minut tæller.

Besked

NEDE: Shop
Shop kan ikke nås.
Intet svar: Connection timed out

Hvad det betyder

Forbindelsen mislykkedes, før der kom et svar, for eksempel på grund af en timeout, en afvist forbindelse, en DNS-fejl eller et TLS-problem. Fejlen efter kolonet er den præcise fejl, vores kontrol modtog.

Hvad du bør tjekke

Se på fejlen: "timed out" betyder normalt, at serveren er overbelastet, eller at en firewall afbryder forbindelsen; "connection refused" betyder, at intet lytter på porten; en DNS-fejl betyder, at navnet ikke kan oversættes. Hvis problemet kun varede et øjeblik, kan det have været et kortvarigt netværksproblem undervejs.

Hvorfor vi melder det

Uden svar fungerer siden eller tjenesten ikke for nogen, der prøver at bruge den lige nu.

Besked

NEDE: Shop
Shop kan ikke nås.
Serveren svarede med HTTP 503.

Hvad det betyder

Serveren svarede, men med en statuskode uden for det accepterede område (som standard 200 til 399). Almindelige koder: 500 intern fejl, 502 og 504 problemer bag en proxy, 503 tjenesten er utilgængelig eller under vedligeholdelse, 403 adgang nægtet, 404 siden blev ikke fundet.

Hvad du bør tjekke

Åbn adressen og se på siden. Tjek fejlloggen for webserveren og applikationen. En 403 kan betyde, at en firewall eller botbeskyttelse blokerer vores kontroller: tillad så vores kontrollokationer, eller ændr de accepterede statuskoder for overvågningen. Under planlagt vedligeholdelse er en 503 forventet; sæt overvågningen på pause i den periode.

Hvorfor vi melder det

En fejlside i stedet for dit indhold ser ud som et nedbrud for besøgende og søgemaskiner.

Besked

NEDE: Shop
Shop kan ikke nås.
Nøgleordet “Add to cart” blev ikke fundet på siden.

Hvad det betyder

Siden blev indlæst, men teksten overvågningen leder efter, stod ikke på den.

Hvad du bør tjekke

Åbn siden og led efter teksten. Ofte viser siden en fejl, et login eller en cookiemeddelelse i stedet for indholdet. Hvis siden er ændret med vilje, og teksten er væk, så justér nøgleordet i overvågningen; så er det en falsk alarm.

Hvorfor vi melder det

En side kan svare normalt og alligevel være i stykker, for eksempel en tom shopside eller en databasefejl. Nøgleordet finder det.

Besked

NEDE: Shop
Shop kan ikke nås.
Nøgleordet “Error” blev fundet på siden, men det må ikke stå der.

Hvad det betyder

Siden indeholder en tekst, der ikke må stå der, for eksempel "error" eller "maintenance".

Hvad du bør tjekke

Åbn siden og se, hvor teksten optræder. Hvis den er en del af normalt indhold (for eksempel et blogindlæg, der nævner ordet), så vælg en mere præcis tekst til overvågningen; så er det en falsk alarm.

Hvorfor vi melder det

Fejlmeddelelser på en side, der ellers indlæses normalt, er nemme at overse og koster besøgende og tillid.

Besked

NEDE: Shop
Shop kan ikke nås.
DNS-svaret afviger fra det forventede.

Hvad det betyder

DNS-serveren svarede, men ikke med den værdi, overvågningen forventer (for eksempel en anden IP-adresse).

Hvad du bør tjekke

Tjek DNS-posterne hos din udbyder. Hvis du har ændret dem med vilje, så opdatér den forventede værdi i overvågningen. En uventet ændring kan betyde, at nogen har ændret dine DNS-indstillinger uden tilladelse.

Hvorfor vi melder det

Et forkert DNS-svar sender besøgende og mail til den forkerte server eller ingen steder hen.

Besked

NEDE: Shop
Shop kan ikke nås.
Intet svar på ping.

Hvad det betyder

Værten svarede ikke på nogen ping-forespørgsel fra vores kontrollokationer.

Hvad du bør tjekke

Tjek, om serveren kører og er tilgængelig på netværket. Nogle firewalls og udbydere blokerer ping (ICMP); hvis værten aldrig svarer på ping, så brug i stedet en port- eller webside-overvågning, ellers kan denne alarm være falsk.

Hvorfor vi melder det

En vært, der slet ikke svarer, er normalt slukket eller afskåret fra netværket.

Besked

NETVÆRKSPROBLEM: Shop
Shop kan ikke nås fra de fleste lokationer, men mindst én lokation når den stadig: serveren kører, problemet ligger i netværket på vej derhen.

Hvad det betyder

De fleste kontrollokationer kunne ikke nå overvågningen, men mindst én kunne stadig. Serveren selv kører; problemet ligger på netværket på vejen til den.

Hvad du bør tjekke

Tjek din udbyders statusside og netværksmeddelelser. Sådanne fejl løser sig ofte selv. Hvis det varer ved, så spørg din udbyder, om ruter fra bestemte regioner er påvirket.

Hvorfor vi melder det

Besøgende fra de berørte regioner kan ikke nå dig, selvom alt ser fint ud fra dit eget netværk.

Besked

CERTIFIKATET ER UGYLDIGT: Shop
SSL-certifikatet for Shop er ugyldigt.

Hvad det betyder

SSL-certifikatet er udløbet, passer ikke til domænenavnet, er ufuldstændigt eller ikke betroet.

Hvad du bør tjekke

Åbn siden i en browser og se på certifikatadvarslen. Forny certifikatet eller installér den fulde certifikatkæde. Efter en fornyelse skal du genstarte webserveren, så den bruger det nye certifikat.

Hvorfor vi melder det

Browsere viser en sikkerhedsadvarsel, og de fleste besøgende forlader siden. Shops og logins holder op med at virke.

Besked

CERTIFIKATET UDLØBER: Shop
SSL-certifikatet for Shop udløber snart.

Hvad det betyder

SSL-certifikatet udløber snart. Det virker stadig nu.

Hvad du bør tjekke

Tjek, om automatisk fornyelse (for eksempel certbot eller dit hostingpanel) er sat op og kører. Hvis certifikatet allerede er fornyet, bruger webserveren måske stadig det gamle: genstart eller genindlæs den.

Hvorfor vi melder det

Vi advarer tidligt, så der er tid til at handle, før besøgende ser en sikkerhedsadvarsel.

Besked

CERTIFIKATET KAN IKKE HENTES: Shop
SSL-certifikatet for Shop kunne ikke hentes.

Hvad det betyder

Vi kunne ikke hente certifikatet, for eksempel fordi porten er lukket, eller TLS-forbindelsen fejler.

Hvad du bør tjekke

Tjek, om tjenesten svarer på porten, og om TLS er sat op. En firewall, der blokerer vores kontrollokationer, kan også forårsage dette; så er det en falsk alarm for besøgende.

Hvorfor vi melder det

Uden certifikatet kan vi ikke se, om besøgende får en gyldig og betroet forbindelse.

Besked

HEARTBEAT UDEBLEV: Shop
Shop meldte sig ikke i tide.

Hvad det betyder

Jobbet (for eksempel en backup eller et cron-job) meldte sig ikke til tiden.

Hvad du bør tjekke

Tjek, om jobbet kørte, og om det stadig kan nå vores heartbeat-adresse. Hvis jobbet kører senere eller sjældnere end sat op, så justér intervallet og karenstiden for overvågningen.

Hvorfor vi melder det

Jobs, der stille holder op med at køre, som backups, opdages ofte først, når det er for sent.

Besked

JOBBET MISLYKKEDES: Shop
Shop meldte en mislykket kørsel.

Hvad det betyder

Jobbet meldte sig, men signalerede, at dets kørsel fejlede.

Hvad du bør tjekke

Se på outputtet eller loggen for jobbet for denne kørsel.

Hvorfor vi melder det

Et job, der kører, men fejler, er lige så slemt som et job, der ikke kører.

Besked

MAILINDSTILLINGER: Shop
Mailindstillingerne for shop.example.com i DNS kræver opmærksomhed (SPF, DKIM, DMARC eller navneservere). Detaljer og forslag til rettelser finder du i dashboardet.

Hvad det betyder

Mailrelaterede DNS-poster for domænet kræver opmærksomhed: SPF, DKIM, DMARC, MTA-STS, DNSSEC eller navneserverne.

Hvad du bør tjekke

Overvågningssiden viser de præcise fund med foreslåede rettelser. Ret posterne hos din DNS-udbyder; det kan tage et stykke tid, før ændringen er synlig alle steder.

Hvorfor vi melder det

Manglende eller forkerte poster får din mail til at havne i spam eller gør det muligt for andre at sende mail i dit navn.

Besked

TESTMAIL MANGLER: Shop
Der kom ingen testmail fra shop.example.com i tide.

Hvad det betyder

Den faste testmail fra din server nåede ikke frem til tiden.

Hvad du bør tjekke

Tjek mailkøen og loggen for din mailserver, og om afsendelsesjobbet stadig kører. En kort forsinkelse hos modtageren kan også give dette; hvis den næste testmail kommer frem, lukker alarmen af sig selv.

Hvorfor vi melder det

Hvis testmails ikke kommer frem, kommer dine kunders mails sandsynligvis heller ikke frem.

Besked

PROBLEM MED MAILLEVERING: Shop
Den seneste testmail fra shop.example.com fejlede SPF, DKIM eller DMARC, står på en sortliste eller blev vurderet som spam. Detaljer finder du i dashboardet.

Hvad det betyder

Testmailen kom frem, men fejlede SPF, DKIM eller DMARC, står på en blacklist eller blev vurderet som spam.

Hvad du bør tjekke

Overvågningssiden viser præcis, hvad der fejlede. Ret posterne, eller bed om at blive fjernet fra blacklisten.

Hvorfor vi melder det

Sådanne mails havner ofte i spam eller bliver afvist.

Besked

SERVER: web1
web1 melder sig ikke (agent eller server offline).
Agenten sender ikke længere data: Serveren er måske slukket eller offline, eller agenten er stoppet. Tjek, om serveren svarer, og om agenten kører.

Hvad det betyder

Vores agent på serveren har ikke sendt nogen data i flere minutter.

Hvad du bør tjekke

Tjek, om serveren kører og har netværk. Hvis den gør, så tjek agenttjenesten ("systemctl status centoculus-agent2"). Efter en genstart eller en netværksændring melder agenten sig selv igen; så lukker alarmen.

Hvorfor vi melder det

Uden data kan vi ikke se serveren, og ofte er serveren selv nede.

Besked

SERVER: web1
web1 har en stoppet tjeneste.
En overvåget tjeneste kører ikke længere. Tjek dens status og log, og start den igen.

Hvad det betyder

En tjeneste, du valgte at overvåge på serveren, kører ikke længere.

Hvad du bør tjekke

Tjek tjenestens status og log ("systemctl status <service>", "journalctl -u <service>") og start den igen. Hvis du stoppede eller fjernede tjenesten med vilje, så fjern den fra de overvågede tjenester; så er det en falsk alarm.

Hvorfor vi melder det

En stoppet web-, database- eller mailtjeneste betyder normalt et nedbrud for alt, der afhænger af den.

Besked

SERVER: web1
web1 er ved at løbe tør for diskplads.
Et filsystem er næsten fyldt. Frigør plads (gamle logfiler, backups, caches) eller udvid disken, før tjenester fejler.

Hvad det betyder

Et filsystem er fyldere end den fastsatte grænse (som standard en advarsel ved 85 % og en alarm ved 95 %).

Hvad du bør tjekke

Find store filer og mapper (for eksempel "du -xh / | sort -h | tail"), slet gamle logs, backups og cache, eller udvid disken. Hvis disken med vilje altid er så fuld, så hæv grænsen for dette filsystem.

Hvorfor vi melder det

Når disken er fuld, holder databaser, mail og websites op med at skrive data og fejler.

Besked

SERVER: web1
web1 er ved at løbe tør for inodes.
Der er næsten ingen ledige inoder tilbage, typisk på grund af rigtig mange små filer (sessioner, caches, mailkø). Slet gamle filer for at frigøre inoder.

Hvad det betyder

Næsten alle inodes i et filsystem er brugt, normalt af meget mange små filer. Nye filer kan ikke længere oprettes, selvom der er ledig plads.

Hvad du bør tjekke

Find mapper med meget mange filer (sessioner, cache, mailkø) og slet gamle.

Hvorfor vi melder det

Uden ledige inodes fejler tjenester ligesom ved en fuld disk, og det er svært at opdage.

Besked

SERVER: web1
web1 har et skrivebeskyttet filsystem.
Systemet har gjort et filsystem skrivebeskyttet, typisk på grund af en diskfejl. Tjenester kan ikke længere gemme data: Tjek disken og systemloggen.

Hvad det betyder

Systemet har gjort et filsystem skrivebeskyttet, normalt på grund af en disk- eller filsystemfejl.

Hvad du bør tjekke

Tjek systemloggen ("dmesg", "journalctl -k") for diskfejl og diskens tilstand. Ofte er et filsystemtjek og en genstart nødvendig; hvis disken er ved at gå i stykker, skal du gendanne til ny hardware.

Hvorfor vi melder det

Tjenester kan ikke længere gemme noget, og data kan være i fare.

Besked

SERVER: web1
web1 har høj CPU-belastning.
Processoren har været hårdt belastet i lang tid. Tjek, hvilke processer der bruger den.

Hvad det betyder

Processoren har været mere travl end den fastsatte grænse i lang tid (som standard over 90 % i 15 minutter).

Hvad du bør tjekke

Find de processer, der bruger processoren ("top", "htop"). Planlagt arbejde som backups eller imports kan forårsage dette; hvis det sker regelmæssigt på samme tidspunkt, er det forventet.

Hvorfor vi melder det

En processor, der konstant er travl, gør websites og tjenester langsomme.

Besked

SERVER: web1
web1 har høj systembelastning.
Der venter mere arbejde, end processorerne kan nå. Tjek de kørende processer og diskaktiviteten.

Hvad det betyder

Der har i lang tid ventet mere arbejde, end processorerne kan klare (systembelastning pr. processor over den fastsatte grænse).

Hvad du bør tjekke

Tjek processer og diskaktivitet ("top", "iotop"). Høj belastning med lavt processorforbrug betyder ofte langsomme diske eller ventetid på netværket.

Hvorfor vi melder det

Høj belastning gør alt på serveren langsomt og kommer ofte før et nedbrud.

Besked

SERVER: web1
web1 har lav ledig hukommelse.
Der er kun lidt hukommelse tilbage. Tjek, hvilke processer der bruger den; løber den tør, stopper systemet tjenester.

Hvad det betyder

Ledig hukommelse har været under den fastsatte grænse i et stykke tid (som standard under 10 % tilgængelig).

Hvad du bør tjekke

Find de processer, der bruger hukommelse ("top" sorteret efter hukommelse). Reducér hukommelsesindstillingerne for databasen eller PHP, eller tilføj mere hukommelse.

Hvorfor vi melder det

Når hukommelsen løber tør, stopper systemet processer af sig selv, ofte databasen.

Besked

SERVER: web1
web1 er ved at løbe tør for hukommelse og swap.
Hukommelse og swap er næsten opbrugt på samme tid: Serveren mangler reelt hukommelse, bliver langsom og kan stoppe tjenester. Tjek, hvilke processer der bruger hukommelse, eller tilføj mere hukommelse.

Hvad det betyder

Hukommelse og swap er næsten opbrugt samtidig (begge under 10 % ledig). Serveren mangler virkelig hukommelse.

Hvad du bør tjekke

Find de processer, der bruger hukommelse, og reducér deres indstillinger, eller tilføj hukommelse. En fuld swap alene er ikke et problem: systemet gemmer ubrugte data der. Derfor alarmerer vi kun, når hukommelsen samtidig er lav.

Hvorfor vi melder det

Serveren bliver meget langsom, og systemet begynder snart at stoppe tjenester.

Besked

SERVER: web1
web1 er genstartet.
Serveren er blevet genstartet. Var det ikke planlagt, så tjek systemloggen.

Hvad det betyder

Serveren blev genstartet. Vi noterer det i hændelseslisten uden at sende en alarm.

Hvad du bør tjekke

Hvis genstarten ikke var planlagt, så tjek systemloggen for årsagen, for eksempel et strømsvigt, en kernelfejl eller en automatisk opdatering.

Hvorfor vi melder det

Uplanlagte genstarter kan pege på hardware- eller stabilitetsproblemer.

Besked

SERVER: web1
web1 har forkert systemtid.
Serverens ur går forkert. Tjek tidssynkroniseringen (NTP); forkert tid forstyrrer certifikater, login og planlagte job.

Hvad det betyder

Serverens ur afviger fra den rigtige tid med mere end et minut.

Hvad du bør tjekke

Tjek tidssynkroniseringen ("timedatectl"); start eller opsæt NTP (for eksempel systemd-timesyncd eller chrony).

Hvorfor vi melder det

Forkert tid ødelægger certifikater, logins, to-faktor-koder og planlagte job.

Besked

BEMÆRKNING #212: web1
web1 har ændrede brugerkonti eller grupper.
En brugerkonto eller gruppe er blevet oprettet, ændret eller fjernet. Var det ikke dig eller dit team, kan serveren være kompromitteret: Tjek, hvem der har adgang.

Hvad det betyder

En brugerkonto eller gruppe på serveren blev tilføjet, ændret eller fjernet (/etc/passwd eller /etc/group blev ændret). Vi melder det én gang; der kommer ingen besked om, at alt er i orden.

Hvad du bør tjekke

Se de seneste ændringer ("tail /etc/passwd", "last", "journalctl"). Softwareinstallationer og opdateringer opretter også systembrugere; hvis du eller dit team installerede noget på det tidspunkt, er det forventet.

Hvorfor vi melder det

Angribere opretter ofte en egen bruger for at bevare adgangen. Tidlig besked er vigtig.

Besked

BEMÆRKNING #213: web1
web1 har ændrede adgangskoder.
En adgangskode på serveren er blevet ændret. Var det ikke dig eller dit team, så tjek, hvem der har adgang.

Hvad det betyder

En adgangskode på serveren blev ændret (/etc/shadow blev ændret). Vi melder det én gang; der kommer ingen besked om, at alt er i orden.

Hvad du bør tjekke

Tjek, hvem der ændrede hvilken adgangskode ("journalctl", "last"). Adgangskodeændringer foretaget af dig eller dit team, og nogle opdateringer, er forventet.

Hvorfor vi melder det

En uventet adgangskodeændring kan betyde, at nogen har overtaget en konto.

Besked

BEMÆRKNING #214: web1
web1 har ændrede administratorrettigheder (sudo).
Administratorrettighederne (sudo) er blevet ændret. Var det ikke dig eller dit team, så tjek, hvem der har adgang.

Hvad det betyder

Administratorrettighederne (sudo) på serveren blev ændret (/etc/sudoers eller /etc/sudoers.d blev ændret). Vi melder det én gang; der kommer ingen besked om, at alt er i orden.

Hvad du bør tjekke

Se på den ændrede fil, og tjek, hvem der har administratorrettigheder. Nogle pakker tilføjer deres egne regler, når de installeres.

Hvorfor vi melder det

Administratorrettigheder giver fuld kontrol over serveren. Uventede ændringer er et tydeligt varselstegn.

Besked

BEMÆRKNING #215: web1
web1 har en ændret SSH-konfiguration.
SSH-konfigurationen er blevet ændret. Tjek, at login stadig er begrænset som tilsigtet.

Hvad det betyder

Konfigurationen af SSH-serveren (/etc/ssh/sshd_config) blev ændret. Vi melder det én gang; der kommer ingen besked om, at alt er i orden.

Hvad du bør tjekke

Tjek de ændrede indstillinger, især adgangskodelogin, root-login og porten. Opdateringer af SSH-pakken kan også ændre filen.

Hvorfor vi melder det

SSH er den vigtigste vej ind til serveren. En svækket konfiguration gør angreb nemmere.