Kontakt aufnehmen
MON / 06 von 09 · Monitoring

Monitoring, das den Ausfall vor dem Nutzer meldet

Wir bauen Beobachtbarkeit von den Servicezielen her auf, nicht von einer Liste von Metriken. Jeder Alarm muss eine Maßnahme verlangen.

Wann man uns ruft
  • 01Die Bereitschaft hat die Alarme stummgeschaltet
  • 02Ausfälle werden durch den Anruf eines Nutzers gemeldet
  • 03Es gibt Dashboards, aber keines beantwortet «was ist kaputt»
  • 04Das Monitoring ist zusammen mit dem ausgefallen, was es überwacht hat
+Monitoring: Tuschezeichnung
ALR / 412 Alarme über Nacht, null Maßnahmen
DEP / Monitoring läuft auf dem Cluster, den es überwacht
MON / 06Die Befunde sind beispielhaft
+
Erster Tag

Was wir zuerst prüfen

  • Festlegen, was «funktioniert» für den Dienst bedeutet, und es messen
  • Die Alarme eines Monats durchgehen: wie viele erforderten eine Maßnahme
  • Prüfen, dass das Monitoring unabhängig von dem ist, was es beobachtet
  • Abdeckung der Abhängigkeiten prüfen: DNS, Zertifikate, Speicher
Werkzeug

Fehlerbudget und Alarmschwellen

Die Faktoren 14,4 und 6 stammen aus der SRE-Praxis: 2 % des Budgets in einer Stunde verbraucht, 5 % in sechs.

+
Fehlermuster

Wo es üblicherweise bricht

A

Rauschen statt Signal

Eine Schwelle auf jeder Metrik. Hunderte Alarme, die Leute reagieren nicht mehr, und der echte Ausfall geht darin unter.

B

Grüne Metriken, toter Dienst

CPU und Speicher sind in Ordnung, aber der Nutzer kann sich nicht anmelden. Gemessen werden Ressourcen, nicht Ergebnisse.

C

Der Beobachter im Inneren

Das Monitoring liegt auf demselben Cluster und Speicher. Bei einem Ausfall wird es als Erstes dunkel.

+
Ergebnis

Was bei Ihnen bleibt

  • Serviceziele und Fehlerbudgets für die wichtigsten Systeme
  • Alarme, die jeweils einer Maßnahme zugeordnet sind
  • Dashboards für die Bereitschaft und für das Management
← BKP

Backup

DC →

Rechenzentren

+
Kontakt

Beschreiben Sie Ihre Aufgabe

Schreiben Sie uns, was passiert und was bereits versucht wurde. Es antwortet der Ingenieur, der sich um die Sache kümmern wird.