Sean Kim
Projektliste

Projektarchiv 04 · Automatisierung der Vorgänge · Servicestabilität

Ein Überwachungssystem, das Fehler vom Server bis zum Benutzer-PC erkennt.

Server-/Aufgabenergebnisse überwachen → API-/PC-App-Fehler erfassen → Slack-Benachrichtigungen → Ursache in der Admin-Konsole nachverfolgen

PythonFastAPIRubyReactTypeScriptPostgreSQLSlack API

Erkennt Aufgabenfehler, die wochenlang unbemerkt blieben, selbst wenn der Server einwandfrei funktioniert.

Es überwacht 13 Serverkomponenten in 3 Diensten sowie aktuelle Geschäftsergebnisse wie Rechnungsübermittlung und KakaoTalk-Benachrichtigungen. Wir haben ein Betriebstool entwickelt, das Fehler von Server-APIs und Benutzer-PC-Anwendungen aggregiert und von Slack-Benachrichtigungen bis zur Ursachenanalyse auf der Administratoroberfläche führt.

  • 0,5 Sekunden → 0,1 SekundenDurchschnittliche Datenbankantwortzeit des Bestellservices unmittelbar nach Behebung der langsamen Abfrage
  • 6 FälleDurch Überwachungsbenachrichtigungen erkannte und behobene Betriebsprobleme
  • 13 PlätzeServerkomponenten werden jede Minute überprüft
Administrator-Serverstatusbildschirm

Dies ist die intern entwickelte Administrator-Statusseite. Sie zeigt den aktuellen Status und die Bearbeitungshistorie für jeden Service an. Interne Identifikationsinformationen wurden unkenntlich gemacht.

Übersetzte Referenz · Koreanisches Original ansehen
Zugewiesene Rolle
Überwachungskriterien und Benachrichtigungsabläufe entwickelt Ich habe das Überwachungsprogramm, die Serverstatusanzeige, die Überprüfung der Arbeitsergebnisse, die Fehlererfassung für API und PC-Anwendungen sowie die Administratorkonsole zur Anzeige all dieser Daten selbst entwickelt.
Ergebnisse
Wir haben ein Überwachungssystem eingerichtet, das Serverstatus, tatsächliche Geschäftsprozesse und API-/PC-Anwendungsfehler analysiert. Wir haben Warnmeldungen, Wiederherstellungsbenachrichtigungen und regelmäßige Berichte mit der Administratorkonsole verknüpft und die Ursachen von sechs vom Überwachungssystem identifizierten Problemen behoben, darunter langsame Abfragegeschwindigkeiten und Probleme mit der Rechnungs- und KakaoTalk-Integration.
  1. 1Serverüberwachung13 Standorte wurden als normal, leistungsschwach, fehlerhaft oder nicht bestätigbar beurteilt.
  2. 2Arbeitsergebnisse prüfenWird anhand der tatsächlichen Verarbeitung der Anfrage ermittelt, nicht anhand des Empfangs.
  3. 3Benachrichtigungen und BerichteAlarmierung, wenn drei aufeinanderfolgende Fehler auftreten, noch einmal während der Wiederherstellung, und regelmäßige Berichterstattung zweimal täglich.
  4. 4FehlererfassungServer-API-Fehler und PC-Anwendungsfehler gruppieren

Von dieser Technologie erwartete Änderungen

Operative Reaktion eines kleinen Teams

Anstatt ständig mehrere Managementbildschirme zu überwachen, kann die verantwortliche Person Anomalien und deren Behebung über Benachrichtigungen prüfen. Dies reduziert den Aufwand für wiederholte Prüfungen und ermöglicht es ihr, sich auf die Ursachenanalyse zu konzentrieren.

Problemerkennung vor Kundenkontakt

Auch bei normalem Serverbetrieb erkennt das System Fehler, bei denen Versandinformationen oder Aufgabenbenachrichtigungen fehlen, sodass Sie Maßnahmen ergreifen können, bevor Kundenanfragen entstehen.

Fehlerprotokoll, das zur Verbesserung führte

Erfasst Fehler auf Server und Benutzer-PC, um wiederkehrende Probleme zu identifizieren, und hinterlässt Betriebsnachweise, die einen Vergleich des Status nach der Behebung ermöglichen.

Problem und Lösung

  1. ProblemDie Übermittlung von Rechnungen oder KakaoTalk-Benachrichtigungen kann fehlschlagen, selbst wenn der Server einwandfrei funktioniert.

    Gelöst.Unterscheidet zwischen dem Empfang von Anfragen und den tatsächlichen Verarbeitungsergebnissen und verknüpft Aufgabenfehler und unvollständige Ausführungen mit der Überwachung.

  2. ProblemDer Status „Warten auf Administrator-Analyseaufgaben oder erste Ergebnisse“ wurde als tatsächlicher Fehler interpretiert.

    Gelöst.Arbeitsquellen trennen und ausstehende Sammlungen, unbestätigte Ergebnisse und bestätigte Fehler kategorisieren, um Anomalien zu identifizieren, die Maßnahmen erfordern.

  3. ProblemWenn die Verbindung zur Datenerfassung während eines Ausfalls unterbrochen wird, ist der Statusverlauf für diesen Zeitraum leer.

    Gelöst.Die Beobachtungen werden temporär gespeichert und nach Wiederherstellung der Verbindung ohne Duplikate gesendet. So ist der Fehler- und Wiederherstellungsprozess lückenlos nachvollziehbar.

  4. ProblemWenn Sie auf eine Fehlermeldung warten, während der Server langsam ist oder die Verbindung unterbrochen wurde, werden die Bearbeitung und Ausgabe im Furniture Builder gleichzeitig gestoppt.

    Gelöst.Fehler werden separat gesendet, ohne auf die Bearbeitung und Ausgabe zu warten. Die wiederholte Übermittlung desselben Fehlers ist begrenzt.

  5. ProblemFehlermeldungen können Tokens oder Dateipfade enthalten.

    Gelöst.Nur die erste Zeile mit den sowohl auf dem PC als auch auf dem Server gelöschten sensiblen Teilen bleibt übrig und der Zeichnungsinhalt wird nicht gesendet.

Bestätigte Ergebnisse

  • Vergleich von Administrator-Statusbildschirmen, Slack-Berichten sowie Fehler- und Wiederherstellungshistorie.
  • Ich habe einen Betriebsgraphen überprüft, der zeigt, dass sich die durchschnittliche Datenbankantwortzeit unmittelbar nach Behebung der langsamen Abfrage von ca. 0,5 Sekunden auf etwa 0,1 Sekunden verringert hat.
  • Es wurden 6 Fälle erfasst, in denen die Ursache anhand von Überwachungsmeldungen (z. B. Rechnung, KakaoTalk, Datenbankverbindung) ermittelt und behoben wurde.
Serverüberwachung

13 StellenJede Minute

Plattform für Konstruktion und Bearbeitung.8 Stellen

  • Nginx (Betrieb, Entwicklung)Serverantwort
  • API-Server (Betrieb, Entwicklung)Statusantwort und Laden der Software-Engine
  • GPU-Arbeiter (Betrieb, Entwicklung)Letzter Herzschlag
  • DB (Betrieb, Entwicklung)Verbindung und langsame Suche

Möbelbestellservice3 Stellen

  • Webdienst (Vorgänge)Erster Bildschirm und App-Datei-Antwort
  • DB (Vorgänge)Verbindung und langsame Suche
  • DB-Funktionsaufruf (Vorgänge)Durchschnittliche Antwortzeit pro Funktion

Werksmanagement-Service2 Stellen

  • Webdienst (Vorgänge)Anmeldebildschirm und Antwort der App-Datei
  • API-Server (Vorgänge)Schreibgeschützte Anfrage beantworten
Arbeitsergebnisse ebenfalls prüfen
  • Reguläre Operation
  • Zahlungsnachbearbeitung
  • Arbeitsliste
  • Externer Link
  • Benachrichtigung senden
Fehlererfassung

Fehler werden erfasst, sobald sie auftreten.

  1. Server-APIPlattform für Konstruktion und Bearbeitung.

    5xx und alle nicht behandelten Ausnahmen, 4xx nur Beispiele

    API-FehlerbildschirmGruppieren Sie identische Fehler und protokollieren Sie den Verarbeitungsstatus und den Verlauf.

  2. Benutzer-PC-AppMöbelkonfigurator, Verbinder, Plotter

    Sende nur den Fehlerort und das Ziel, ohne den Vorgang zu unterbrechen.

    Bildschirm für lokale App-ProblemeTrends nach Programm, Gruppierung nach Fehlercode und Fortschrittsanzeigen

Tatsächlich durch die Überwachung festgestellte Probleme 6 Fälle

Reaktionszeit am ersten Tag der Aktivierung des Monitorings

Die orange Linie stellt die Datenbank des Auftragsservices dar. Am Abend des Aufzeichnungsbeginns sank die durchschnittliche Antwortzeit unmittelbar nach Behebung der langsamen Abfrage von ca. 0,5 Sekunden auf etwa 0,1 Sekunden.

Übersetzte Referenz · Koreanisches Original ansehen

  1. Am ersten Tag der Aktivierung der Überwachung stellten wir fest, dass die durchschnittliche Antwortzeit der Auftragsdatenbank mit etwa 0,5 Sekunden langsam war und die Abfrage von Trends nach Zeitraum auf der Verwaltungsoberfläche durchschnittlich 4 bis 5 Sekunden dauerte.

    Unmittelbar nach der Korrektur des Suchvorgangs sank die durchschnittliche Datenbank-Antwortzeit auf etwa 0,1 Sekunden. 17 weitere Suchvorgänge mit derselben Ursache wurden auf dieselbe Weise behoben.

  2. Der Bereitstellungswartungs-Task las den Dateispeicher, während eine Datenbanktransaktion geöffnet blieb und die Verbindung über 10 Sekunden lang aufrechterhalten wurde.

    Innerhalb der Verbindung wurden nur DB-Suchen durchgeführt und die Dateiprüfung erfolgte nach dem Schließen der Verbindung.

  3. Zwei gleichzeitig gestartete Rechnungsübertragungen wurden gemeinsam als Fehler erfasst.

    Doppelte Rechnungsübertragungen und damit verbundene Übertragungskonflikte wurden entfernt.

  4. Die Sendeergebnisse für 4 Zustellbenachrichtigungen sind nicht angekommen. Bei der Überprüfung der letzten 120 Tage wurden 65 Nachrichten gefunden, für die keine Ergebnisse empfangen wurden.

    Nachrichten, die nach dem Senden keine Ergebnisse lieferten, müssen jede Minute erneut abgefragt werden, um sie abzugleichen.

  5. Eine Bestellung schlägt seit Anfang September jedes Mal fehl, wenn die gesamte Rechnung versendet wird.

    Geändert, um den Status „abgeschlossen“ durch Vergleich mit bereits registrierten Nummern zu erfassen.

  6. Erneutes Senden der Benachrichtigung über den Auftragsabschluss bei Einzahlung auf ein virtuelles Konto.

    Verhindert, dass bereits während der Bestellung versendete Benachrichtigungen nach der Einzahlung erneut versendet werden.

Zu prüfende Bildschirme im Betrieb

Slack-Standardbericht

Der Status aller Komponenten wird zweimal täglich gemeldet. Benachrichtigungen zu Fehlern und Wiederherstellung sind ebenfalls enthalten. Lieferung läuft.

Übersetzte Referenz · Koreanisches Original ansehen
Verlauf der Reaktionszeit

Vergleichen Sie den Ausreißer mit der anhaltenden Anomalie.

Übersetzte Referenz · Koreanisches Original ansehen
Fehler- und Wiederherstellungsverlauf

Aufzeichnungen vom Beginn des Ausfalls bis zur Wiederherstellung.

Übersetzte Referenz · Koreanisches Original ansehen