Datenabgleich zwischen Systemen mit PHP, ohne gültige Informationen zu überschreiben

Eine Integration kann erfolgreich antworten und dennoch dazu führen, dass Daten in zwei Systemen voneinander abweichen. Eine Anfrage kann ablaufen, nachdem das externe System die Änderung gespeichert hat; ein Ereignis kann verspätet eintreffen; oder eine lokale Aktualisierung kann ein Feld ändern, das auch vom anderen System verwaltet wird. Deshalb ist es neben der Synchronisierung von Ereignissen sinnvoll, Zustände vergleichen und Abweichungen gezielt beheben zu können.

Der Datenabgleich zwischen Systemen mit PHP ist ein regelmäßiger oder bedarfsgesteuerter Prozess, der Unterschiede zwischen zusammengehörigen Datensätzen erkennt, ihre Bedeutung ermittelt und eine Maßnahme vorschlägt oder ausführt. Dabei wird nicht einfach ein System ohne Rücksicht auf Verluste in das andere kopiert. Um gültige Informationen nicht zu verlieren, müssen Sie festlegen, welche Quelle für die jeweiligen Daten maßgeblich ist, Belege für den Vergleich aufbewahren und die Anwendung vor wiederholten oder umfangreichen Korrekturen schützen.

Vor dem Vergleich festlegen, welches System maßgeblich ist

Die maßgebliche Quelle ist nicht immer für eine gesamte Entität dieselbe. Das CRM kann für den Unternehmensnamen und die Kontaktdaten zuständig sein, während das Abrechnungssystem den Zahlungsstatus und die validierte Steuer-ID verwaltet. Wird ein ganzes System ohne Prüfung der einzelnen Felder als maßgeblich bestimmt, kann der Abgleich korrekte Informationen durch eine veraltete oder unvollständige Kopie ersetzen.

Dokumentieren Sie, wem die ausgetauschten Felder zugeordnet sind. Halten Sie für jedes Feld fest, welches System Änderungen daran vornehmen darf, welcher Wert bei einem Konflikt Vorrang hat, ob der Wert null sein darf und welche Transformationen zulässig sind. Außerdem empfiehlt es sich, zwischen bearbeitbaren und abgeleiteten Feldern zu unterscheiden: Eine berechnete Summe muss beispielsweise möglicherweise aus ihren Bestandteilen neu ermittelt werden, statt sie zu kopieren.

• Maßgeblichkeit pro Feld: Legen Sie fest, welches System über den Wert entscheidet und wie vorzugehen ist, wenn beide Systeme Änderungen aufweisen.
• Kombinationsregeln: Bestimmen Sie, ob fehlende Daten ergänzt werden können, ohne vorhandene Werte zu ersetzen.
• Ausnahmen: Kennzeichnen Sie Konflikte, die eine Genehmigung, zusätzliche Validierung oder einen Eingriff des zuständigen Teams erfordern.

Wenn es keine sichere Regel gibt, ist es richtig, den Konflikt zur Prüfung vorzumerken, statt willkürlich den Datensatz mit dem jüngsten Zeitstempel auszuwählen. Die Uhren können voneinander abweichen, und ein Zeitstempel belegt für sich genommen nicht, dass eine Änderung legitim ist.

Den Vergleich reproduzierbar gestalten

Ein aussagekräftiger Vergleich muss denselben Datensatz auf beiden Seiten identifizieren. Verwenden Sie eine stabile gemeinsame ID oder eine explizit gepflegte Zuordnungstabelle. Verlassen Sie sich nicht allein auf Namen, E-Mail-Adressen oder andere Felder, die sich ändern, mehrfach vorkommen oder unterschiedlich normalisiert werden können. Lässt sich keine eindeutige Zuordnung finden, kennzeichnen Sie den Fall als noch nicht verknüpft, statt Datensätze anhand einer ungefähren Übereinstimmung zusammenzuführen.

Vergleichen Sie Werte anhand dokumentierter Regeln normalisiert, beispielsweise hinsichtlich Leerzeichen, Groß- und Kleinschreibung oder Datumsformaten. Bewahren Sie auch den Originalwert auf, denn die Normalisierung für den Vergleich berechtigt nicht dazu, den gespeicherten Wert zu ändern. Achten Sie auf Zeitzonen, Dezimalgenauigkeit, leere Werte und den Unterschied zwischen einem fehlenden Feld und einem vorhandenen Feld mit dem Wert null. Werden diese Zustände gleichbehandelt, können wichtige Änderungen unbemerkt bleiben.

Legen Sie bei großen Datenmengen ein Verarbeitungsfenster und einen Wasserzeichenwert fest, etwa ein Änderungsdatum oder einen Paginierungscursor. Speichern Sie den Fortschritt erst, wenn der Stapel konsistent verarbeitet wurde. Bietet der Anbieter keine zuverlässigen Markierungen, kann eine seltenere vollständige Abfrage oder eine Kombination aus Stichproben und gezieltem Abgleich sicherer sein, als eine inkrementelle Verarbeitung vorzutäuschen, die von der API nicht garantiert wird. Die Strategie hängt von den tatsächlichen Einschränkungen, der Stabilität und den Garantien jedes Systems ab.

Trennen Sie in PHP das Abrufen der Daten vom Vergleich und von der Speicherung der Ergebnisse. Eine Vergleichsfunktion kann beispielsweise zwei normalisierte Darstellungen entgegennehmen und eine Liste typisierter Abweichungen zurückgeben, ohne Remote-Aufrufe auszuführen oder Datensätze zu aktualisieren. Durch diese Trennung lassen sich Regeln anhand kontrollierter Fälle testen und Vorschläge prüfen, bevor Schreibvorgänge aktiviert werden.

Abweichungen klassifizieren und die Reaktion festlegen

Nicht jeder Unterschied weist auf einen Fehler hin, und jede Kategorie erfordert eine eigene Richtlinie. Eine explizite Klassifizierung verbessert die Diagnose und verhindert, dass eine einzige destruktive Regel auf unterschiedliche Situationen angewendet wird.

• Fehlender Datensatz: Der Datensatz existiert in einem System, aber nicht im anderen. Prüfen Sie, ob es sich um eine neue Erstellung, eine legitime Löschung, einen Filter oder einen Paginierungsfehler handelt.
• Duplikat: Mehrere Datensätze scheinen derselben Entität zu entsprechen. Wählen Sie nicht automatisch einen davon aus, wenn es keine überprüfbare Identitätsregel gibt.
• Unvereinbare Änderung: Beide Seiten haben ein Feld geändert, das von beiden verwaltet wird. Wenden Sie eine Zuständigkeitsregel an oder leiten Sie den Konflikt zur Prüfung weiter.
• Ungültige Daten: Der Wert entspricht nicht dem erwarteten Format oder den erwarteten Einschränkungen. Stellen Sie ihn unter Quarantäne und verhindern Sie seine Weitergabe.
• Zeitliche Verzögerung: Der Unterschied kann durch eine verzögerte Zustellung oder Verarbeitung entstanden sein. Versuchen Sie es erneut oder warten Sie ein festgelegtes Zeitfenster ab, bevor Sie einen dauerhaften Konflikt melden.

Trennen Sie drei Schritte: die Erkennung der Abweichung, die Entscheidung über die Maßnahme und die Anwendung der Änderung. Ein Vorschlag kann darin bestehen, ein Feld zu aktualisieren, eine Zuordnung anzulegen, eine Prüfung anzufordern oder nichts zu unternehmen. Durch die Trennung dieser Schritte können Sie zunächst im Nur-Lese-Modus arbeiten und nachvollziehen, was sich geändert hätte, bevor Sie automatische Korrekturen aktivieren.

Änderungen anwenden, ohne neue Schäden zu verursachen

Automatisieren Sie nur Fälle, für die klare und überprüfbare Regeln gelten. Stellen Sie für alle anderen Fälle eine Review-Warteschlange mit der Entitäts-ID, den beobachteten Werten, der anzuwendenden Regel und der vorgeschlagenen Maßnahme bereit. Die Benutzeroberfläche oder der operative Prozess sollte es ermöglichen, den Vorschlag anzunehmen, abzulehnen oder weiterzuleiten. Wenn zutreffend, sollte außerdem dokumentiert werden, wer die Entscheidung getroffen hat.

Gestalten Sie Vorgänge idempotent: Wird dieselbe Abweichung erneut verarbeitet, dürfen dadurch weder Duplikate entstehen noch Werte endlos wechseln. Prüfen Sie vor dem Schreiben, ob sich der Datensatz noch im erwarteten Zustand befindet. Hat er sich seit dem Auslesen geändert, brechen Sie die Aktualisierung ab und führen Sie einen neuen Vergleich durch. Unterstützt die externe API Versionen, bedingte Schreibvorgänge oder Idempotenzschlüssel, nutzen Sie diese; gehen Sie jedoch nicht davon aus, dass sie verfügbar sind, ohne es zu überprüfen.

Begrenzen Sie den Umfang durch kleine Stapel, eine Obergrenze für Änderungen pro Ausführung und Optionen zum Anhalten. Überschreitet eine Korrektur das erwartete Volumen, muss sie angehalten werden oder eine Genehmigung erfordern, statt stillschweigend fortgesetzt zu werden. Dokumentieren Sie bei Änderungen mit großer Auswirkung eine mögliche kompensierende Maßnahme, stellen Sie diese jedoch nicht als garantierte Rückgängigmachung dar: Inzwischen können weitere Änderungen oder externe Effekte eingetreten sein, die sich nicht rückgängig machen lassen.

Jede Ausführung dokumentieren, um sie zu untersuchen und zu wiederholen

Speichern Sie eine Ausführungs-ID, Start- und Endzeit, den verarbeiteten Bereich oder Cursor, die abgefragten Systeme, das Ergebnis pro Kategorie und aufgetretene Fehler. Bewahren Sie für jede Abweichung den Korrelationsschlüssel, relevante Werte oder eine geschützte Darstellung, die ausgewertete Regel, die vorgeschlagene Maßnahme und das Ergebnis ihrer Anwendung auf. So lässt sich erklären, warum eine Entscheidung getroffen wurde, und ein Integrationsfehler von einem tatsächlichen Konflikt unterscheiden.

Schützen Sie die Protokolle: Sie können personenbezogene Daten, indirekte Zugangsdaten oder Geschäftsinformationen enthalten. Speichern Sie keine vollständigen Nutzdaten, wenn einzelne Felder ausreichen, beschränken Sie den Zugriff und legen Sie eine Aufbewahrungsfrist fest. Fügen Sie Verweise auf die Quelldatensätze und den Beobachtungszeitpunkt hinzu, damit Untersuchungen erleichtert werden, ohne das Protokoll zu einer unkontrollierten zweiten Datenbank zu machen.

Wiederholen Sie nur vorübergehende Fehler, mit Begrenzungen und Wartezeiten. Dokumentieren Sie die Wiederholungsversuche und trennen Sie dauerhafte Fehler – etwa ungültige Daten oder unzureichende Berechtigungen –, um Schleifen zu vermeiden, in denen dasselbe Problem immer wieder auftritt. Eine Ausführung muss anhand eines bekannten Kriteriums fortgesetzt werden können und darf nicht davon abhängen, dass der PHP-Prozess unbegrenzt aktiv bleibt.

Checkliste vor der Automatisierung

1. Ist festgelegt, welches System pro Feld maßgeblich ist und wie mit Nullwerten und Löschungen umzugehen ist?
2. Verknüpfen die IDs Datensätze eindeutig, und wird der Umgang mit Duplikaten geregelt?
3. Wurden Paginierung, Verzögerungen, API-Limits, Wiederholungsversuche und gleichzeitige Änderungen getestet?
4. Sind die Abweichungen klassifiziert, und werden Ausnahmen zur Prüfung oder in Quarantäne geleitet?
5. Kann der Vergleich im Nur-Lese-Modus ausgeführt werden und die vorgeschlagenen Maßnahmen anzeigen?
6. Sind Schreibvorgänge idempotent, an den erwarteten Zustand geknüpft und hinsichtlich des Umfangs begrenzt?
7. Werden Entscheidungen und Ergebnisse angemessen protokolliert und durch geeignete Datenschutzmaßnahmen und Zugriffsrechte geschützt?
8. Gibt es Tests mit repräsentativen Daten, darunter Konflikte, leere Werte, Duplikate und Teilausfälle?

Beginnen Sie mit Beobachten und Klassifizieren, nicht mit Korrigieren. Nachdem Sie die Regeln anhand realer Daten validiert und die Vorschläge geprüft haben, aktivieren Sie die Automatisierung nur für Abweichungen mit geringem Risiko. Halten Sie eine Möglichkeit zum Anhalten bereit und überprüfen Sie regelmäßig falsch positive Ergebnisse, ungelöste Fälle und Änderungen an den externen Systemen. So wird der Datenabgleich zu einer wiederholbaren betrieblichen Kontrolle, statt zu einer Synchronisierung, die Konflikte verbirgt, bis jemand ihre Folgen bemerkt.