Massendatenimporte in PHP beginnen häufig mit einer von einem Kunden hochgeladenen CSV-Datei, einem Export eines Lieferanten oder einem Auszug aus einem Altsystem. Das Risiko entsteht, wenn sie als bloßes Einlesen einer Datei mit anschließenden Datenbankeinfügungen behandelt werden. Eine Zeile kann ein gültiges Format haben und dennoch ein Duplikat erzeugen, gegen eine Geschäftsregel verstoßen, aktuelle Informationen überschreiben oder einen externen Effekt zweimal auslösen.
Ein Import muss als operativer Prozess mit einem definierten Zyklus entworfen werden: Empfang, Analyse, Validierung, Vorschau, Bestätigung, Ausführung, Prüfung und Wiederherstellung. Dieser Ansatz ermöglicht es dem Produktteam, nachzuvollziehen, was übernommen wird, dem Betrieb, bei Ausnahmen einzugreifen, und der Technik, die Auswirkungen fehlerhafter Daten zu begrenzen.
Den Import als Geschäftsprozess behandeln
Die Datei ist nicht selbst die Quelle der Wahrheit: Sie ist eine Anfrage, den Zustand der Anwendung zu ändern. Daher empfiehlt es sich, eine Importentität mit einer eigenen Kennung, dem Benutzer oder System, das ihn gestartet hat, Empfangsdatum, Datentyp, Vertragsversion, Datei oder sicherer Referenz darauf, Gesamtstatus und Ergebnisübersicht anzulegen.
Die Gesamtstatus müssen eine bearbeitbare Situation ausdrücken, nicht nur einen Boolean. Zum Beispiel: empfangen, analysiert, Bestätigung ausstehend, in Bearbeitung, abgeschlossen, mit Vorfällen abgeschlossen, angehalten oder abgebrochen. Ein Import mit 9.800 akzeptierten und 200 abgelehnten Zeilen ist nicht zwangsläufig ein Fehlschlag; er kann eine abgeschlossene Ausführung mit Vorfällen sein, wenn die abgelehnten Zeilen isoliert und erläutert sind.
Außerdem muss entschieden werden, welche Folgen zum Import gehören. Das Anlegen einer Bestellung, die Aktualisierung eines Katalogs oder das Erfassen von Kontakten kann Berechnungen, Auditierung oder Benachrichtigungen erfordern. Die Hauptpersistenz von Nebeneffekten zu trennen, verringert das Risiko, dass ein Wiederholungsversuch wiederholte Nachrichten sendet oder Integrationen unkontrolliert ausführt.
Einen Eingabevertrag definieren, bevor Dateien akzeptiert werden
Der Importvertrag legt fest, was erwartet wird und wie es interpretiert wird. Er muss zulässiges Format, Kodierung, Trennzeichen, Kopfzeilen, Datentypen, Pflichtfelder, Datumsformat, Normalisierungsregeln, Größenlimits und die maximale Zeilenzahl enthalten. Wenn Tabellenkalkulationen akzeptiert werden, müssen auch das relevante Tabellenblatt und der Umgang mit leeren Zellen, Formeln und automatisch konvertierten Werten definiert werden.
Die Felder, die Quelle und Ziel verbinden, verdienen besondere Aufmerksamkeit. Eine stabile externe Kennung, etwa der Kundencode im Quellsystem, ist der Verwendung der Zeilennummer oder eines Namens als Referenz vorzuziehen. Es muss geklärt werden, ob diese Kennung einen Datensatz anlegt, einen bestehenden aktualisiert oder ob beide Vorgänge erlaubt sind.
Validierungsschichten trennen
Die strukturelle Validierung beantwortet mechanische Fragen: Kann die Datei gelesen werden? Sind die erforderlichen Spalten vorhanden? Hat das Datum ein zulässiges Format? Ist der Betrag numerisch? Hält die Zeile das Längenlimit ein? Diese Schicht muss frühzeitig Probleme erkennen, die die Interpretation der Daten verhindern.
Die Domänenvalidierung wendet Geschäftsregeln an: Ein Status kann unzulässig sein, ein Austrittsdatum darf nicht vor dem Eintrittsdatum liegen, ein Prozentsatz muss innerhalb seines Bereichs bleiben oder eine Kombination von Feldern kann inkompatibel sein. Abschließend prüfen Abgleiche mit bestehenden Daten Referenzen, Berechtigungen, Eindeutigkeit und zulässige Übergänge. Beispielsweise, ob ein Lieferantencode existiert, ob der Benutzer für diese Organisation tätig werden darf oder ob ein Datensatz nicht gesperrt ist.
Diese Trennung verbessert Meldungen und Diagnose. Es ist nicht dasselbe, über eine fehlende Spalte, eine nicht vorhandene Referenz oder eine nicht autorisierte Änderung zu informieren. Außerdem müssen die Domänenregeln sowohl von der Anwendung als auch vom Importer wiederverwendet werden, damit der Import nicht zu einer Abkürzung wird, die normale Kontrollen umgeht.
Änderungen in der Vorschau anzeigen und eine ausdrückliche Absicht bestätigen
Die Vorschau darf keine exakte Ausführung versprechen, wenn sich die Daten zwischen Analyse und Bestätigung ändern können, muss aber eine überprüfbare Schätzung bieten. Zeigen Sie die Gesamtzahl der gelesenen Zeilen, gültige Zeilen, Zeilen mit Warnungen, abgelehnte Zeilen, geplante Neuanlagen, geplante Aktualisierungen und Datensätze, die unverändert bleiben.
Warnungen dienen Fällen, die Aufmerksamkeit erfordern, aber eine Zeile nicht automatisch ungültig machen: etwa eine normalisierte Telefonnummer, eine nach einer bekannten Regel gekürzte Beschreibung oder ein leeres optionales Feld. Warnungen dürfen Ablehnungen nicht verbergen. Jedes Ergebnis benötigt einen stabilen Code, eine verständliche Meldung und, wenn sicher, den empfangenen sowie den normalisierten Wert.
Die Bestätigung muss einer konkreten Version der Analyse zugeordnet sein. Wenn der Benutzer die Datei ersetzt, Zeilen in einer Oberfläche korrigiert oder relevante Parameter ändert, muss das System die vorherige Vorschau ungültig machen und eine neue Analyse verlangen. Dadurch wird verhindert, dass eine Zusammenfassung bestätigt wird, die den tatsächlichen Import nicht mehr darstellt.
In Batches ohne mehrdeutige Status verarbeiten
Alle Zeilen innerhalb einer einzigen Transaktion zu verarbeiten scheint sicher, kann aber Sperren zu lange halten, Ausführungslimits überschreiten oder einen punktuellen Fehler in ein kostspieliges Rollback verwandeln. Dagegen kann die Verarbeitung einer Zeile pro Transaktion zu viel Overhead erzeugen und die Koordinierung zusammenhängender Vorgänge erschweren.
Die Arbeitseinheit muss nach der Abhängigkeit zwischen Datensätzen, dem Volumen und den Kosten einer Rückabwicklung gewählt werden. In vielen Fällen ermöglicht ein kleiner, abgegrenzter Batch, Änderungen schrittweise zu bestätigen. Jeder Batch muss Start, Abschluss, Anzahl verarbeiteter Zeilen und Ergebnis erfassen. Der Worker muss wiederaufnehmbar sein, ohne von einer offenen HTTP-Sitzung abzuhängen: Der Import wird über die Oberfläche bestätigt, aber als Hintergrundaufgabe ausgeführt.
Vermeiden Sie es, vollständige Dateien im Speicher zu halten. Lesen Sie sequenziell, normalisieren Sie jede Zeile und speichern Sie bei Bedarf eine Arbeitsrepräsentation oder ein Validierungsergebnis, um zu auditieren und wiederaufzunehmen. Erzwingen Sie Limits für Größe, Zeilen, Zeit und Parallelität. Eine unerwartet große Datei darf nicht die Ressourcen blockieren, die den täglichen Betrieb bedienen.
für jeden ausstehenden Batch:
Batch als in_bearbeitung markieren
für jede Zeile des Batches:
ausstehende Validierungen anwenden
persistieren oder in Quarantäne verschieben
Ergebnis je Zeile erfassen
Batch bestätigen
Batch als abgeschlossen markierenWird ein Worker unterbrochen, reicht es nicht aus, den Batch blind erneut auszuführen. Es wird ein Sperrmechanismus mit Ablauf oder Wiederherstellung benötigt, und der Status je Zeile muss ermöglichen, Ausstehendes von bereits Bestätigtem zu unterscheiden.
Fehler in Quarantäne isolieren und Nachweise bewahren
Die Quarantäne ermöglicht, dass ungültige Zeilen die korrekten nicht blockieren, ohne aus dem Prozess zu verschwinden. Eine Zeile in Quarantäne muss die Nummer oder Kennung der Quelle, die empfangenen Daten unter Zugriffskontrollen, gegebenenfalls die normalisierten Daten, Fehlercodes, den Zeitpunkt der Erkennung und den Prüfstatus bewahren.
Nicht alle Fehler werden gleich behandelt. Eine Datei ohne erforderliche Kopfzeile ist ein Dateifehler und kann die gesamte Analyse anhalten. Eine Referenz auf einen nicht vorhandenen Lieferanten kann eine Zeilenablehnung sein. Ein temporärer Ausfall der Datenbank oder einer Integration ist ein wiederholbarer technischer Fehler und darf nicht als Datenmangel gekennzeichnet werden.
Die Betriebsoberfläche muss das Filtern nach Grund, den Export nur autorisierter Vorfälle und das Verständnis der erwarteten Korrektur ermöglichen. Korrekturen innerhalb der Anwendung können bei wenigen Fällen nützlich sein; bei vielen Datensätzen ist es meist besser kontrollierbar, die Vorfälle herunterzuladen, sie an der Quelle zu korrigieren und einen neuen Import einzureichen. Bewahren Sie in beiden Fällen die Historie: Das Ändern einer Zeile in Quarantäne darf weder den ursprünglichen Wert noch den ursprünglichen Grund löschen.
Idempotenz gewährleisten und Duplikate vermeiden
Idempotenz bedeutet, dass die Wiederholung eines Vorgangs mit derselben Absicht das Ergebnis nicht mehr als einmal verändert. Sie ist unerlässlich, weil Wiederholungsversuche auftreten: Ein Timeout läuft ab, ein Prozess wird neu gestartet oder ein Operator bestätigt bei einer unsicheren Antwort erneut.
Ein Idempotenzschlüssel kann aus dem Importtyp, der Zielorganisation und einer stabilen externen Kennung gebildet werden. Er muss durch Eindeutigkeitsbeschränkungen in der Datenbank abgesichert werden, wenn das Modell dies zulässt; zuerst zu prüfen und dann einzufügen beseitigt Race Conditions zwischen gleichzeitig laufenden Workern nicht.
Definieren Sie für Aktualisierungen eine ausdrückliche Richtlinie: Felder ersetzen, nur nicht leere Werte anwenden, Konflikte ablehnen oder eine erwartete Version des Datensatzes verlangen. Die letzte Option hilft zu erkennen, dass ein Benutzer die Daten nach der Vorschau geändert hat. Verwenden Sie keinen Dateifingerprint als einzigen Mechanismus: Derselbe Inhalt kann eine andere Absicht darstellen, und eine korrigierte Datei kann viele bereits verarbeitete Zeilen enthalten.
Nachverfolgbarkeit, Wiederholungsversuche und selektive Wiederherstellung
Das Ergebnis je Zeile ist der zentrale Baustein für Support und Wiederherstellung. Erfassen Sie einen Status wie ausstehend, verarbeitet, abgelehnt, in Quarantäne, Wiederholung ausstehend oder übersprungen; die externe Kennung; den Batch; Grundcodes; Zeitstempel; und eine Referenz auf den angelegten oder aktualisierten Datensatz. Schützen Sie personenbezogene Daten und Geheimnisse: Die Nachverfolgbarkeit muss für Untersuchungen ausreichen, nicht eine wahllose Kopie sensibler Informationen in Logs sein.
Wiederholungsversuche müssen selektiv sein. Wiederholen Sie vorübergehende technische Fehler automatisch mit Limits und progressiver Wartezeit; wiederholen Sie eine verletzte Domänenregel nicht unbegrenzt. Wenn eine fehlende Referenz oder ungültige Daten korrigiert werden, verarbeiten Sie nur die betreffenden Zeilen in Quarantäne erneut. Wenn ein Batch fehlschlägt, setzen Sie bei den ausstehenden Zeilen fort und verwenden Sie die bereits verarbeiteten als Nachweis des Fortschritts.
Testen Sie vor der Produktivsetzung des Ablaufs leere Dateien, veränderte Kopfzeilen, unerwartete Kodierungen, Duplikate innerhalb derselben Datei, Duplikate gegenüber der Datenbank, Unterbrechungen zwischen Batches, Wiederaufnahmen und unzureichende Berechtigungen. Massendatenimporte in PHP sind zuverlässig, wenn ihr Verhalten bei Fehlern mit derselben Präzision entworfen wird wie ihr erfolgreicher Ablauf.
