How to Clean Messy CSV Data (A Practical Checklist)

Letzten Dienstag habe ich beobachtet, wie eine Junior-Analystin vier Stunden damit verbrachte, eine CSV-Datei manuell zu korrigieren, was eigentlich nur zwanzig Minuten hätte dauern sollen. Sie kopierte und fügte Zellen einzeln ein und versuchte, Datumsformate zu reparieren, die aus drei verschiedenen Systemen exportiert worden waren. Als sie fertig war, hatte sie glanzlose Augen, und die Datei wies immer noch Inkonsistenzen auf, die sie übersehen hatte. Ich bin seit zwölf Jahren Dateningenieur und sehe dieses Szenario ständig – kluge Menschen verschwenden ganze Nachmittage mit durcheinandergebrachten CSV-Dateien, weil sie keinen systematischen Ansatz haben.

Die Wahrheit ist, CSV-Dateien sind gleichzeitig das universellste und problematischste Datenformat, das es gibt. Jedes System kann sie exportieren, jedes Werkzeug kann sie importieren, und doch sind sie ein Minenfeld voller Kodierungsprobleme, Verwirrungen mit Trennzeichen und strukturellen Inkonsistenzen. Laut einer Umfrage des Data Quality Institute aus dem Jahr 2023 verbringen Datenprofis durchschnittlich 19,2 Stunden pro Woche mit Datenbereinigung, wobei die Arbeit mit CSVs etwa 40 % dieser Zeit ausmacht. Das sind fast acht Stunden jede Woche – ein ganzer Arbeitstag – verloren, um vermeidbare Probleme zu beheben.

Ich bin Marcus Chen, und ich habe das letzte Jahrzehnt damit verbracht, Datenpipelines für Unternehmen von kleinen Startups bis zu Fortune 500-Unternehmen zu entwickeln. Ich habe Milliarden von Zeilen CSV-Daten verarbeitet und jede denkbare Art gesehen, wie diese Dateien kaputtgehen können. Was ich gelernt habe, ist, dass die Bereinigung von durcheinandergebrachten CSV-Daten nicht darum geht, clever zu sein – es geht darum, systematisch zu sein. Sie benötigen eine Checkliste, einen wiederholbaren Prozess, der Probleme erkennt, bevor sie in Ihre Analyse oder Datenbank eindringen. Dieser Artikel ist diese Checkliste, destilliert aus Tausenden von Stunden realer Datenaufbereitung.

Verstehen, warum CSV-Dateien so problematisch sind

Bevor wir in den Bereinigungsprozess eintauchen, müssen Sie verstehen, warum CSV-Dateien so viele Kopfschmerzen verursachen. Das Format scheint irreführend einfach: Werte durch Kommas getrennt, eine Zeile pro Linie. Aber diese Einfachheit ist genau das Problem. Im Gegensatz zu strukturierten Formaten wie JSON oder XML gibt es für CSV keine formale Spezifikation, an die sich jeder hält. Der RFC 4180 Standard existiert, ist aber eher eine Empfehlung als eine Regel, und die meisten Systeme ignorieren ihn vollständig.

Ich erhielt einmal eine CSV-Datei von einem veralteten Buchhaltungssystem eines Kunden, das Semikolons als Trennzeichen verwendete, Kommas in numerischen Werten (wie "1,234.56") hatte, sowohl einfache als auch doppelte Anführungszeichen für die Textqualifizierung verwendete und gemischte Windows- und Unix-Zeilenenden in derselben Datei hatte. Ich brauchte drei Stunden, nur um sie korrekt zu parsen, und das mit professionellen Werkzeugen. Die Datei hatte in ihrem System jahrelang "ganz gut funktioniert", weil ihre Software eine benutzerdefinierte Logik hatte, um all diese Eigenheiten zu handhaben.

Die Hauptprobleme mit CSV-Dateien fallen in mehrere Kategorien. Zuerst gibt es das Trennzeichenproblem – Kommas sind in Daten häufig, daher verwenden Systeme Tabs, Pipes, Semikolons oder andere Zeichen, aber sie sagen Ihnen nicht immer, welches. Zweitens gibt es die Textqualifizierung – wann benötigen Sie Anführungszeichen um Werte, und was passiert, wenn Ihre Daten Anführungszeichen enthalten? Drittens gibt es die Kodierung – ist es UTF-8, Latin-1, Windows-1252 oder etwas ganz anderes? Falsch zu sein bedeutet, dass Sie Müllzeichen sehen, wo akzentuierte Buchstaben sein sollten.

Dann gibt es die strukturellen Probleme. CSV-Dateien haben keine eingebaute Möglichkeit, Datentypen darzustellen, sodass alles Text ist, bis Sie es parsen. Ein Datum könnte "2024-01-15", "01/15/2024", "15-Jan-24" oder "15. Januar 2024" sein – und manchmal erscheinen alle vier Formate in derselben Spalte, weil verschiedene Benutzer Daten unterschiedlich eingegeben haben. Zahlen könnten Währungssymbole, Prozentzeichen oder Tausendertrennzeichen haben. Boolesche Werte könnten "true/false", "yes/no", "1/0", "Y/N" oder jede Kombination davon sein.

Das Schlimmste ist, dass viele CSV-Probleme still sind. Ihr Importwerkzeug könnte ohne Fehler erfolgreich sein, aber Ihre Daten sind subtil korrumpiert. Ich habe Fälle gesehen, in denen führende Nullen von Produktcodes entfernt wurden, wodurch "00123" in "123" umgewandelt wurde und Inventarsysteme kaputt gingen. Ich habe gesehen, dass Datumsangaben fälschlicherweise interpretiert wurden, weil das System MM/DD/YYYY annahm, während die Datei DD/MM/YYYY verwendete, was dazu führte, dass Bestellungen für unmögliche Daten wie den 31. Februar geplant wurden. Diese Fehler treten nicht offen auf – sie lauern in Ihren Daten, bis jemand bemerkt, dass die Zahlen nicht stimmen.

Schritt Eins: Überprüfen, bevor Sie importieren

Der größte Fehler, den Menschen mit CSV-Dateien machen, ist, sie direkt in Excel zu öffnen oder sie sofort in eine Datenbank zu importieren. Machen Sie das nicht. Ihr erster Schritt sollte immer eine Überprüfung mit einem Texteditor oder einem Kommandozeilenwerkzeug sein. Ich benutze eine Kombination aus head, tail und wc -l auf Unix-Systemen oder einen Programmier-Texteditor wie VS Code oder Sublime Text, der große Dateien ohne Probleme handhaben kann.

"CSV-Dateien sind die Kakerlaken der Datenformate – sie überstehen alles, funktionieren überall und verursachen Probleme, die Sie nie erwartet haben."

Beginnen Sie damit, die ersten 20-30 Zeilen der Datei zu betrachten. Das gibt Ihnen Auskunft über das Trennzeichen, ob es eine Kopfzeile gibt und wie die allgemeine Struktur aussieht. Aber stoppen Sie nicht dort – sehen Sie sich auch die letzten 20-30 Zeilen an. Ich kann nicht zählen, wie oft ich festgestellt habe, dass eine Datei sauber beginnt, aber am Ende mit Müll endet: teilweise Zeilen, Fehlermeldungen aus dem Exportprozess oder Zusammenfassungsstatistiken, die jemand hilfsbereit an die Daten angefügt hat. Das ERP-System eines Kunden hat am Ende jedes Exports einen Fußzeile hinzugefügt mit "Gesamtanzahl der Datensätze: 45.892", die jeden naiven Importprozess zum Absturz gebracht hätte.

Überprüfen Sie die Zeilenanzahl mit wc -l filename.csv und vergleichen Sie sie mit dem, was Sie erwarten. Wenn die Datei 10.000 Datensätze plus eine Kopfzeile haben sollte, sollten Sie 10.001 Zeilen sehen. Wenn Sie 10.247 Zeilen sehen, stimmt etwas nicht – wahrscheinlich sind eingebettete Zeilenumbrüche in Textfeldern vorhanden. Dies ist äußerst häufig bei CSV-Dateien, die benutzergenerierte Inhalte wie Kommentare oder Beschreibungen enthalten. Jemand schreibt "Dieses Produkt ist großartig\nSehr zu empfehlen" und plötzlich haben Sie einen Zeilenumbruch mitten in einer Zeile.

Werfen Sie einen Blick auf das Trennzeichen, indem Sie die ersten paar Zeilen untersuchen. Zählen Sie die Kommas, Tabs, Pipes oder Semikolons in jeder Zeile. Sie sollten konsistent sein. Wenn die erste Zeile 12 Kommas und die zweite 15 hat, haben Sie ein Problem – entweder ist das Trennzeichen falsch, oder Sie haben unqualifizierte Textfelder, die das Trennzeichen enthalten. Ich habe einmal eine Stunde damit verbracht, eine Datei zu debuggen, bevor ich bemerkte, dass sie das Pipe-Zeichen (|) als Trennzeichen verwendete, was in meiner Terminal-Schriftart kaum sichtbar war.

Überprüfen Sie die Kodierung, indem Sie nach nicht-ASCII-Zeichen suchen. Wenn Sie seltsame Symbole wie ’ anstelle von Apostrophen oder é anstelle von é sehen, haben Sie ein Kodierungsproblem. Die Datei ist wahrscheinlich UTF-8, wird aber als Latin-1 gelesen, oder umgekehrt. Verwenden Sie ein Werkzeug wie file -i filename.csv auf Unix, um die Kodierung zu erkennen, oder verwenden Sie die Kodierungserkennungsfunktion Ihres Texteditors. Dies bereits früh falsch zu machen, bedeutet, dass jedes Textfeld in Ihren Daten beschädigt sein wird.

Schritt Zwei: Die Struktur validieren

Sobald Sie die Datei manuell überprüft haben, besteht der nächste Schritt darin, die Struktur zu validieren. Jede Zeile sollte die gleiche Anzahl von Feldern haben, und diese Zahl sollte mit Ihrer Kopfzeile übereinstimmen. Das klingt offensichtlich, aber es wird in der realen Datenwelt ständig verletzt. Ich benutze Python mit dem CSV-Modul oder Pandas, um diese Validierung programmgesteuert durchzuführen, da es unmöglich ist, Tausende von Zeilen mit dem Auge zu überprüfen.

Hier ist ein einfaches Python-Skript, das ich auf jede CSV-Datei anwende, die ich erhalte: Es zählt die Felder in jeder Zeile und meldet alle, die nicht mit der Kopfzeile übereinstimmen. In einem kürzlichen Projekt hat dieses Skript ergeben, dass 347 von 50.000 Zeilen zusätzliche Felder hatten, weil der Exportprozess einen Bug hatte, der die letzte Spalte unter bestimmten Bedingungen duplizierte. Ohne diese Überprüfung wären diese Zeilen während des Imports stillschweigend beschädigt worden, wobei die zusätzlichen Daten entweder abgeschnitten oder in die falschen Spalten gedrückt worden wären.

Achten Sie besonders auf zitierte Felder. CSV verwendet Zitate, um Trennzeichen und Zeilenumbrüche innerhalb von Feldwerten zuzulassen, aber die Zitiervorschriften sind komplex und oft falsch umgesetzt. Ein Feld wie "Smith, John" ist ordnungsgemäß zitiert, aber wie sieht es mit "Er sagte "Hallo" zu mir" aus? Das korrekte Format ist "Er sagte ""Hallo"" zu mir" mit doppelten Anführungszeichen, aber viele Systeme machen dies falsch und erzeugen "Er sagte "Hallo" zu mir", was das Parsen bricht.

Überprüfen Sie auf leere Zeilen, die oft am Ende von Dateien oder zwischen Datenabschnitten erscheinen. Diese sollten