Datenbereinigung-Tool: 7 Lösungen für Adressen im Vergleich

Die Suche nach einem Datenbereinigung-Tool endet für die meisten Teams in einer Software-Demo, die genau das zeigt, was ohnehin schon funktioniert: Leerzeichen entfernen, Groß- und Kleinschreibung vereinheitlichen, offensichtliche Doppeleinträge löschen. Sechs Wochen und eine Lizenzunterschrift später gehen beim nächsten Mailing trotzdem 200 Briefe doppelt raus, weil das Werkzeug „Müller" und „Mueller" für zwei verschiedene Personen hält.

Der Grund ist selten mangelnde Qualität der Software. Es ist eine Begriffsverwirrung: Unter „Datenbereinigung" verstecken sich vier völlig unterschiedliche Arbeitsschritte, und kaum ein Werkzeug beherrscht alle vier. Wer nicht vorher festlegt, welchen der vier Schritte er tatsächlich braucht, kauft mit hoher Wahrscheinlichkeit an seinem Problem vorbei.

Dieser Vergleich nimmt sieben konkrete Ansätze auseinander, von den Excel-Bordmitteln bis zur lokalen Desktop-Software. Alle sieben bearbeiten dieselben acht Beispielzeilen, sodass sichtbar wird, wer was findet. Dazu gibt es eine Dreijahresrechnung, in der die Arbeitszeit mitgezählt wird, und ein Testprotokoll, mit dem Sie jedes Werkzeug in 30 Minuten an Ihren eigenen Daten prüfen können.

Vier Aufgaben verstecken sich hinter einem Begriff

Bevor Sie ein Datenbereinigung-Tool bewerten können, müssen Sie wissen, welche Arbeit es leisten soll. Bei Adressdaten sind es vier Aufgaben, die technisch nichts miteinander zu tun haben.

Aufgabe	Was dabei passiert	Woran Sie merken, dass sie fehlt
Normalisierung	„Hauptstr." wird zu „Hauptstraße", Titel und Zusätze wandern in eigene Felder	Dieselbe Adresse steht in fünf Schreibweisen in der Liste
Validierung	PLZ, Ort und Format werden gegen ein Verzeichnis geprüft	Rückläufer mit dem Stempel „Anschrift unvollständig"
Dublettenerkennung	Datensätze, die dieselbe Person meinen, werden gruppiert	Kunden beschweren sich über doppelte Post
Haushaltsbildung	Mehrere Personen unter einer Anschrift werden zu einer Sendung	Drei Briefe an dieselbe Familie, drei Mal Porto

Die Reihenfolge ist keine Geschmacksfrage. Wer Dubletten sucht, bevor er normalisiert hat, findet einen Bruchteil davon, weil „Hauptstr. 12" und „Hauptstraße 12" für jeden Vergleichsalgorithmus zwei verschiedene Zeichenketten sind. Ein Werkzeug, das nur Schritt 3 anbietet, arbeitet auf schlechtem Fundament.

Prüfen Sie Ihre eigene Situation an einem einzigen Indikator: der Rückläuferquote des letzten Mailings. Über 2 Prozent deuten auf fehlende Validierung, Beschwerden über Doppelpost auf fehlende Dublettenerkennung, und wenn Ihre Liste mehr Personen als Haushalte enthält, fehlt Schritt 4.

Die sieben Ansätze im Überblick

Der Markt sieht unübersichtlich aus, lässt sich aber auf sieben Ansätze reduzieren. Die Preise beziehen sich auf eine Liste mit rund 12.000 Adressen.

Ansatz	Fuzzy-Dubletten	PLZ-Validierung	Haushalte	Daten bleiben lokal	Einstiegskosten	Wer es bedient
Excel Bordmittel	nein	nein	nein	ja	0 EUR	jeder
Power Query (Fuzzy-Gruppierung)	spaltenweise	nein	nein	ja	0 EUR	Excel-Fortgeschrittene
OpenRefine	ja, phonetisch	nein	nein	ja	0 EUR	technikaffin
Python (pandas, recordlinkage)	ja, frei konfigurierbar	mit eigener Datenbasis	selbst zu bauen	ja	0 EUR	Entwickler
Dublettenprüfung im CRM	teilweise	teilweise	selten	je nach CRM	im Abo enthalten	Anwender
Cloud-Datenqualitätsplattform	ja	ja, Referenzdaten	ja	nein	ab 200 EUR/Monat	Fachabteilung
Offline-Desktop-Software	ja	ja, lokale Datenbank	ja	ja	ab 69 EUR	Anwender

Zwei Zeilen verdienen einen Kommentar, weil sie regelmäßig falsch eingeschätzt werden.

OpenRefine ist kostenlos und unterschätzt. Das Werkzeug bringt unter „Cluster & Edit" fünf Verfahren mit, darunter die Kölner Phonetik. Sie codiert deutsche Namen nach Aussprache, wodurch „Müller" und „Mueller" denselben Schlüssel 657 erhalten und automatisch im gleichen Cluster landen. Für die Umlautproblematik im Deutschen ist das die eleganteste kostenlose Lösung, die es gibt.

Die Dublettenprüfung im CRM wird überschätzt. HubSpot, Salesforce und Dynamics prüfen bei der Neuanlage gegen bestehende Datensätze, meist über E-Mail-Adresse und Firmenname. Für Postadressen greift das kaum: Zwei Familienmitglieder unter derselben Anschrift sind aus CRM-Sicht korrekt zwei Kontakte, für den Briefversand aber eine Sendung.

Der Praxistest: dieselben acht Zeilen, sieben Ergebnisse

Die folgende Ausgangsliste enthält bewusst die Fehlertypen, die in echten Adresslisten den größten Schaden anrichten.

Ausgangsliste (Auszug):
1  Dr. Thomas Müller    | Hauptstr. 12    | 70173 | Stuttgart
2  Thomas Mueller       | Hauptstraße 12  | 70173 | Stuttgart
3  Th. Müller-Bauer     | Hauptstr. 12a   | 70173 | Stuttgart
4  Sabine Mayer         | Bergstr. 7      | 88131 | Lindau
5  S. Mayer-Klein       | Bergstraße 7    | 88131 | Lindau
6  Yilmaz Öztürk        | Lindenallee 9   | 80331 | Berlin      <- PLZ gehört zu München
7  Fam. Oeztuerk        | Lindenallee 9   | 80331 | München
8  Andrea Schmid        | Seestr. 3       | 8131  | Lindau      <- vierstellige PLZ

Enthalten sind: eine Umlautvariante (1/2), eine Namenserweiterung durch Heirat (4/5), eine phonetische Umschrift (6/7), zwei Straßenabkürzungen, ein PLZ-Ort-Widerspruch (6) und ein Formatfehler (8). Zeilen 6 und 7 sind zusätzlich derselbe Haushalt.

Excel „Duplikate entfernen": null Treffer. Die Funktion vergleicht buchstabengenau, und keine zwei Zeilen sind identisch. Auch der klassische ZÄHLENWENN-Abgleich ändert daran nichts. Warum das bei Adressen strukturell so ist, steht ausführlich in unserem Beitrag zu Excel-Duplikaten bei Adressen.

Power Query, Fuzzy-Gruppierung mit Schwellenwert 0,8: findet 1 und 2, weil sich „Thomas Müller" und „Thomas Mueller" nur in zwei Zeichen unterscheiden. Bei 4 und 5 steigt es aus, da „S. Mayer-Klein" zu wenig Übereinstimmung mit „Sabine Mayer" hat. Die Straßenvarianten löst Power Query nur, wenn Sie eine eigene Übersetzungstabelle („Str." zu „Straße") hinterlegen. Der Vergleich läuft spaltenweise, ein Gesamturteil über den Datensatz gibt es nicht.

OpenRefine mit Kölner Phonetik: findet 1 und 2 sowie 6 und 7, weil beide Namenspaare auf denselben phonetischen Code fallen. Voraussetzung ist, dass Sie vorher eine kombinierte Spalte aus Name, Straße und PLZ bauen, denn geclustert wird immer nur eine Spalte. Die PLZ-Fehler in Zeile 6 und 8 bleiben unentdeckt, weil OpenRefine kein Postleitzahlverzeichnis kennt.

Python mit pandas und recordlinkage: findet bei sorgfältiger Konfiguration alle Paare, inklusive der Haushaltsgruppe. Der Aufwand liegt bei etwa 40 Zeilen Code plus einer Blocking-Strategie, damit nicht 12.000 mal 12.000 Vergleiche gerechnet werden. Das Ergebnis ist das beste, das Sie kostenlos bekommen, hängt aber an genau einer Person im Unternehmen.

Cloud-Datenqualitätsplattform: findet alle Dubletten und korrigiert zusätzlich Zeile 6 und 8, weil gegen Referenzdaten der Post abgeglichen wird. Preis dafür ist der Upload von 12.000 personenbezogenen Datensätzen an einen externen Dienstleister.

Offline-Desktop-Software mit mehreren Algorithmen: findet die Paare 1/2, 4/5 und 6/7, markiert 3 als unsicheren Fall zur manuellen Prüfung, gruppiert 6 und 7 als Haushalt und meldet die PLZ-Probleme in Zeile 6 und 8 gegen eine lokale Datenbank. Wie die Algorithmen dabei zusammenspielen, erklärt der Beitrag zum Fuzzy Matching bei Adressen.

Wo auch das beste Werkzeug aussteigt

Drei Fehlerarten kann kein Datenbereinigung-Tool aus Ihrer Liste herauslesen, weil die nötige Information nicht in den Daten steckt.

Umzüge sind der größte Posten. Etwa 8 Prozent der deutschen Privatadressen veralten pro Jahr, und ob jemand umgezogen ist, weiß Ihre Datei nicht. Dafür braucht es einen Abgleich mit einer Umzugsdatenbank, den nur Dienstleister mit entsprechenden Datenlieferungen anbieten. Dasselbe gilt für Verstorbenendaten. Und ob „Thomas Müller, Hauptstr. 12" und „Th. Müller-Bauer, Hauptstr. 12a" derselbe Mensch oder Vater und Sohn im Nachbarhaus sind, entscheidet am Ende ein Mensch. Ein gutes Werkzeug erkennt man daran, dass es solche Fälle als unsicher markiert statt sie stillschweigend zusammenzuführen.

Dreijahreskosten: die Lizenz ist der kleinere Posten

Softwarevergleiche stellen Lizenzpreise gegenüber und übersehen dabei die zwei größeren Kostenblöcke: die Arbeitszeit pro Durchlauf und das Porto für Dubletten, die unentdeckt bleiben.

Die Rechnung basiert auf einer Liste mit 12.000 Adressen, vier Dialogpost-Mailings pro Jahr und einem internen Stundensatz von 45 EUR. Pro Sendung fallen 0,38 EUR Porto und 0,15 EUR Druck an, also 0,53 EUR. Eine unerkannte Dublette kostet über zwölf Mailings in drei Jahren damit 6,36 EUR.

Ansatz	Lizenz 3 Jahre	Arbeitszeit 3 Jahre	Arbeitszeit in EUR	Unerkannte Dubletten	Porto dafür	Gesamt
Excel Bordmittel	0 EUR	42 h	1.890 EUR	4,0 % (480)	3.053 EUR	4.943 EUR
Power Query	0 EUR	30 h	1.350 EUR	2,5 % (300)	1.908 EUR	3.258 EUR
OpenRefine	0 EUR	30 h	1.350 EUR	1,5 % (180)	1.145 EUR	2.495 EUR
Python (Eigenbau)	0 EUR	26 h	1.170 EUR	0,5 % (60)	382 EUR	1.552 EUR
Cloud-Plattform	7.200 EUR	12 h	540 EUR	0,5 % (60)	382 EUR	8.122 EUR
Desktop-Software	2.370 EUR	9 h	405 EUR	0,5 % (60)	382 EUR	3.157 EUR

Das Ergebnis widerspricht der Intuition an zwei Stellen. Erstens ist Excel die teuerste der kostenlosen Varianten, weil 3,5 Stunden Handarbeit pro Durchlauf und die schlechteste Trefferquote zusammenfallen. Zweitens gewinnt der Python-Eigenbau die Rechnung deutlich, und das ist ehrlicherweise so.

Der Haken beim Eigenbau steht nicht in der Tabelle. Das Skript kennt eine Person, und wenn diese Person das Unternehmen wechselt, fällt der Prozess aus. Dazu kommt, dass die 26 Stunden nur die Entwicklung abdecken, nicht die Pflege bei neuen Datenquellen oder Spaltenformaten. Wer diese Abhängigkeit nicht tragen will, zahlt mit der Desktop-Lizenz rund 1.600 EUR über drei Jahre für ein Werkzeug, das jeder im Team bedienen kann.

Die Cloud-Plattform ist bei dieser Listengröße klar überdimensioniert. Ihr Vorteil greift erst ab etwa 50.000 Adressen mit laufenden Importen, wo die API-Anbindung die Handarbeit vollständig ersetzt. Die weiteren Auswahlkriterien für diesen Fall behandelt der Beitrag zur Adressabgleich-Software.

Das 30-Minuten-Testprotokoll für Ihre eigenen Daten

Jeder Anbieter zeigt in der Demo Daten, die zu seinem Werkzeug passen. Verlässlich ist nur ein Test mit Ihren Adressen und mit Fällen, deren richtige Antwort Sie vorher kennen. Das Verfahren dauert eine halbe Stunde und funktioniert bei jedem Kandidaten gleich.

Schritt 1  Zufallsstichprobe von 1.000 Adressen aus der echten Liste ziehen.

Schritt 2  20 Testfälle einbauen, deren Lösung Sie kennen:
           5x Umlaut-Variante      (Öztürk / Oeztuerk)
           4x Straßenabkürzung     (Hauptstr. 12 / Hauptstraße 12)
           3x Namenserweiterung    (Mayer / Mayer-Klein)
           3x Titel weggelassen    (Dr. Weber / Weber)
           3x Haushalt             (2 Personen, 1 Anschrift)
           2x Zahlendreher in PLZ  (70173 / 71073)

Schritt 3  Datei durch das Werkzeug laufen lassen, Standardeinstellungen.

Schritt 4  Zwei Zahlen ablesen:
           Trefferquote  = gefundene Testfälle / 20
           Fehlalarme    = falsch zusammengeführte Paare im Ergebnis

Bewertung: unter 15 von 20 Treffern taugt das Werkzeug nicht für Adressen.
           Mehr als 2 Fehlalarme sind gefährlicher als ein paar Treffer weniger,
           denn eine falsch zusammengeführte Zeile löscht einen echten Kunden.

Der zweite Wert ist der wichtigere und wird fast immer vergessen. Ein Werkzeug, das aggressiv zusammenführt, liefert beeindruckende Trefferquoten und entfernt dabei Kunden, die es nie hätte anfassen dürfen. Achten Sie darauf, ob sich der Schwellenwert einstellen lässt und ob unsichere Paare zur Prüfung vorgelegt werden statt automatisch zu verschwinden.

ListenFix ist als lokale Desktop-Software für genau diesen Ablauf gebaut: fünf Matching-Algorithmen parallel, PLZ-Validierung gegen eine mitgelieferte Datenbank für 29 europäische Länder, Haushaltserkennung und ein einstellbarer Schwellenwert mit Prüfliste für die Grenzfälle. Die Verarbeitung läuft vollständig offline, die Testdatei verlässt Ihren Rechner nicht. Kostenlos testen, ohne Kreditkarte.

DSGVO: wohin Ihre Adressdaten beim Bereinigen wandern

Die Wahl des Werkzeugs ist gleichzeitig eine datenschutzrechtliche Entscheidung, und sie fällt weit vor dem ersten Klick.

Sobald ein Datenbereinigung-Tool Ihre Adressen zur Verarbeitung an fremde Server überträgt, liegt eine Auftragsverarbeitung nach Art. 28 DSGVO vor. Dafür brauchen Sie einen Auftragsverarbeitungsvertrag, müssen den Serverstandort kennen und die Verarbeitung im Verzeichnis der Verarbeitungstätigkeiten dokumentieren. Bei Anbietern mit Konzernmutter außerhalb der EU kommt die Prüfung der Drittlandsübermittlung dazu.

Lokal arbeitende Werkzeuge, von Excel über OpenRefine bis zur Desktop-Software, lösen diese Frage, indem sie sie nicht entstehen lassen. Die Daten bleiben auf dem Rechner, es gibt keinen Auftragsverarbeiter und keinen zu prüfenden Serverstandort.

Für einige Branchen ist das keine Bequemlichkeitsfrage, sondern die einzige zulässige Variante. Arztpraxen, Kanzleien und Steuerberater unterliegen der Verschwiegenheitspflicht nach § 203 StGB, Steuerberater zusätzlich dem Steuergeheimnis nach § 30 AO. Ein Upload von Patienten- oder Mandantenadressen an einen Cloud-Dienst ist dort auch mit Auftragsverarbeitungsvertrag problematisch. Wer in diesen Feldern arbeitet, kann die Cloud-Zeile der Vergleichstabelle streichen, bevor er anfängt.

Der zweite, seltener bedachte Punkt: Art. 5 DSGVO verlangt sachlich richtige und aktuelle Daten. Regelmäßige Bereinigung ist damit nicht nur eine Kostenfrage, sondern eine dokumentierbare technische Maßnahme zur Erfüllung dieser Pflicht. Ein Protokoll, das zeigt, wann welche Liste bereinigt wurde, hilft bei einer Prüfung mehr als jede Absichtserklärung.

Welches Datenbereinigung-Tool zu welcher Ausgangslage passt

Die sieben Ansätze konkurrieren nicht wirklich miteinander, sie bedienen unterschiedliche Ausgangslagen. Vier Fälle deckt der Markt ab.

Unter 1.000 Adressen, einmal im Jahr bereinigt: Bleiben Sie bei Excel und investieren Sie die gesparte Lizenz in eine sorgfältige manuelle Durchsicht. Bei dieser Größe ist Handarbeit vertretbar, und jedes Werkzeug hat eine Lernkurve, die sich bei einem Durchlauf pro Jahr nicht bezahlt.

1.000 bis 30.000 Adressen, mehrere Mailings pro Jahr: Hier trennt sich die Entscheidung an der Frage, wer das Werkzeug bedient. Gibt es eine technikaffine Person mit Zeit, ist OpenRefine mit Kölner Phonetik eine ernsthafte kostenlose Option. Soll der Prozess unabhängig von einzelnen Personen laufen, ist lokale Desktop-Software der wirtschaftlichste Weg, weil sie die Arbeitszeit pro Durchlauf auf unter eine Stunde drückt.

Über 50.000 Adressen mit laufenden Importen aus mehreren Systemen: Jetzt lohnt sich eine Cloud-Plattform mit API-Anbindung, sofern die Datenschutzprüfung sie zulässt. Der Abgleich gegen Referenz- und Umzugsdaten ist bei diesen Volumina mehr wert als die Lizenzersparnis.

Regulierte Branche mit Verschwiegenheitspflicht: Nur lokale Verarbeitung. Zwischen OpenRefine und Desktop-Software entscheidet dann allein, wie viel Einrichtungsaufwand Sie tragen wollen.

Für welchen Weg Sie sich entscheiden, ist am Ende weniger wichtig als die Regelmäßigkeit. Eine Liste, die einmal gründlich bereinigt und danach nie wieder angefasst wird, verliert pro Jahr wieder 3 bis 5 Prozent ihrer Qualität durch Umzüge, Namensänderungen und Tippfehler bei der Neuanlage. Setzen Sie den Termin vor jedes Mailing, notieren Sie Trefferquote und Rückläuferquote mit, und Sie sehen nach dem zweiten Durchlauf schwarz auf weiß, ob das gewählte Werkzeug seine Kosten trägt. Wie sich die Ersparnis beim Porto konkret berechnet, zeigt der Beitrag zu den Dialogpost-Kosten.