📝 Update the section on data cleaning

* Add validation categories and procedures
* Add text encoding with charset_normalizer and ftfy
* Add DataProfiler and cerberus

Author: veit

CHANGELOG.rst

@@ -22,6 +22,12 @@ Notfälle, wenn Zweige für ältere Versionen erstellt werden müssen.
 Added
 ~~~~~
 
+* 📝 Update the section on data cleaning
+
+  * Add validation categories and procedures
+  * Add text encoding with charset_normalizer and ftfy
+  * Add DataProfiler and cerberus
+
 * 📝 Add Narwhals
 * 📝 Add SBOM
 * 📝 Add protobuf-py

docs/clean-prep/categories.rst

@@ -0,0 +1,64 @@
+.. SPDX-FileCopyrightText: 2021 cusy GmbH
+..
+.. SPDX-License-Identifier: BSD-3-Clause
+
+Kategorien der Datenqualität
+============================
+
+Es gibt verschiedene Möglichkeiten, Datenqualitätsprobleme zu kategorisieren –
+nach der Ursache des Problems, nach seinen wahrscheinlichen oder potenziellen
+Auswirkungen, nach der Art des Datenelements, nach der Ebene einer
+Datenhierarchie, auf der der Fehler oder Inkonsistenz sichtbar werden, um nur
+einige zu nennen. In diesem Tutorial erfolgt die Kategorisierung im Allgemeinen
+implizit, und wir konzentrieren uns auf die Methoden zur Erkennung von Problemen
+sowie auf die dafür geeigneten Werkzeuge. Es ist jedoch sinnvoll, zumindest
+allgemein auf andere Möglichkeiten der Kategorisierung von Datenproblemen
+einzugehen, bevor wir uns mit der Erkennung befassen.
+
+Unmögliche Daten
+    wie :abbr:`z. B. (zum Beispiel)` Temperaturen unterhalb des absoluten
+    Nullpunkts (0 Kelvin oder −273,15 °C) oder unsinnige Datums- und Zeitangaben
+    – in Python können diese zwar nicht im :class:`datetime`-Datentyp auftreten,
+    jedoch in :doc:`../data-processing/serialisation-formats/json/index` und
+    :doc:`SQLite <python-basics:save-data/sqlite/index>`, in denen meist
+    Textfelder zur Speicherung von Datumsangaben verwendet werden.
+Sonderwerte
+    Der `IEEE-754 <https://de.wikipedia.org/wiki/IEEE_754>`_-Standard zur
+    Darstellung von Gleitkommazahlen enthält auch Sonderwerte für positive und
+    negative Unendlichkeit (+∞, −∞) sowie *Not-a-Number* -Werte (``NaN``).
+Unspezifizierte Werte
+    Werte, die einem bestimmten Format entsprechen, können dennoch ungültig
+    sein, wie :abbr:`z. B. (zum Beispiel)` E-Mail-Adressen.
+Inkonsistenzen
+    Gruppen verwandter Feldwerte für jeden Datensatz können sich einschränken.
+    Um solche Inkonsistenzen zu vermeiden, empfiehlt das :abbr:`DRY (Don’t
+    Repeat Yourself)`-Prinzip, berechenbare Werte zu vernachlässigen. Prüfsummen
+    sind jedoch das genaue Gegenteil davon.
+
+    *„Single Source of Truth“* ist ein Beispiel für Datenbanknormalisierung und
+    vereinfacht Aktualisierungen; mit denormalisierten Datenspeichern können
+    hingegen  wVerknüpfungen und Berechnungen während der Datenanalyse vermieden
+    werden.
+
+Anomalien und Data-Drift
+    Die bisherigen Überprüfungen erlaubten, Daten ungültig erklären zu können.
+    Anomalien und Data-Drift lassen diesen Schluss jedoch nicht zwingend zu und
+    erlauben daher nur selten eine automatisierte Bereinigung der Daten.
+Malware
+    Weder alle Eingabe- noch Ausgabedaten sollen in Analysesystemen verarbeitet
+    werden.
+
+    .. figure:: exploits_of_a_mom_2x.png
+       :alt: Hi, this is your son’s school. We’re having some  computer trouble.
+             Oh, dear - did he break something? In a way –
+             Did you really name your son Robert'); DROP TABLE Students; -- ?
+             Oh, yes. Little bobby tables, we call him.
+             Well, weve lost this year’s student records. I hope you’re happy.
+             And I hope, youe’ve learned to sanitize your database inpots.
+       :target: https://xkcd.com/327/
+
+       Exploits of a Mom
+
+    Ein offensichtliches Beispiel für versehentlich offengelegte Ausgabedaten
+    sind :abbr:`z. B. (zum Beispiel)` aus fortlaufenden Personenkennziffern
+    generierte URLs mit personenbezogenen Daten.

docs/clean-prep/exploits_of_a_mom_2x.png

@@ -5,65 +5,60 @@
 Daten bereinigen und validieren
 ===============================
 
-Im Folgenden wollen wir euch einen praktischen Überblick über verschiedene
-Bibliotheken und Methoden zur `Datenbereinigung
-<https://de.wikipedia.org/wiki/Datenbereinigung>`_ und -validierung mit Python
-geben. Dabei verwenden wir neben bekannten Bibliotheken wie
-:doc:`/workspace/numpy/index` und :doc:`/workspace/pandas/index` auch mehrere
-kleine, spezialisierte Bibliotheken wie :doc:`dedupe <deduplicate>`,
-:doc:`TheFuzz <string-matching>`, :doc:`voluptuous <voluptuous>`, :doc:`tdda
-<tdda>` und :doc:`hypothesis <hypothesis>`. Wir bevorzugen diese
-leichtgewichtigeren Lösungen gegenüber großen, universellen Systemen wie `Great
-Expectations <https://greatexpectations.io/>`_ oder `MobyDQ
-<https://ubisoft.github.io/mobydq/>`_.
+*„Garbage In, Garbage Out“* ist der verzweifelte Hinweis, dass aus mangelhaften
+Daten kaum gute Erkenntnisse gezogen werden können. Zwar gibt es stark
+regulierte, sicherheitskritische Bereiche, in denen Daten routinemäßig in allen
+Phasen überprüft werden, das allgemeine Niveau der Datenvalidierung ist in den
+meisten Analyseprojekten jedoch eher gering.
 
-.. tip::
-   `cusy Seminar: Daten bereinigen und validieren mit Python
-   <https://cusy.io/de/our-training-courses/cleanse-and-validate-data-with-python.html>`_
+Wenn wir jedoch Code schreiben, um Daten auszuwerten, die Daten jedoch nicht
+vorher überprüfen, werden einige Ergebnisse irreführend, falsch oder ungültig
+sein. Ähnlich verhält es sich, wenn wir unsere Ausgaben nicht validieren. So
+tragen wir dann auch noch zu den *„schlechten Daten“* bei, gegen das wir alle
+wettern. Hilfreich ist hier das *Postelsche Gesetz*, für das im TCP-Standard
+vorgeschlagene Prinzip der Robustheit:
+
+    *„Sei konservativ in dem, was du tust, sei liberal in dem, was du von
+    anderen akzeptierst.“* [#]_
+
+Dies steht in auffälligem Kontrast zu einer der Prinzipien von Python:
 
-Überblick
----------
+    *„Fehler sollten niemals unbemerkt bleiben.“* [#]_
 
-.. csv-table:: GitHub-Insights
-    :header: "Name", "Stars", "Mitwirkende", "Commit-Aktivität", "Lizenz"
+Auch die :doc:`XML
+<../data-processing/serialisation-formats/xml-html/index>`-Spezifikation
+schreibt vor, dass nicht wohlgeformte XML-Dokumente zurückgewiesen werden
+sollen:
 
-    "`scikit-learn <https://github.com/scikit-learn/scikit-learn>`_",".. image:: https://raster.shields.io/github/stars/scikit-learn/scikit-learn",".. image:: https://raster.shields.io/github/contributors/scikit-learn/scikit-learn",".. image:: https://raster.shields.io/github/commit-activity/y/scikit-learn/scikit-learn",".. image:: https://raster.shields.io/github/license/scikit-learn/scikit-learn"
-    "`fg-data-profiling <https://github.com/Data-Centric-AI-Community/fg-data-profiling>`_",".. image:: https://raster.shields.io/github/stars/Data-Centric-AI-Community/fg-data-profiling",".. image:: https://raster.shields.io/github/contributors/Data-Centric-AI-Community/fg-data-profiling",".. image:: https://raster.shields.io/github/commit-activity/y/Data-Centric-AI-Community/fg-data-profiling",".. image:: https://raster.shields.io/github/license/Data-Centric-AI-Community/fg-data-profiling"
-    "`Hypothesis <https://github.com/HypothesisWorks/hypothesis>`_",".. image:: https://raster.shields.io/github/stars/HypothesisWorks/hypothesis",".. image:: https://raster.shields.io/github/contributors/HypothesisWorks/hypothesis",".. image:: https://raster.shields.io/github/commit-activity/y/HypothesisWorks/hypothesis",".. image:: https://raster.shields.io/github/license/HypothesisWorks/hypothesis"
-    "`marshmallow <https://github.com/marshmallow-code/marshmallow>`_",".. image:: https://raster.shields.io/github/stars/marshmallow-code/marshmallow",".. image:: https://raster.shields.io/github/contributors/marshmallow-code/marshmallow",".. image:: https://raster.shields.io/github/commit-activity/y/marshmallow-code/marshmallow",".. image:: https://raster.shields.io/github/license/marshmallow-code/marshmallow"
-    "`dedupe <https://github.com/dedupeio/dedupe>`_",".. image:: https://raster.shields.io/github/stars/dedupeio/dedupe",".. image:: https://raster.shields.io/github/contributors/dedupeio/dedupe",".. image:: https://raster.shields.io/github/commit-activity/y/dedupeio/dedupe",".. image:: https://raster.shields.io/github/license/dedupeio/dedupe"
-    "`pandera <https://github.com/unionai-oss/pandera>`_",".. image:: https://raster.shields.io/github/stars/unionai-oss/pandera",".. image:: https://raster.shields.io/github/contributors/unionai-oss/pandera",".. image:: https://raster.shields.io/github/commit-activity/y/unionai-oss/pandera",".. image:: https://raster.shields.io/github/license/unionai-oss/pandera"
-    "`thefuzz <https://github.com/seatgeek/thefuzz>`_",".. image:: https://raster.shields.io/github/stars/seatgeek/thefuzz",".. image:: https://raster.shields.io/github/contributors/seatgeek/thefuzz",".. image:: https://raster.shields.io/github/commit-activity/y/seatgeek/thefuzz",".. image:: https://raster.shields.io/github/license/seatgeek/thefuzz"
-    "`Voluptuous <https://github.com/alecthomas/voluptuous>`_",".. image:: https://raster.shields.io/github/stars/alecthomas/voluptuous",".. image:: https://raster.shields.io/github/contributors/alecthomas/voluptuous",".. image:: https://raster.shields.io/github/commit-activity/y/alecthomas/voluptuous",".. image:: https://raster.shields.io/github/license/alecthomas/voluptuous"
-    "`datacleaner <https://github.com/rhiever/datacleaner>`_",".. image:: https://raster.shields.io/github/stars/rhiever/datacleaner",".. image:: https://raster.shields.io/github/contributors/rhiever/datacleaner",".. image:: https://raster.shields.io/github/commit-activity/y/rhiever/datacleaner",".. image:: https://raster.shields.io/github/license/rhiever/datacleaner"
-    "`popmon <https://github.com/ing-bank/popmon>`_",".. image:: https://raster.shields.io/github/stars/ing-bank/popmon",".. image:: https://raster.shields.io/github/contributors/ing-bank/popmon",".. image:: https://raster.shields.io/github/commit-activity/y/ing-bank/popmon",".. image:: https://raster.shields.io/github/license/ing-bank/popmon"
-    "`TDDA <https://github.com/tdda/tdda>`_",".. image:: https://raster.shields.io/github/stars/tdda/tdda",".. image:: https://raster.shields.io/github/contributors/tdda/tdda",".. image:: https://raster.shields.io/github/commit-activity/y/tdda/tdda",".. image:: https://raster.shields.io/github/license/tdda/tdda"
-    "`Validr <https://github.com/guyskk/validr>`_",".. image:: https://raster.shields.io/github/stars/guyskk/validr",".. image:: https://raster.shields.io/github/contributors/guyskk/validr",".. image:: https://raster.shields.io/github/commit-activity/y/guyskk/validr",".. image:: https://raster.shields.io/github/license/guyskk/validr"
-    "`Probatus <https://github.com/ing-bank/probatus>`_",".. image:: https://raster.shields.io/github/stars/ing-bank/probatus",".. image:: https://raster.shields.io/github/contributors/ing-bank/probatus",".. image:: https://raster.shields.io/github/commit-activity/y/ing-bank/probatus",".. image:: https://raster.shields.io/github/license/ing-bank/probatus"
+    *„Validierende Prozessoren MÜSSEN … Verstöße gegen … die Nichteinhaltung der
+    in dieser Spezifikation festgelegten Gültigkeitsbedingungen melden.“* [#]_
 
-Ruhende Projekte
-----------------
+Die Abschnitte :doc:`procedures/index`, :doc:`procedures/ranges` und
+:doc:`procedures/regression_tests` setzen keine Python-Kenntnisse voraus und
+sind damit auch allgemein für Fachkräfte aus den Bereichen Datenmanagement,
+Unternehmensführung und Qualitätssicherung geeignet.
+
+Anschließend geben wir euch einen praktischen Überblick über verschiedene
+:doc:`libs-methods/index` zur `Datenbereinigung
+<https://de.wikipedia.org/wiki/Datenbereinigung>`_ und -validierung mit Python.
+
+.. tip::
+   `cusy Seminar: Daten bereinigen und validieren mit Python
+   <https://cusy.io/de/our-training-courses/cleanse-and-validate-data-with-python.html>`_
 
-.. csv-table:: GitHub-Insights
-    :header: "Name", "Stars", "Mitwirkende", "Commit-Aktivität", "Lizenz"
+----
 
-    "`Bulwark <https://github.com/ZaxR/bulwark>`_",".. image:: https://raster.shields.io/github/stars/ZaxR/bulwark",".. image:: https://raster.shields.io/github/contributors/ZaxR/bulwark",".. image:: https://raster.shields.io/github/commit-activity/y/ZaxR/bulwark",".. image:: https://raster.shields.io/github/license/ZaxR/bulwark"
-    "`PandasSchema <https://github.com/multimeric/PandasSchema>`_",".. image:: https://raster.shields.io/github/stars/multimeric/PandasSchema",".. image:: https://raster.shields.io/github/contributors/multimeric/PandasSchema",".. image:: https://raster.shields.io/github/commit-activity/y/multimeric/PandasSchema",".. image:: https://raster.shields.io/github/license/multimeric/PandasSchema"
-    "`pandas-validation <https://github.com/jmenglund/pandas-validation>`_",".. image:: https://raster.shields.io/github/stars/jmenglund/pandas-validation",".. image:: https://raster.shields.io/github/contributors/jmenglund/pandas-validation",".. image:: https://raster.shields.io/github/commit-activity/y/jmenglund/pandas-validation",".. image:: https://raster.shields.io/github/license/jmenglund/pandas-validation"
-    "`Opulent-Pandas <https://github.com/danielvdende/opulent-pandas>`_",".. image:: https://raster.shields.io/github/stars/danielvdende/opulent-pandas",".. image:: https://raster.shields.io/github/contributors/danielvdende/opulent-pandas",".. image:: https://raster.shields.io/github/commit-activity/y/danielvdende/opulent-pandas",".. image:: https://raster.shields.io/github/license/danielvdende/opulent-pandas"
-    "`signpost <https://github.com/ilsedippenaar/signpost>`_",".. image:: https://raster.shields.io/github/stars/ilsedippenaar/signpost",".. image:: https://raster.shields.io/github/contributors/ilsedippenaar/signpost",".. image:: https://raster.shields.io/github/commit-activity/y/ilsedippenaar/signpost",".. image:: https://raster.shields.io/github/license/ilsedippenaar/signpost"
+.. [#] Jon Postel: `Transmission Control Protocol
+       <https://www.rfc-editor.org/info/rfc761/#section-2.10>`_, 1980
+.. [#] Tim Peters: :pep:`The Zen of Python <20>`, 1999
+.. [#] `XML-Spezifikation 1.0, Abschnitt 5.1
+        <https://www.w3.org/TR/2008/REC-xml-20081126/#proc-types>`_, 1998
 
 .. toctree::
     :hidden:
     :titlesonly:
     :maxdepth: 0
 
-    nulls.ipynb
-    outliers.ipynb
-    string-matching.ipynb
-    deduplicate.ipynb
-    hypothesis.ipynb
-    tdda.ipynb
-    voluptuous.ipynb
-    scikit-learn-reprocessing.ipynb
-    dask-pipeline.ipynb
+    categories
+    procedures/index
+    libs-methods/index

docs/clean-prep/index.rst

@@ -18,7 +18,7 @@
     "1. [Google Maps Geocoder](https://developers.google.com/maps/documentation/geocoding/guides-v3/overview)\n",
     "2. [Open Notify API for ISS location](http://api.open-notify.org/)\n",
     "\n",
-    "Wir werden sie verwenden, um den ISS-Standort und die nächste Durchlaufzeit in Bezug auf eine Liste von Städten zu verfolgen. Um unsere Diagramme zu erstellen und Daten intelligent zu parallelisieren, verwenden wir Dask, insbesondere [Dask Delayed](../performance/dask.ipynb)."
+    "Wir werden sie verwenden, um den ISS-Standort und die nächste Durchlaufzeit in Bezug auf eine Liste von Städten zu verfolgen. Um unsere Diagramme zu erstellen und Daten intelligent zu parallelisieren, verwenden wir Dask, insbesondere [Dask Delayed](../../performance/dask.ipynb)."
    ]
   },
   {