El propósito de este repositorio es ilustrar cómo se puede realizar en Python (con pandas) el proceso de limpieza de datos descrito en el artículo "Tidy Data" de Hadley Wickham. Este repositorio fue traducido al español del siguiente repositorio: https://github.com/webartifex/tidy-data
Después de instalar las dependencias para este proyecto (consulte las notas de instalación a continuación), se recomienda leer primero el documento para tener una idea general y luego trabajar con los seis cuadernos Jupyter que se enumeran a continuación.
Tidy data se definen como datos que vienen en forma de tabla que se adhieren a los siguientes requisitos:
- cada variable es una columna,
- cada observación una fila, y
- cada tipo de unidad de observación forma una tabla.
Esto es equivalente a [la tercera forma normal de Codd] (https://en.wikipedia.org/wiki/Third_normal_form), un concepto de la teoría sobre bases de datos relacionales. Un conjunto de datos que no satisface estas propiedades se llama messy data.
Los cinco problemas más comunes con los datos desordenados son:
- Los encabezados de las columnas son valores, no nombres de variables.
- múltiples variables se almacenan en una columna
- las variables se almacenan tanto en filas como en columnas
- múltiples tipos de unidades de observación se almacenan en la misma tabla
- una sola unidad de observación se almacena en varias tablas
Un estudio de caso muestra las ventajas de tidy data como un input estandarizado para funciones estadísticas y de visualización.
Obten una copia local de este repositorio con git.
https://github.com/vmlandae/tidy-data-mds-espanol.git
Si no tienes familiaridad con git, sencillamente descarga la última versión en un archivo zip aquí.
Este proyecto usa poetry para manejar sus dependencias, instalando todos los paquetes externos en un virtual environment.
poetry install