Lago de datos
# Lago de datos

Un lago de datos (en inglés: data lake) es un sistema o biblioteca de datos almacenados en su formato bruto, usualmente blobs o ficheros. Habitualmente, un lago de datos es un único repositorio de datos que incluye copias en bruto de datos del sistema, datos de sensores, datos sociales, etc. y datos transformados usados para tareas como generación de informes, visualización, analítica avanzada y aprendizaje automático. Un lago de datos puede incluir datos estructurados de bases de datos relacionales (filas y columnas), datos semiestructurados (CSV, logs, XML, JSON, etc.), datos sin estructurar (correos electrónicos, documentos, PDF, etc.) y datos binarios (imágenes, audio, vídeo, etc.). Los lagos de datos pueden alojarse en las instalaciones de la organización o desplegarse «en la nube» usando servicios de proveedores como Amazon, Microsoft o Google. Los lagos de datos mal gestionados han sido llamados jocosamente «pantanos de datos» (en inglés: data swamps).

## Origen del término

James Dixon, entonces director de tecnología de Pentaho, acuñó el término en 2011 para diferenciarlo de un data mart, que es un repositorio más pequeño de atributos interesantes obtenidos a partir de datos en bruto. Para promover los lagos de datos, argumentó que los data marts tienen varios problemas inherentes, como la creación de silos de datos. Un estudio de PwC sostiene que los lagos de datos pueden «acabar con los silos de datos». En su estudio sobre los lagos de datos observaron que las empresas estaban «empezando a extraer datos y colocarlos para su análisis en un único repositorio basado en Hadoop». Hortonworks, Google, Oracle, Microsoft, Zaloni, Teradata, Impetus Technologies, Cloudera, MongoDB y Amazon Web Services ya usaban el término en 2016.

## Ejemplos

Muchas empresas usan servicios de almacenamiento en la nube como Google Cloud Storage o Amazon S3 o un sistema de archivos distribuido como el Hadoop Distributed File System (HDFS). Hay un creciente interés académico en el concepto de los lagos de datos. Por ejemplo, Personal DataLake es un nuevo tipo de lago de datos propuesto por la Universidad de Cardiff que pretende gestionar datos a gran escala de los usuarios proporcionando un único punto para recoger, organizar y compartir datos personales.

Un anterior lago de datos (Hadoop 1.0) tenía capacidades limitadas con su procesamiento por lotes MapReduce. Como este era el único paradigma de procesamiento asociado con él, para interactuar con el lago de datos era necesario tener experiencia en Java con el paradigma MapReduce y herramientas a mayor nivel como Apache Pig, Apache Spark y Apache Hive (que también estaban orientadas originalmente al procesamiento por lotes).

## Críticas

En junio de 2015, David Needle describió los «llamados lagos de datos» como «una de las maneras más controvertidas para gestionar big data». PwC también señaló en su estudio que no todas las iniciativas para crear lagos de datos son exitosas, citando a Sean Martin, director de tecnología de Cambridge Semantics:

Afirman que las empresas que construyen lagos de datos exitosos aumentan gradualmente la madurez de su lago a medida que determinan qué datos y metadatos son importantes para la organización. Otra crítica del término «lago de datos» es que no es útil porque es usado con muchos sentidos diferentes. Puede ser usado para referirse, por ejemplo, a: cualquier herramienta o práctica de gestión de datos que no sea un almacén de datos; una tecnología particular para su implementación; un repositorio de datos en bruto; un nodo para la extracción, transformación y carga; o un nodo central para la analítica de datos autoservicio.

Mientras las críticas de los lagos de datos están garantizadas, en muchos casos estas se aplican también a otros proyectos de datos. Por ejemplo, la definición de «almacén de datos» también es cambiante, y no todos los esfuerzos para crear almacenes de datos han tenido éxito. En respuesta a varias críticas, McKinsey observó que los lagos de datos deberían ser vistos como un modelo de servicio para proporcionar valor de negocio dentro de la empresa, y no como un mero logro tecnológico.

