Lean Data Intelligence: una solución funcional, eficiente y ágil del ciclo de vida de los Datos y la IA

Quienes hayan oído hablar de conceptos como Lean Analytics o Lean Startup ya conocerán los beneficios de integrar metodologías como esta dentro del actual ciclo de vida de los datos de una empresa. Aunque es cierto que su planteamiento inicial surge de la necesidad de las startups de focalizarse en el área de Business Intelligence ayudándolas a optimizar los análisis, el equipo y las plataformas involucradas; la realidad es que el ámbito Lean ha evolucionado a muchas más áreas con la intención de abarcar nuevos escenarios. Aquí es donde se comienzan a introducir nuevos y diferentes conceptos como Lean Data Intelligence (LDI) vinculados a la aplicación de metodologías ágiles que permitan gestionar los proyectos sin encontrarse bloqueos o costes innecesarios. Se trata de eficientar y optimizar al máximo los recursos a través de la planificación. 

Todas las disciplinas y desarrollos en el ámbtio de los datos, desde la ingeniería hasta la visualización pasando por la ciencia o la gobernanza, están abocadas a interrelacionarse íntimamente como si de un único desarrollo se tratara». Por esta sencilla razón, y lo que muchos no saben, es francamente útil la aplicación de las metodologías Lean y su extrapolación al universo Data al resto de procesos con la intención de allanar el camino de las empresas en el contexto presente; donde la aparición de infinitas soluciones y servicios alrededor de la Inteligencia Artificial (IA) y de los Datos puede complejizar sobremanera el desarrollo de propuestas funcionales y rápidamente desplegables.

Es esencial tener en cuenta que muchas de las compañías que requieren de respuestas para mejorar sus decisiones de negocio no pueden invertir en soluciones de análítica de datos que requieren de muchos meses e incluso años y que conllevan un alto coste. Lo que realmente necesitan, debido a los numeros cambios e innovaciones externas, es inmediatez y simplicidad para extraer valor de los datos.

Para analizar datos no siempre es primordial crear proyectos desmesurados con complejas arquitecturas o costosos desarrollos que puedan alargarse en el tiempo hasta obtener una solución mínimamente viable. Lo que de verdad es imprescindible es entender los datos para aplicar mejoras iterativas con diligencia. Pero ¿rapidez y sencillez equivalen a proyectos incompletos o ineficaces? No, precisamente esto es lo que resuelve Lean Analytics: Se centra en lo realmente necesario permitiendo escalar el desarrollo a lo largo del tiempo reduciendo así tiempos y costes de manera eficiente.

Qué es Lean Data Intelligence y cómo se integra en una empresa

Lean Data Intelligence (LDI) es una disciplina o marco de actuación (framework) reciente que fusiona los principios fundamentales de Lean Analytics, Lean Startup o Design Thinking; entre otras, adaptándolos al mundo de los Datos y la Inteligencia Artificial (IA).

Su objetivo esencial es optimizar el ciclo de vida de los datos; desde la ingeniería hasta el análisis pasando por la gobernanza de los datos, la ciencia de datos o la aplicación real de la IA; minimizando los costes, reduciendo los tiempos de desarrollo y maximizando la escalabilidad y la integración en cualquier fase. 

Para ello, DLI apuesta por equipos reducidos y multidisciplinares, el uso de plataformas open-source o de bajo coste y una metodología de mejora continua a través de la iteración de servicios y productos basados en datos. En lugar de grandes inversiones iniciales y plataformas costosas, se promueve el uso de soluciones ágiles y eficientes (lean) que permiten adaptar y escalar proyectos de manera rápida y sostenible, sin sacrificar calidad ni responsabilidad en el manejo de los datos. Desarrollar y focalizarse únicamente en lo requerido, sin añadir funcionalidades complejas o interrelaciones innecesarias. 

Principios fundamentales y fases del framework DLI

La implementación de proyectos de datos e inteligencia artificial suele adolecer de alargarse debido a innumerables factores no planificados que surgen a lo largo del tiempo. Por esta razón es tan importante aportar un enfoque estratégico que equilibre agilidad, eficiencia y escalabilidad. Es precisamente lo que trata de solucionar DLI a través de una serie de principios clave que permiten reducir costes, minimizar tiempos de desarrollo y garantizar la evolución continua de las soluciones.

A través de la combinación de metodologías ágiles, uso eficiente de recursos y ciclos iterativos de mejora, se establece un marco de trabajo flexible y adaptable a cualquier necesidad del ecosistema de datos.

• Iteración y Validación Continua (Lean Startup):

  • Desarrollo ágil de proyectos. Siguiendo el ciclo de construcción, medición y aprendizaje de Lean Startup, DLI permite a los equipos de datos validar hipótesis de modelos de IA, analítica y procesos de datos de manera rápida y económica. Esto implica trabajar con prototipos funcionales (MVPs) que puedan probarse en un entorno real con datos reales.
  • Sprints de datos. El ciclo de desarrollo se divide en sprints rápidos, donde se valida la calidad, eficiencia y utilidad de los datos y los modelos de IA en cada iteración. Cada sprint debe concluir con una mejora measurable o un aprendizaje sobre el comportamiento del sistema de datos.

• Optimización de recursos y Reducción de costes (Lean Analytics):

  • Uso de herramientas e infraestructuras eficientes. Se maximiza el uso de arquitecturas, servicios y plataformas de código abierto (open-source) o económicamente viables que sean escalables, personalizables e integrables en cualquier momento. Esto reduce la dependencia de plataformas costosas e infrautilizadas muchas veces, y permite un control total sobre el stack tecnológico de los datos.
  • Equipos reducidos y especializados. En lugar de grandes equipos, se fomentan equipos pequeños especializados y multidisciplinares con habilidades en ingeniería de datos, ciencia de datos, y conocimientos en IA. Estos equipos deben ser capaces de manejar múltiples aspectos del ciclo de vida de los datos, desde la ingeniería hasta la implementación de modelos predictivos. Cómo es lógico se podrían dar muchas circunstancias donde por cuestiones de conocimiento no se alcance los hitos establecidos. En estos casos es esencial planificar los riesgos y apuntalar los puntos de contacto a establecer en caso requerirse ayudas específicas.

• Escalabilidad y mejora Cíclica (Ciclo de feedback):

  • Ciclo de feedback de datos. Se establece un ciclo de mejora continua donde los resultados de cada sprint se utilizan para ajustar y mejorar los procesos involucrados. Al igual que ocurren en Lean Startup, los resultados de cada iteración informan la próxima decisión y permiten ajustar el producto o estrategia según el aprendizaje obtenido.
  • Automatización y pipelines. Los pipelines de datos deben estar diseñados para ser fácilmente escalables, lo que permite a los equipos moverse rápidamente de una fase de prototipo a una implementación en producción. Esto incluye la automatización de tareas repetitivas y la integración contínua de datos y modelos.

• Responsabilidad, Gobernanza y Legalidad:

  • Cumplimiento y ética de los datos. DLI no solo pretende optimizar el proceso, sino que también asegura que los proyectos de IA y datos estén alineados con los principios éticos y legales establecidos. Se incorporan desde el principio en el proceso de desarrollo prácticas de gobernanza de datos, transparencia en los algoritmos, y cumplimiento con las normativas de protección de datos (como la GDPR o la ley de IA).
  • Auditoría y control de calidad. Se establece un sistema constante de auditoría de los procesos de datos, validación de modelos de IA y análisis de los resultados, asegurando que los datos y algoritmos utilizados sean responsables, precisos y no discriminatorios.

En LDI, el desarrollo de soluciones sigue varias etapas clave como se describe más abajo a continuación. Sin embargo, tal y como se observa en la imagen previa y relacionado con el concepto de ciclo de vida de desarrollo de un producto, también se debe contextualizar este marco bajo etapas de desarrollo como son: 

1. PoC (Proof of Concept). Validación técnica inicial utilizando datos limitados para probar la viabilidad y el enfoque antes de realizar una inversión significativa.
2. MVP (Minimum Viable Product). Desarrollo de una versión funcional mínima con características clave para validar hipótesis y recopilar retroalimentación de usuarios reales (feedback temprano).
3. FSP (Full Scalable Product). Optimización del producto para escalar, permitiendo manejar grandes volúmenes de datos y usuarios. Implementación de automatización y mejores integraciones. Muchas veces se trata simplemente de la mejora iterativa del MVP.
4. PP (Production Product). Despliegue del producto en un entorno de producción con alta disponibilidad, seguridad, monitoreo y manejo de datos en tiempo real.
5. ASP (Advanced Scalable Product). Expansión del producto a nuevas regiones y mercados, con capacidades avanzadas de análisis y autoservicio. Integración de IA y optimización avanzada.
6. AP&GA (Autonomous Product & General Availability). AP permite la automatización total con capacidades de aprendizaje en tiempo real, toma de decisiones autónoma y mínima intervención manual para eficiencia máxima. Mientras que GA se refiere al lanzamiento estable y accesible a todos los usuarios. 

Obviando esta última parte (más enfocada en el desarrollo de un producto) y siguiendo sobre la base de los principios de DLI anteriores, para aplicarlos de manera efectiva es necesario estructurar el proceso en etapas que permitan una evolución progresiva y controlada de los proyectos de Datos e Inteligencia Artificial. Cada fase está diseñada para optimizar el uso de herramientas y de plataformas, reducir la inversión en infraestructura y acelerar la implementación de soluciones sin comprometer la calidad. A través de un enfoque iterativo, DLI facilita la validación rápida de hipótesis y la mejora continua de modelos y procesos, asegurando que cada avance sea medible y escalable.

1. Exploración de datos (Lean Discovery):

   • Definir Hipótesis de Datos. Similar a como ocurre en Lean Startup, en esta fase el objetivo es descubrir qué problemas pueden ser resueltos con los datos disponibles y qué tipo de modelos de IA pueden ser aplicados, si fuera necesario. Este es un proceso iterativo donde el equipo valida rápidamente suposiciones sobre la calidad y el valor de los datos.
   • MVP de datos. En esta fase se crea el MVP de datos, una versión simplificada del proceso de análisis o del modelo de IA que pueda ser probado con un conjunto de datos pequeño para validar su efectividad.

2. Ingeniería de datos (Lean Data Engineering).

   • Pipelines. Crear pipelines de datos eficientes y ágiles, donde se optimiza la recolección, limpieza, transformación y almacenamiento de los datos utilizando herramientas de código abierto o de coste reducido y enfoques eficientes. Se pretende obviar y desechar todo lo superfluo.
   • Optimización de infraestructura. Uso de infraestructuras mínimas necesarias, pero fácilmente escalables cuando sea necesario más adelante, y configuraciones detalladas para reducir costes sin comprometer la calidad del procesamiento de datos.

3. Desarrollo de modelos (Lean Data Science & AI):

   • Iteración de modelos de IA. Los modelos de IA deben desarrollarse en ciclos rápidos de prueba y error. Los equipos de ciencia de datos se enfocan en construir modelos simples y eficientes, mejorando su rendimiento iterativamente a través de validaciones rápidas en cada sprint.
   • Experimentación y test A/B. Al igual que en Lean Analytics, se usan pruebas de A/B y análisis de experimentos para validar qué técnicas y desarrollos de IA funcionan mejor en los casos de uso planteados.

4. Implementación y despliegue (Lean AI Deployment):

   • Despliegue ágil de soluciones. Utilización de herramientas de integración y despliegue continuo (CI/CD) para pasar de los prototipos a la producción de manera rápida. Las implementaciones deben ser modulares y fáciles de ajustar o escalar según el feedback de los usuarios o de los resultados analíticos.
   • Monitorización y mantenimiento Lean. Los sistemas de monitorización deben ser simples y escalables, permitiendo identificar rápidamente problemas en el desempeño de los modelos de IA, en la calidad de los datos o en las integraciones propuestas.

5. Análisis de Resultados (Lean Analytics):

   • Ciclo de medición. Con un enfoque Lean, se debe medir constantemente el impacto de las soluciones en los resultados del negocio sin importar la fase del ciclo de vida del dato en la que se esté. Los KPIs deben estar alineados con los objetivos de negocio y el análisis debe enfocarse en obtener insights rápidos para mejorar dicho ciclo y eficientar las soluciones.
   • Retroalimentación e iteración. El ciclo de retroalimentación debe ser rápido y eficiente, permitiendo a los equipos ajustar el modelo, los procesos o incluso los datos en función de los resultados obtenidos o el feedback recibido.

Todo esto no difiere mucho de implementaciones e integraciones habituales en torno a AI & Data, sin embargo es esencial entender e interiorizar que este framework se centraliza en usar desarrollos, servicios o productos funcionales de manera rápida, escalable y segura sin necesidad de invertir tiempos y costes de manera inconsciente y desmesurada (planificación y seguimiento).

De hecho, cuando muestro este marco de trabajo en formaciones donde imparto clases sobre Analítica de datos avanzada o cuando en mi día a día como responsable de AI & Data lo documentamos para los distintos proyectos donde lo requieren, siempre hacemos uso de la siguiente imagen. La cual de forma resumida y visual detalla cómo DLI puede ayudarnos a mejorar los costes y tiempos de desarrollo de nuestros proyectos en entornos de datos. Creo que representa de manera bastante fiel cuál es su alcance y cómo puede ofrecer un nuevo escenario (alternativa) diferente a las actuaciones habituales. Lógicamente, no todos los proyectos son planteables bajo este paragüas. Por eso es esencial una planificación inicial donde se recojan los requerimientos y las necesidades.

LDI es un concepto que se puede denominar de muchas formas y que muchos ya lo están utilizando con otras referencias o incluso nombrándolo como una aplicación Lean. En este caso, esta unificación de metodologías Lean bajo una misma terminología aplicada al ámbito de los Datos y la Inteligencia Aritifical es un marco propuesto por mí (Joseba Ruiz), acogiendo todas las dificultades y los éxitos a lo largo de estos años como responsable e impulsor de proyectos de este tipo. Como dice un proverbio en euskera «izena duen guztia omen da», o lo que es lo mismo «Todo lo que tiene nombre, existe».

Tal y como he dejado entrever a lo largo de este artículo, en el contexto actual, el concepto de Lean Analytics y Lean Startup no tiene cabida únicamente por su planteamiento inicial, aquel que promulgaron sus ideólogos, sino que tendría que ir mucho más allá. Es decir, no debemos atenernos a una aplicación ortodoxa de la metodología Lean teniendo en cuenta los ecosistemas actuales de datos. DLI debe consolidarse como un área o un escenario más a valorar siempre dentro de nuestros proyectos de datos, sin importar si tiene que centrarse en una implementación o diseño (por ejemplo, arquitectura de los datos) o un desarrollo concreto (por ejemplo, crear un modelo predictivo).

Este artículo evoluciona las bases de una smetodologías sencillas planteadas inicialmente para agilizar el lanzamiento de productos o facilitar el crecimiento de la empresas hacia un marco fácilmente integrable que busca optimizar cada ulna de las partes del ciclo de vida de nuestros datos. Las metodologías están para plantear y simplificar procesos, sin embargo, no deben ser tomadas nunca como algo inamovible. Sino todo lo contrario, algo que debe evolucionar cíclicamente con mejoras constantes. Me despido como siempre hasta la semana que viene. ¡Gracias por leerme! Y recuerda, si quieres saber más sobre Analítica, Ingeniería o Ciencia de datos aplicada al Negocio te invito a que profundices en otros artículos de mi Blog.