DataPipe2 - Ingesta y Procesamiento de Datos

¡Hola a todos!

Me alegra anunciaros una nueva versión de iris-datapipe, un framework potente que, acompañado de una interfaz gráfica, te permitirá obtener una visión integral de la ingesta y procesamiento de datos en InterSystems IRIS.

¿Por qué iris-datapipe?

En múltiples proyectos, nos dimos cuenta de que repetíamos un patrón común: ingestión de datos de diversas fuentes, enriquecimiento al combinarlos con otros datos, normalización, aplicación de reglas de validación y, finalmente, la realización de alguna acción u operación sobre estos datos (por ejemplo, almacenarlos o enviarlos a otro sistema).

Si bien siempre hemos utilizado las potentes capacidades de interoperabilidad de InterSystems IRIS para implementar estos proyectos, notábamos la necesidad de una visión más integral y lógica del flujo de datos más allá de los múltiples mensajes individuales entre los componentes de interoperabilidad.

Queríamos poder buscar los datos por conceptos de negocio (por ejemplo, un número de registro o lote) y también disponer de una manera sencilla y unificada de entender qué había sucedido con ellos: si estaban en proceso, si alguna regla de validación falló, si ocurrió un error en la comunicación o si fueron procesados correctamente.

Para resolver estos desafíos, nació iris-datapipe. Este framework nos permite definir "pipes" de datos que siguen ese patrón de ingesta y procesamiento, todo ello aprovechando las funcionalidades de interoperabilidad de la plataforma, y reduciendo significativamente el esfuerzo requerido. 😊

¿Cómo empezar?

En los próximos días, publicaré otro artículo donde detallaré el proceso de instalación y cómo comenzar a utilizar iris-datapipe.

Mientras tanto, te invito a explorar algunas de las funcionalidades que puedes probar tú mismo con el QuickStart incluido en la aplicación: