¡Hola a todos!

Comparto con vosotros una herramienta para la ingestión de datos que hemos utilizado en varios proyectos.

DataPipe es un framework de interoperabilidad para la ingestión de datos de forma flexible con InterSystems IRIS. Te permite recibir datos desde el exterior, normalizar y validar la información y finalmente realizar cualquier operación sobre tus datos.

Modelo

Lo primero que necesitas es definir un modelo. Un modelo es una clase que extiende de DataPipe.Model donde necesitas implementar algunos métodos:

En el modelo defines cómo serializar / deserializar la información, cómo normalizar y validar la información y finalmente qué operación quieres ejecutar sobre tus datos una vez estén validados y normalizados.

Aquí tienes un ejemplo completo de un modelo de DataPipe.

Componentes de interoperabilidad

Después de definir el modelo, puedes incorporar los componentes necesarios a una producción de interoperabilidad.

Necesitarás implementar un proceso para la ingestión que especifique:

• Transformación de Input > InboxAttributes donde defines cómo extraer atributos que describan la información de entrada. Estos atributos son importantes para después realizar búsquedas sobre tus datos.
• Transformación de Input > Modelo donde se indica cómo transformar la información entrante a tu modelo de DataPipe.

El resto de componentes ya están pre-construidos por DataPipe. Tienes un ejemplo completo de una producción aquí.

DatapipeUI

Además del DataPipe, tienes la posibilidad de incorporar una interfaz gráfica para gestionar los datos que se ingieren en el sistema.

Despliegue

Todo lo anterior lo puedes desplegar con una instancia de InterSystems IRIS, donde instalas DataPipe (y RESTForms2 para las APIs REST) y una aplicación web aparte que se comunica con la instancia.

Si estáis interesados y queréis echarle un vistazo y probarlo, tenéis toda la información en la aplicación de Open Exchange.