Una mejor experiencia en la importación de datos con LOAD DATA

En recientes versiones de IRIS, se ha añadido en la parte de SQL una nueva y potente funcionalidad para la carga de datos: LOAD DATA. Esta funcionalidad ha sido optimizada para importar datos de forma extremadamente rápida en IRIS, permitiendo insertar cientos de gigabytes de datos en segundos en lugar de en horas o días. 

Esta es una mejora muy interesante. Sin embargo, todavía existe un gran problema en la experiencia de carga de datos. Concretamente, el tiempo y molestia que suponen:

1. Definir el esquema para la tabla en la que se quieren cargar los datos
2. Averiguar cómo funciona exactamente la sintaxis del comando LOAD DATA

He desarrollado una interfaz de usuario que gestiona de forma transparente el paso de crear la tabla (CREATE TABLE) y después genera la sintaxis para LOAD DATA, todo en un práctico asistente!

Al menos en mi caso -- aunque he estado en el negocio de bases de datos durante décadas --, sólo importo datos unas pocas veces al año. Por lo tanto, mi habilidades de creación de tablas se oxidan, y es muy útil tener una herramienta que se ocupe de eso por mí. Y esta herramienta no solo se encarga de la sintaxis. También inspecciona el fichero CSV de entrada usando una utilidad de la librería de Utilidades de SQL de @Benjamin De Boe para determinar los tipos de datos y su longitud. Después, hace unas preguntas adicionales para definir la sintaxis del comando LOAD DATA requerido. Puede ejecutarse directamente, o se puede también copiar la sintaxis y ajustarla. 

Aquí tenéis una guía paso a paso.

Paso 1: Instalar la app y revisar el fichero CSV

Después de seguir las instrucciones para instalar la solución, tendréis una app Angular publicada como una aplicación CSP y un backend en forma de aplicación en ObjectScript que sirve como la API para comunicarse con la base de datos.

Echad un vistazo a mi conjunto de datos de muestra (usando la extensión Rainbow CSV de VS Code). Tiene una mezcla de columnas númericas, de texto y vacías.

Paso 2: Ir a la app

Seguramente encontraréis la app en http://localhost:52773/csp/dataloadapp/index.html si usáis el puerto predeterminado de IRIS y el nombre de la aplicación web.

Paso 3: Especificar la ubicación del fichero CSV

Paso 4: Especificar el formato del fichero CSV

LOAD DATA necesita saber algunas cosas como el carácter delimitador de la columna y dónde empezar en el fichero. 

Paso 5: Definir un nombre de la tabla de destino, con el nombre del esquema también

Paso 6: Ajustar los nombres de los campos y los tipos de datos

La mayor parte de esta parte se rellenará automáticamente, y debería ser bastante preciso, pero probablemente querráis ajustar algunos nombres o longitudes de campos.

¡Y eso es todo! Haced clic en "Load CSV" (Cargar CSV) y la aplicación hará una llamada al servidor para ejecutar un comando CREATE TABLE SQL, después ejecutará LOAD DATA con la sintaxis mostrada en el recuadro negro a la derecha. Al ir al Management Portal (o cualquier otro cliente SQL), podéis ver que ahora tengo el fichero CSV cargado en IRIS.

Debo disculparme de antemano ya que aún no hay mucho control de errores, pero este es un proyecto de código abierto, así que si encontráis útil esta herramienta, podéis uniros a mí para mejorarla en GitHub.