#Embedded Python

¡Hola a todos!

Llevo muchos años trabajando con Excel y, últimamente, lo he enfocado al tratamiento de bases de datos.

Realmente mi experiencia con Excel ha sido para labores financieras, no tanto analíticas de datos en sí, pero en un proyecto reciente he podido trabajar mucho con SQL y me he interesado un poco por el tema (no soy para nada una experta, ¡aviso!)

Me he preguntado cómo podría unir varios excels en uno para, por ejemplo, entregárselo al Data Análisis utilizando la tecnología InterSystems. He recopilado la información en un pequeño artículo. Espero que sea útil y por supuesto estoy abierta a correcciones.

Vamos a utilizar InterSystems IRIS. Lo que buscaremos es leer los archivos Excel, procesarlos y por último fusionarlos.

Principio: Tras dividir el artículo cargado por el usuario en frases mediante Python, se obtiene el valor incrustado y se almacena en la base de datos Iris. A continuación, la similitud entre las frases se compara a través de la búsqueda vectorial Iris, y finalmente se muestra en la página front-end.

¡Se nos agotan las oportunidades para hacernos millonarios! En la pasada jornada nos quedamos nuevamente con 9 aciertos...a ver si instauran el premio por "casi 10", que nos lo tenemos sobradamente ganado.

Veamos la jornada de este fin de semana correspondiente a la 37ª jornada de Primera División y a la 40ª de Segunda.

Veamos las predicciones de la Primera División:

Aquí estamos nuevamente con una nueva jornada de la Quiniela, jornada 34ª de Primera División y 38ª de Segunda. La pasada jornada nos quedamos con la miel en los labios con 9 aciertos, así que habrá que resarcirse esta jornada. Estos son los partidos que entran para esta jornada:

Estás son las predicciones para la Primera División:

Otra jornada más con la predicción de la Quiniela, esta jornada correspondiente a la 32ª de Primera División y a la 36ª de Segunda.

Estos son los partidos que entran esta jornada:

Aquí tenemos la predicción de Primera División:

Y aquí la de Segunda:

Nueva jornada atípica de la Quiniela por la final de la Copa del Rey que lleva al parón de Primera División. Para esta jornada entran los partidos de Segunda División y de la Premier League así como la final de la Copa del Rey como Pleno al 15.

Veamos la Quiniela de la jornada:

Veamos que nos cuenta IntegratedML para Segunda División:

Como habréis visto en las últimas publicaciones de la comunidad, InterSystems IRIS ha incluido desde la versión 2024.1 la posibilidad de incluir tipos de datos vectoriales en su base de datos y basado en este tipo de datos se ha implementado las búsquedas vectoriales. Pues bien, estas nuevas funcionalidades me han recordado el artículo que publiqué hace un tiempo que se basaba en reconocimiento facial mediante Embedded Python.

Aquí estamos nuevamente otro viernes más con la predicción de la Quiniela.

Esta jornada la conformarán partidos de la jornada 29 de la Primera División y la 31 de Segunda División.

Las predicciones para la Primera División serán:

Y para Segunda División:

Otro viernes más con nuestra predicción

Jornada 41ª de la Quiniela, 26ª de Primera División y 28ª de Segunda.

Veamos los partidos que entran en la Quiniela:

Veamos que nos dice QuinielaML para Primera División:

Y para Segunda:

¡Nuevo viernes, nueva predicción!

Jornada 39ª de la Quiniela, 25ª de Primera División y 27ª de Segunda.

Veamos los partidos que entran en la Quiniela:

Revisemos la predicción de Primera División:

Y la de Segunda:

¡Nuevo viernes, nueva predicción!

Jornada 37ª de la Quiniela, 24ª de Primera División y 26ª de Segunda.

Veamos los partidos que entran en la Quiniela:

Revisemos la predicción de Primera División:

Y la de Segunda:

Tenemos un conjunto de datos bastante apetecible con recetas escritas por múltiples usuarios de Reddit, sin embargo, la mayor parte de la información está en texto libre en forma de título y descripción de un mensaje. Vamos a averiguar cómo podemos, de forma muy sencilla, cargar los datos, extraer algunas características y analizarlos empleando funcionalidades de LLM (Large Language Model) de OpenAI desde Python Embebido y el framework Langchain.

La invención y popularización de LLMs (Large Language Models) como GPT-4 de OpenAI ha desencadenado una ola de soluciones innovadoras que permiten aprovechar grandes volúmenes de datos no estructurados, que eran prácticamente imposibles de procesar manualmente hasta hace poco. Estas aplicaciones pueden incluir la recuperación de datos (echad un vistazo al curso sobre ML301 de Don Woodlock, con una excelente introducción a la Generación Aumentada de Recuperación), el análisis de sentimientos, e incluso agentes de IA totalmente autónomos, por nombrar sólo algunos ejemplos!

En este artículo, quiero demostrar cómo la funcionalidad de Python Embebido de IRIS puede ser utilizada para interactuar directamente con la librería Python de OpenAI, a través de la creación de una sencilla aplicación de etiquetado de datos que asignará automáticamente palabras clave a los registros que metamos en una tabla de IRIS. Estas palabras clave pueden después ser usadas para buscar y categorizar los datos, así como para analítica de datos. Utilizaré reseñas de productos realizadas por clientes como ejemplo de caso de uso.

Al empezar el desarrollo con IRIS tenemos un kit de distribución o, en el caso de Docker, obtenemos la imagen Docker y después a menudo tenemos que iniciarla y configurar el entorno de desarrollo. Puede que necesitemos crear bases de datos, namespaces, activar/desactivar algunos servicios, crear recursos. Muchas veces necesitamos importar el código y los datos a la instancia de IRIS y ejecutar algún código personalizado para iniciar la solución.