Liberando el Poder de la Búsqueda por Vectores con SQL-Embedding

InterSystems IRIS 2024 ha introducido recientemente los tipos de vectores. Esta adición os permite trabajar con búsquedas por vectores, habilitando búsquedas eficientes de similitud, agrupación y una amplia gama de otras aplicaciones. En este artículo, profundizaremos en las complejidades de los tipos de vectores, exploraremos sus aplicaciones y os proporcionaremos ejemplos prácticos para guiar vuestra implementación.

En su esencia, un tipo de vector es una colección estructurada de valores numéricos dispuestos en un orden predefinido. Estos valores sirven para representar diferentes atributos, características o rasgos de un objeto.

SQL-Embedding: Una Herramienta Versátil

Para simplificar la creación y el uso de embeddings para búsquedas por vectores dentro de las consultas SQL, hemos introducido la herramienta SQL-Embedding. Esta función os permite aprovechar una amplia gama de modelos de embedding directamente dentro de vuestras bases de datos SQL, adaptados a vuestras necesidades específicas.

Ejemplo Práctico: Búsqueda de Similitud

Consideremos un escenario donde queréis determinar la similitud entre dos textos utilizando el modelo fastembed y SQL-Embedding. La siguiente consulta SQL muestra cómo se puede lograr esto:

SELECT
 VECTOR_DOT_PRODUCT(
 embFastEmbedModel1,
 dc.embedding('my text', 'fastembed/BAAI/bge-small-en-v1.5')
 ) AS "Similarity between 'my text' and itself",
 VECTOR_DOT_PRODUCT(
 embFastEmbedModel1,
 dc.embedding('lorem ipsum', 'fastembed/BAAI/bge-small-en-v1.5')
 ) AS "Similarity between 'my text' and 'lorem ipsum'"
FROM testvector;

Almacenamiento en caché

Uno de los beneficios significativos de usar SQL-Embedding en InterSystems IRIS es su capacidad para almacenar en caché las solicitudes de embedding repetidas. Este mecanismo de caché mejora considerablemente el rendimiento al reducir la sobrecarga computacional asociada con la generación de embeddings para entradas idénticas o similares.

Cómo Funciona la Caché

Cuando ejecutáis una consulta SQL-Embedding, InterSystems IRIS comprueba si el embedding para la entrada dada ya ha sido almacenado en caché. Si existe, el embedding en caché se recupera y se utiliza directamente, eliminando la necesidad de volver a generarlo. Esto es particularmente ventajoso en escenarios donde los mismos embeddings se solicitan con frecuencia, como en sistemas de recomendación o aplicaciones de búsqueda.

Beneficios de la caché

• Reducción de la Latencia: Al evitar cálculos redundantes de embeddings, la caché puede reducir significativamente los tiempos de respuesta de las consultas.
• Mejora de la Escalabilidad: La caché puede gestionar cargas de trabajo incrementadas de manera más eficiente, ya que reduce la presión sobre los modelos de embedding subyacentes.
• Optimización del Uso de Recursos: La caché ayuda a conservar recursos computacionales al evitar cálculos innecesarios.

En conclusión, la introducción de los tipos de vectores en InterSystems IRIS presenta una herramienta robusta para trabajar con representaciones numéricas de objetos. Al aprovechar las búsquedas de similitud, SQL-Embedding y diversas aplicaciones, los desarrolladores pueden desbloquear nuevas posibilidades y mejorar sus soluciones basadas en datos.

Si encontrasteis nuestra aplicación interesante y os ha aportado algún conocimiento, votad por sql-embeddings y ayudadnos en este viaje.