Wall-M: Consultas semánticas en vuestros correos electrónicos con respuestas precisas con citas a las fuentes originales

Introducción

Con el auge de la inteligencia artificial generativa (Gen AI), creemos que ahora los usuarios deberían poder acceder a datos no estructurados de una manera mucho más sencilla. La mayoría de las personas tienen muchos correos electrónicos que no pueden seguir de manera eficiente. Por ejemplo, en las estrategias para inversión/comercio, los profesionales dependen de tomar decisiones rápidas aprovechando la mayor cantidad de información posible. Del mismo modo, los empleados senior en una startup que trabajan con muchos equipos y disciplinas pueden encontrar difícil organizar todos los correos electrónicos que reciben. Estos problemas comunes pueden resolverse utilizando GenAI y ayudar a hacer sus vidas más fáciles y organizadas. La posibilidad de alucinaciones en los modelos GenAI puede ser preocupante, y es ahí donde la combinación de RAG y búsqueda híbrida entra en acción para salvar el día. Esto es lo que nos inspiró a construir el producto WALL-M (Work Assistant LL-M). En HackUPC 2024, desarrollamos WALL-M como parte del desafío de búsqueda vectorial de InterSystems. Es una plataforma de generación aumentada por recuperación (RAG) diseñada para responder preguntas en correos electrónicos con precisión y con mínimas alucinaciones. Esta solución aborda el desafío de gestionar numerosos correos electrónicos largos, especialmente en campos donde la información se requiere con agilidad y velocidad como inversión/comercio, startups con múltiples equipos y disciplinas, o individuos que buscan gestionar su bandeja de entrada completa.

Lo que hace

Podéis cargar los correos electrónicos de vuestra bandeja de entrada y elegir filtrarlos por fecha y remitentes para definir el contexto para el modelo de lenguaje. Luego, dentro del contexto, podéis hacer consultas específicas relacionadas con los correos electrónicos seleccionados.

Ejemplo 1: Ideas de inversión basadas en informes de ciertos bancos o informes de investigación de inversiones.

Ejemplo 2: Un empleado en una empresa/startup puede pedir una lista de tareas pendientes basadas en los correos electrónicos de trabajo que recibió durante la última semana.

Después de esto, si tenéis más preguntas, también hemos añadido un segmento para chatear con Wall-M, basado en el contexto seleccionado con la consulta inicial. Esto asegura que todas las preguntas de seguimiento sigan recibiendo respuestas sin alucinaciones e incluyan los correos electrónicos fuente utilizados para generar la respuesta.
 

Como lo construimos

Frontend: Taipy

Backend: InterSystems Database, SQL

RAG + Búsqueda Vectorial: InterSystems Software, ChatGPT

Herramientas: LangChain, LlamaIndex

Desafíos que encontramos 

Aprendizaje de trabajar con el framework full-stack de Python "TaiPy".  
La optimización de prompts para evitar alucinaciones.  
El uso de LangChain para obtener una plantilla específica que incluya citas señalando la fuente de la respuesta/reclamación.  
Incompatibilidades entre diferentes herramientas que queríamos utilizar.

Lo siguiente en lo que estamos trabajando para Wall-M

Usad la prueba de concepto para los casos de uso especificados y evaluad su rendimiento utilizando benchmarks para validar la credibilidad del producto. Estamos trabajando en la integración en aplicaciones de correo electrónico comúnmente utilizadas, como Outlook y Gmail, con usos personalizados para mejorar la utilidad de WALL-M.

Pruébalo

Nuestro repositorio de Github : https://github.com/lars-quaedvlieg/WALL-M