Databricks anunció hoy una nueva herramienta de recuperación de próxima generación (RAG) para su plataforma de inteligencia de datos para ayudar a los clientes a crear, implementar y mantener aplicaciones de modelado de lenguajes (LLM) a gran escala de alta calidad.
Disponibles en versión preliminar pública a partir de hoy, las herramientas abordan desafíos clave en el desarrollo de aplicaciones RAG de nivel de producción. Estos van desde proporcionar datos comerciales reales relevantes de varias fuentes hasta combinar esos datos con el modelo correcto para la aplicación prevista y monitorear esa aplicación en busca de toxicidad y otros problemas que comúnmente afectan a los LLM.
«Si bien hay prisa por desarrollar e implementar aplicaciones de recuperación de próxima generación, las organizaciones luchan por encontrar soluciones que brinden consistentemente respuestas precisas y de alta calidad y que cuenten con salvaguardias adecuadas para evitar respuestas no deseadas y fuera de marca», Craig Wiley, sénior. director de producto para AI/ML en Databricks, dijo a VentureBeat.
Las nuevas herramientas apuntan exactamente a este problema.
¿Qué es RAG y por qué es tan difícil?
Los LLM están de moda, pero la mayoría de los modelos que existen tienen conocimiento parametrizado, lo que los hace útiles para responder a solicitudes comunes a la velocidad del rayo. Para modernizar estos modelos y abordar cuestiones específicas, especialmente para las necesidades internas del negocio, las empresas están mirando a la generación renovable o RAG. Es una técnica que explota ciertas fuentes específicas de datos para aumentar aún más la precisión y confiabilidad del modelo y mejorar la calidad general de sus respuestas. Imagine que un modelo está entrenado con datos de recursos humanos para ayudar a los empleados con diferentes preguntas.
RAG consta de varias capas de trabajo. Debe recopilar, preparar y combinar los datos estructurados y no estructurados más recientes de múltiples sistemas con modelos precisos, recomendaciones de ingeniería, observaciones y más. Este es un proceso fragmentado que deja a muchos equipos con aplicaciones RAG que no son perfectas.
Cómo ayuda Databricks
Con las nuevas herramientas RAG en su plataforma de inteligencia de datos, Databricks resuelve este problema, brindando a los equipos la oportunidad de integrar todos los aspectos y rápidamente crear prototipos y enviar aplicaciones con calidad RAG a producción.
Por ejemplo, con las nuevas capacidades de servicio de características y búsqueda de vectores, se elimina la molestia de crear canales complejos para cargar datos en una capa de servicio enriquecida. Todos los datos estructurados y no estructurados (de las tablas Delta) se extraen y sincronizan automáticamente con la aplicación LLM, lo que garantiza que tenga acceso a la información comercial más reciente y relevante para brindar respuestas precisas y bien informadas.
«Unity Catalog realiza un seguimiento automático de la secuencia entre las copias en línea y fuera de línea de las bases de datos servidas, lo que hace que sea mucho más fácil depurar problemas de calidad de los datos. También aplica constantemente la configuración de control de acceso entre las transacciones en línea y fuera de línea, lo que significa que las empresas pueden monitorear y controlar mejor que ve información confidencial confidencial», escribieron el cofundador y vicepresidente de ingeniería de Databricks, Patrick Wendell, y el director de tecnología de Neural Networks, Hanlin Tang, en una declaración conjunta. entrada en el blog.
Luego, con el campo de juego de IA integrado y la evaluación de MLFlow, los desarrolladores obtienen la capacidad de acceder a modelos de varios proveedores, incluidos Azure OpenAI Service, AWS Bedrock y Anthropic y modelos de código abierto como Llama 2 y MPT, y ver si les va en clave. métrica. como toxicidad, latencia y recuento de tokens. En última instancia, esto les permite basar su proyecto en el modelo más económico y de mejor rendimiento a través del servicio modelo, y al mismo tiempo tienen la opción de cambiar cuando surge algo mejor.
En particular, la compañía también lanza API de modelo central, un conjunto de modelos LLM totalmente administrados que se sirven desde la infraestructura de Databricks y se pueden usar para aplicaciones mediante pago por token, lo que brinda beneficios de costos y flexibilidad con datos avanzados. seguridad
Una vez implementada la aplicación RAG, el siguiente paso es monitorear cómo escala en el entorno de producción. Aquí es donde entra en juego la capacidad de seguimiento Lakehouse totalmente administrada de la empresa.
El monitoreo de Lakehouse puede monitorear automáticamente las respuestas de las aplicaciones para verificar si hay envenenamiento, alucinaciones u otro contenido inseguro. Este nivel de detección puede luego aprovechar paneles de control, sistemas de alerta y canales de datos relacionados, lo que permite a las tripulaciones tomar medidas y prevenir grandes fiascos de alucinaciones. La función está directamente integrada con la serie de modelos y datos, para que los desarrolladores puedan comprender rápidamente los errores y la causa raíz detrás de ellos.
La aprobación ya está en proceso.
Si bien la empresa acaba de lanzar la herramienta, Wiley confirmó que muchas empresas ya la están probando y utilizando con la plataforma Databricks Data Intelligence, incluido el proveedor RV Lippert y EQT Corporation.
«Al administrar un entorno de centro de llamadas dinámico para una empresa de nuestro tamaño, el desafío de incorporar nuevos agentes dentro de la rotación típica de agentes es importante. Databricks proporciona la clave de nuestra solución… Al incorporar contenido de manuales de productos, videos de YouTube y casos de soporte en Vector Search, Databricks garantiza que nuestros agentes tengan el conocimiento que necesitan al alcance de su mano. Este enfoque innovador es un punto de inflexión para Lippert, ya que aumenta la eficiencia y mejora la experiencia de atención al cliente», dijo Chris Nishnick, quien dirige las operaciones de datos y la inteligencia artificial en Lippert. liderará, dijo.
Internamente, los equipos empresariales han creado aplicaciones RAG utilizando las mismas herramientas.
«El equipo de TI de Databricks tiene varios proyectos internos que implementan IA generativa, incluida la prueba piloto de un slackbot RAG para que los gerentes de cuentas encuentren información y una extensión de navegador para que los representantes de ventas y de desarrollo comercial lleguen a nuevos clientes potenciales», dijo Wileys.
Debido a la creciente demanda de aplicaciones LLM por temas específicos y por materias, Databricks planea «invertir mucho» en su herramienta RAG, cuyo objetivo es permitir a los clientes crear aplicaciones LLM de alta calidad basadas en sus datos en producción, estableciendo la escala. La empresa ya ha realizado importantes investigaciones en este ámbito y planea anunciar más innovaciones en el futuro, añadió el director de producto.
La misión de VentureBeat es ser una plaza digital para que los tomadores de decisiones técnicas aprendan y comuniquen sobre la tecnología empresarial transformadora. Descubra nuestros calzoncillos.
