2023/24 o la imparable adopción de la IA generativa en el sector público
Autor: Adrian Gonzalez Sanchez es un especialista de datos e inteligencia artificial que trabaja con clientes del sector público y sanitario español. Es profesor universitario, y autor del libro de O’Reilly Azure OpenAI.
La IA generativa ha llegado para quedarse. Su impacto en todos los sectores de actividad es innegable, y la creciente demanda de capacidades de IA generativa a nivel corporativo, así como el lanzamiento de servicios avanzados tipo Azure OpenAI o Microsoft Copilot, no ha hecho sino acelerar lo que ya parece un hecho: todas las organizaciones, ya sean públicas o privadas, están explorando estas tecnologías para mejorar sus actividades y crear herramientas avanzadas para todo tipo de usuarios.
El caso del sector público no es una excepción, y es precisamente uno de los más decididos a la hora de explorar y adoptar la IA generativa. Si bien 2023 ha sido el periodo de aprendizaje y pruebas en las administraciones y empresas públicas, 2024 es el año definitivo para la culminación de esta adopción masiva y responsable de la IA. Comparto en este blog mi análisis y lecciones aprendidas como especialista de datos e IA, con el objetivo de seguir facilitando dicha adopción en las entidades públicas de todo el mundo.
El anuncio de ChatGPT por parte de la startup OpenAI a finales de 2022 abrió una nueva época de adopción de la inteligencia artificial generativa en la mayor parte de organizaciones del mundo. Desde entonces, organizaciones de todo el mundo se han lanzado y posicionado dentro del tablero de la IA, ya sea como empresas que crean soluciones, o como aquellas que las adoptan. Entre ellas, el sector público, que ha visto decididamente la oportunidad de escalar y mejorar los servicios a la ciudadanía mediante la combinación de la IA generativa y el talento humano. Y por supuesto, Microsoft, como una de las empresas líderes del sector tecnológico.
Casos como la AMA (Agencia de Modernización de la Administración portuguesa) con su asistente virtual en forma de avatar equipado con la tecnología de Azure OpenAI, la oferta dedicada de IA generativa para el Microsoft Azure Government de Estados Unidos, o la aplicación pionera de la IA generativa para el análisis y diagnóstico de enfermedades raras en el SERMAS de la Comunidad de Madrid, son ejemplos perfectos de la evolución tecnológica y la creciente demanda de servicios de IA generativa en el ámbito público. Más allá de los “ChatGPTs” clásicos, las organizaciones requieren herramientas adaptadas a sus necesidades, que puedan controlar y personalizar para crear sus casos de uso específicos. Ahí es donde la nube de Microsoft Azure juega un rol fundamental, con plataformas privadas de IA generativa que utilizan modelos — tanto propietarios como open source — tan conocidos como GPT4 de OpenAI, Llama2 de Meta, Mistral, etc.
Sin embargo, en todo ciclo de adopción hay una fase de aprendizaje y normalización. Durante 2023, los organismos públicos se han enfrentado a las mismas preguntas y retos que cualquier otra empresa del sector privado, y este listado pretende recoger nuestros aprendizajes clave con clientes y partners de IA generativa de Microsoft en todo el mundo:
1) La evolución de los casos de uso
Debido — o gracias — a la irrupción de ChatGPT, el caso de uso por excelencia para la IA generativa ha sido la creación de chatbots avanzados (aquellos que permiten comunicar de manera eficaz, sin seguir reglas pre-entrenadas, como en el caso de los chatbots tradicionales). Sin embargo, las entidades públicas y privadas de todo el mundo han seguido explorando otras opciones como sistemas de inteligencia documental que permiten hacer preguntas a texto complejos (legales, técnicos, etc.), cuadros de búsqueda avanzados que combinan la búsqueda tradicional por palabras clave, con la detección de intenciones del usuario en base a preguntas complejas, integración de los modelos de IA generativa para automatizar el análisis de documentos y trazas de sistemas TI en el back-end, la combinación de la IA generativa con sistemas de transcripción voz a texto y generación de texto a voz para lograr servicios públicos más accesibles, etc. La ideación de casos para el sector público no ha hecho más que comenzar.
2) El arte de la estimación de la IA generativa
El paso previo a cualquier presupuesto de innovación es la capacidad de estimar los escenarios de uso, y su coste potencial. Es decir, poder conocer de antemano la inversión necesaria para poner en marcha y utilizar una herramienta de IA en empresa. En el caso de la IA generativa, la noción de tokens como nuevo concepto y unidad de medida con una equivalencia aproximada de 750 tokens y 1000 palabras, es la que permite cuantificar la longitud de todas las preguntas (prompts) y respuestas (completions) que los usuarios harán a la herramienta. Saber definir escenarios de máximos en los que, por ejemplo, 1000 funcionarios internos utilicen un bot de IA generativa para encontrar información en el día a día, con un número medio de interacciones al día, y que eso suponga un total acumulado de tokens al mes, es el primer paso para tener una idea precisa del coste del mismo. Para tal fin, la calculadora oficial de Azure es la referencia perfecta, ya que permite seleccionar modelos y la cantidad estimada de tokens, para obtener un total de coste estimado, y que eso sirva como entrada para los presupuestos públicos anuales.
3) La búsqueda de confidencialidad y privacidad
Uno de los elementos clave para una adopción segura y responsable de la IA en el sector público es la capacidad de crear espacios privados donde desplegar los servicios de IA en entornos protegidos, con los datos almacenados de manera privada y segura. Entidades públicas de todo el mundo aprovechan las capacidades de plataformas como servicio (PaaS) tipo Azure OpenAI (la versión para empresas de los modelos de OpenAI), como la selección de modelos en función de la región geográfica deseada, el filtrado de contenidos negativos, la creación de redes privadas, residencia de datos garantizada en la Unión Europea (EU Data Boundary de Microsoft), cumplimiento de GDPR y otras regulaciones internacionales, etc. Todo ello con la garantía de usar modelos de IA de última generación, sin que ninguna empresa o proveedor (incluida Microsoft) tenga acceso a los datos, que pertenecen a los estamentos públicos.
4) Eficiencia de coste
Uno de los conceptos clave en el mundo de la innovación es el TCO (Total Cost of Ownership), que cuantifica el coste total de cualquier implementación, más allá del uso o mantenimiento de modelos de IA. En el caso del sector público, esto cobra especial relevancia ya que hay que considerar no sólo el coste de la infraestructura y los recursos de IA, sino también aspectos ligados al desarrollo e implementación, en general externalizados con la ayuda de partners integradores. Uno de los facilitadores clave en el sector público a nivel internacional ha sido la elección de modelos manejados, como aquellos de Llama2 en Azure, Azure OpenAI Service, u otros disponibles en el Azure AI Studio a través de su catálogo de modelos. En términos prácticos, esto supone poder testear, ajustar, y desplegar modelos de IA generativa en pocos minutos, con un conocimiento técnico medio o alto, en función de la herramienta.
5) Alucinaciones y maneras de personalizar modelos
El término “alucinación” se refiere a la habilidad de un modelo de IA generativa para crear, de manera creativa, una respuesta que quizás pueda tener sentido a nivel lingüístico, pero cuya información no sea totalmente correcta. En términos simples, la IA generativa (independientemente del tipo de proveedor o modelo) puede generar respuestas incorrectas, y eso es especialmente crítico en el sector público, ya que se espera de los servicios públicos en línea un nivel de precisión y prescripción adecuado. Para consolidar la base de conocimiento del sistema de IA, y reducir la posibilidad de alucinaciones, los modelos de IA generativa pueden ser personalizados de dos maneras: via ajuste fino (fine tuning), que implica entrenar un modelo existente con datos propios, o en base a un patrón de arquitectura RAG (generación aumentada de recuperación). Ambos son interesantes, pero el primero implica un coste de entrenamiento y preparación superior, mientras que el segundo combina el modelo de IA generativa con una base de documentos existentes, sin necesidad de reentrenar. Esta segunda opción es la favorita de las entidades públicas, por su relación de rendimiento y baja complejidad. Además, permite citar fuentes y compartir documentos públicos dentro de la dinámica de chatbots o cuadros de búsqueda.
6) Multilenguaje para sistemas públicos políglotas
Estando los servicios públicos orientados a ciudadanos locales, quienes pueden hablar y escribir diferentes lenguajes debidos a situación de inmigración, plurilingüismo gracias a varias lenguas oficiales (como en el contexto Europeo y Español), o flujos migratorios temporales debidos a contextos bélicos, es importante adaptar dichos servicios públicos a varios lenguajes, sin necesidad de pre-ajustar el modelo o incluso de preparar documentación o páginas web que sirvan como fuentes de información, en diferentes idiomas. Modelos como Azure OpenAI GPT4 para lenguaje, o sistemas de transcripción de como Whisper de Azure OpenAI, permiten reconocer el lenguaje del ciudadano, y adaptar la comunicación sin necesidad de preparar nada previamente. Esto ayuda en situaciones en los que la documentación está disponible en un sólo lenguaje, pero se quiere dar respuesta en varias lenguas.
7) Nube y/u on-prem, o cómo combinarlos
Un dilema clásico en cualquier administración pública. La creciente adopción de sistemas de nube en los estamentos ha dado lugar a entornos híbridos que permiten generar diferentes tipos de capacidades en la nube de Azure, complementada con los sistemas locales “on premise” existentes. En el caso de la IA generativa en contexto público, la nube Azure trae la posibilidad de acceder a modelos pre-entrenados, grandes y pequeños, securizados y paquetizados para accederlos desde cualquier otro sistema de la organización. Esto contribuye a una adopción rápida y eficaz. La infraestructura on premise puede ayudar con ciertas pruebas de modelos no propietarios (open source), o incluso para entornos 100% desconectados. Dependiendo del contexto del estamento público, se ve una combinación de ambas, o en muchos la migración de las cargas de IA a la nube de Azure para reducir coste de inversión, y garantizar la escalabilidad de los servicios.
8) El ROI es el rey
Pese a las ganas de innovar y probar modelos para ir aprendiendo las cuestiones técnicas (desplegar, probar APIs, etc), cualquier organización se guía según el retorno de inversión esperado. Es decir, qué beneficio se puede obtener en base a la inversión requerida. El sector público no es una excepción, y requiere de un análisis preliminar para 1) verificar el valor potencial de la IA generativa en el contexto público 2) garantizar la escalabilidad del sistema, en caso de un alto uso del sistema para que no se supere un presupuesto establecido. En el caso del sector público, el primer punto puede hacer referencia a una ganancia de eficacia en la gestión pública que repercuta en brindar servicios reduciendo fricciones y tiempos de espera, habilitar al funcionariado público con herramientas que permitan acceder a información de una manera más simple y eficaz, y escalar servicios que no podrían llevarse a cabo de manera manual debido al coste potencial o la falta de personal disponible. En este caso, los workshops preliminares con los equipos IA de Microsoft equipan a las entidades públicas para planear casos sostenibles y factibles.
Estos son sólo algunos aprendizajes obtenidos durante el primer año de adopción de la IA generativa en las entidades públicas de todo el mundo. La percepción de complejidad de este tipo de tecnologías, así como el contexto cambiante del mundo de la IA, pueden dar la sensación de innovación inalcanzable en ciertas entidades públicas, pero nada más lejos de la realidad. Uno de los factores clave de la IA generativa es la accesibilidad de dichos modelos, tanto a nivel implantación como en su uso diario. En el caso de Azure OpenAI, mediante una plataforma end-to-end que permite el uso y monitoreo de modelos de IA generativa. Esto no ha hecho más que comenzar, y muchas administraciones públicas de todo el mundo ya están aprovechando las ventajas de dichas tecnologías.
