IA multimodal explicada: cuando se combinan texto, imágenes y audio

Una persona de cuentas por pagar fotografía una factura arrugada y pregunta: «¿Coincide con la orden de compra?». Un flujo tradicional podría usar OCR para leer el escaneo, reglas para comparar campos y una persona para interpretar un total borroso. Un modelo de IA multimodal puede leer la foto y ayudar a compararla con la orden, siempre que el sistema aporte ese documento o lo recupere mediante un acceso autorizado. Las reglas de validación siguen comprobando el resultado.

Gartner prevé que el 40 % de las soluciones de IA generativa serán multimodales en 2027, frente al 1 % en 2023.

Esta guía explica cómo funciona la IA multimodal, qué herramientas que ya tienes la incluyen, dónde aporta resultados, cuánto cuesta y cómo empezar un proyecto sin apostar el presupuesto a una demo.

¿Qué es la IA multimodal?

Una modalidad es un tipo de dato. La IA empresarial suele trabajar con cinco:

• Texto
• Imágenes
• Audio y voz
• Vídeo
• Datos de sensores o estructurados

Un PDF escaneado o una presentación no son una modalidad en sí. Son contenedores que mezclan texto, maquetación, tablas e imágenes, y por eso los documentos pueden beneficiarse de los modelos multimodales.

Un modelo unimodal maneja un solo tipo. ChatGPT, cuando se lanzó en noviembre de 2022, era unimodal: entraba texto y salía texto. Un modelo multimodal relaciona varios tipos. Puedes enseñarle la foto de una bomba averiada junto con el registro de mantenimiento y pedirle posibles causas que un técnico deberá comprobar.

La distinción más útil para quien decide es qué acepta el modelo y qué produce. Un modelo puede aceptar varias modalidades y devolver texto, mientras una aplicación lo combina con otros modelos o herramientas para producir voz o imágenes. OpenAI indica que GPT-5.5 acepta texto e imágenes y devuelve texto. La API de modelos de Claude devuelve texto; la aplicación de Claude también permite conversaciones habladas mediante el modo de voz. Gemini Omni Flash, de Google, se presentó en mayo de 2026 y acepta texto, imágenes, audio y vídeo para generar vídeo con sonido.

La adopción avanza rápido. Eurostat indica que alrededor del 20,0 % de las empresas de la UE de los sectores encuestados, con al menos 10 personas entre empleados y trabajadores por cuenta propia, usó IA en 2025. Su publicación de 2026 sitúa las cifras anteriores en el 13,5 % en 2024 y el 8,1 % en 2023, con el mismo redondeo. La generación de imágenes, vídeo o audio fue la segunda categoría de IA más utilizada en 2025, con el 9,55 %. Estas cifras miden el uso de IA en general, no solo la adopción de modelos multimodales.

Cómo funciona la IA multimodal: codificar, alinear, fusionar, responder

Una forma útil de entender la IA multimodal es mediante cuatro conceptos: codificar, alinear, fusionar y responder. Cada arquitectura los implementa de forma distinta, y la alineación suele aprenderse durante el entrenamiento, en lugar de ejecutarse como un paso separado en cada petición. El estudio de referencia sobre aprendizaje multimodal trata la representación, la alineación y la fusión como retos de investigación distintos.

Codificar. El modelo convierte las entradas en representaciones numéricas. Según la arquitectura, puede dividir las imágenes en parches o mosaicos, procesar el audio por segmentos de tiempo y descomponer el texto en tokens.

Alinear. El modelo aprende qué palabras corresponden a qué píxeles o sonidos. CLIP, de OpenAI, marcó el camino en 2021. Se entrenó con 400 millones de pares imagen-texto, acercando cada imagen a su descripción en un espacio matemático compartido. Ese espacio permite la búsqueda semántica de imágenes.

Fusionar. El modelo combina la información.

• La fusión temprana mezcla las modalidades desde el principio. Llama 4, de Meta, por ejemplo, procesa tokens de texto e imagen en una misma red.
• La fusión tardía deja que cada modalidad llegue a su propia conclusión antes de combinarlas.
• La atención intermodal permite que las representaciones de una modalidad se centren en información relevante de otra. Una frase como «el componente rojo junto a la válvula» puede dirigir al modelo hacia la zona pertinente de una imagen.

Responder. El modelo devuelve texto, un registro estructurado, un embedding para búsqueda o contenido generado.

Dos diseños habituales son los modelos nativos y las cadenas de especialistas, o pipelines.

Los modelos nativos se entrenan con varias modalidades a la vez dentro de una sola red. En su lanzamiento de 2024, OpenAI presentó GPT-4o como un único modelo de extremo a extremo para texto, visión y audio, que sustituía la anterior cadena de tres modelos de voz. OpenAI informó de un tiempo medio de respuesta de audio de 320 milisegundos; la latencia real depende del despliegue y de la petición.

Las cadenas o pipelines encadenan especialistas, por ejemplo voz a texto, luego un modelo de lenguaje y luego texto a voz. Gartner advierte que ensamblar modelos de una sola modalidad puede añadir latencia y restar precisión. Las cadenas también pueden dejar transcripciones o campos intermedios que facilitan probar cada componente y rastrear los errores.

IA multimodal en plataformas que quizá ya utilizas

Las plataformas que ya tienes contratadas pueden incluir funciones multimodales. Revisa las licencias, las modalidades admitidas y la disponibilidad en tu región antes de comprar otra herramienta.

Ejemplos de plataformas comprobados el 12 de octubre de 2026. Las funciones de las aplicaciones y las capacidades de las API de modelos difieren; confirma la licencia, el canal, la región, la versión del modelo y el endpoint.

Elige conjuntamente el flujo de trabajo, las modalidades de entrada, los controles y el presupuesto. Esos requisitos determinan qué funciones necesitas de la plataforma.

Dónde aporta resultados hoy la IA multimodal

Los ejemplos siguientes incluyen despliegues en producción, una prueba de concepto y un caso relacionado de automatización documental con IA generativa. Las cifras proceden del proveedor o del cliente; no constituyen pruebas independientes.

Atención al cliente por voz (en producción). HBX Group, empresa de tecnología turística con sede en Palma de Mallorca, gestiona más de 127.000 casos de clientes al mes. Con Ayesa Digital, usa modelos Gemini y Contact Center AI de Google para automatizar el 18 % de las llamadas en directo de alto volumen y resolver sin intervención humana más del 30 % de los casos repetitivos incluidos en el alcance. Su objetivo de que el 80 % de las interacciones pase por procesos de resolución con IA a finales de 2026 sigue siendo una meta.

Siniestros de seguros con fotos (prueba de concepto). Claims Services en Argentina trabaja para más de 40 aseguradoras. Describe una prueba de concepto en la que los talleres suben fotos de los daños y presupuestos para que la IA los contraste con referencias de mano de obra y precios de piezas. La empresa afirma que el sistema puede autorizar un presupuesto de reparación en unos 30 segundos, frente a un proceso que podía tardar semanas. El producto sigue en desarrollo; dos aseguradoras han mostrado interés en estar entre sus primeros usuarios.

Automatización documental con IA generativa (en producción). Ellby, empresa australiana de automatización documental, usa Claude Sonnet y Haiku en Amazon Bedrock. Su motor de reglas comprueba las respuestas del modelo y envía a revisión humana las facturas de baja confianza. Según AWS, la automatización pasó de menos del 60 % a más del 94 %, y el tiempo de incorporación de clientes bajó más del 55 %. AWS también indica que Ellby está explorando IA visual para documentos complejos. Las mejoras documentadas respaldan la automatización con IA generativa; la fuente no demuestra que procedan de un flujo de visión en producción.

Enriquecimiento del catálogo de producto (maduro). Wayfair usa Gemini en Vertex AI para etiquetar un catálogo de 30 millones de productos, en lugar de hacerlo a mano. El modelo también detecta dimensiones erróneas a partir de las imágenes. Wayfair informa de un 67 % menos de tiempo para preparar y actualizar fichas.

Inspección de calidad. Para detectar defectos con requisitos exigentes de latencia, la visión artificial especializada puede encajar en la línea de producción. Un modelo multimodal puede ayudar a interpretar las imágenes de inspección junto con los registros de mantenimiento o a redactar informes. Prueba la precisión y la latencia en los equipos reales antes de elegir el diseño.

Un principio útil para el despliegue: combinar la interpretación del modelo con reglas de validación y revisión humana cuando haga falta.

Cuánto cuesta y dónde falla

Coste. Muchas API de comprensión de contenido multimedia facturan por tokens; los servicios de generación pueden usar otras unidades, como segundos de vídeo. Calcula la petición completa, incluidas las entradas, las salidas y los cargos por herramientas.

• Claude: La documentación de visión de Anthropic describe parches de 28 × 28 píxeles y asigna 1.296 tokens visuales a una imagen de 1.000 × 1.000. Con la tarifa estándar de 5 USD por millón de tokens de entrada de Opus 4.7, la entrada de imagen cuesta 0,00648 USD, unos 0,65 céntimos de dólar. El texto de la petición, la respuesta generada y los ajustes de tarifa aplicables se suman al total.
• Gemini: La guía de tokens de Google da ejemplos de 258 tokens para una imagen de hasta 384 píxeles en ambos lados, 258 tokens por mosaico para imágenes mayores y 32 tokens por segundo de audio (1.920 por minuto). Su ejemplo de vídeo de unos 263 tokens por segundo da 15.780 tokens por minuto con la configuración de procesamiento estático citada. El consumo de vídeo varía según el modelo, la resolución, la frecuencia de muestreo y el modo de procesamiento; el procesamiento agéntico puede cargar solo el contenido necesario para una petición. Estas cifras describen tokens de entrada, no precios totales.
• Entre proveedores: en una comparación de mayo de 2026, Roboflow indicó que un mismo JPEG podía consumir 87 tokens en un proveedor y más de 6.000 en otro. Trátalo como un ejemplo fechado; calcula el presupuesto con la documentación actual de cada proveedor.

Un coste pequeño por entrada puede convertirse en una partida importante al procesar millones de páginas de facturas. Calcula el volumen y el coste del flujo completo antes de escalar. Comprueba la unidad de facturación de cada servicio: por ejemplo, las tarifas de generación de vídeo de Google incluyen cargos por segundo.

Dónde falla.

• Alucinación visual. En la presentación de GPT-5, OpenAI probó sus modelos con un banco de pruebas de gráficos al que había quitado las imágenes. Su modelo anterior, o3, respondió con seguridad sobre imágenes inexistentes el 86,7 % de las veces; GPT-5 lo hizo el 9 %. La mejora no elimina el riesgo.
• Fallos silenciosos. Microsoft indica que, sin el intérprete de código, Copilot Studio puede descartar el texto extraído que supere el límite aplicable de 30.000 caracteres y responder como si no se hubiera subido ningún archivo. Ese límite puede aplicarse al conjunto de varios archivos; los PDF tienen límites propios. Las imágenes con grano o mal iluminadas también pueden empeorar los resultados.
• Instrucciones ocultas. La investigación sobre inyección de instrucciones en imágenes muestra que las instrucciones incrustadas en una imagen pueden desviar el comportamiento de un modelo. La Cloud Security Alliance advierte de que los modelos pueden tratar esas instrucciones como parte de su tarea. El equipo de seguridad ofensiva de NVIDIA también demostró ataques con imágenes simbólicas que no dependen de texto en lenguaje natural, lo que expone limitaciones de los filtros de OCR y palabras clave.

La IA multimodal y el Reglamento de IA de la UE

El Reglamento de IA de la UE no trata la multimodalidad como una categoría de riesgo en sí misma. Tus obligaciones dependen del uso que des al sistema.

• Prohibiciones relevantes desde el 2 de febrero de 2025 (artículo 5):
  • IA que infiere emociones a partir de datos biométricos en el trabajo y en centros educativos, con las excepciones médicas o de seguridad previstas.
  • Categorización biométrica que infiere determinados rasgos sensibles, según el alcance y las excepciones del artículo.
  • IA que crea o amplía bases de datos de reconocimiento facial mediante la extracción indiscriminada de imágenes faciales de internet o de circuitos cerrados de televisión.

  Las directrices de la Comisión, apartado 254, extienden el ámbito laboral a los candidatos durante la selección y la contratación. Comprueba si una función de voz o vídeo infiere emociones a partir de datos biométricos y si se aplica alguna excepción; analizar el contenido de un texto escrito es una actividad distinta.

• Las normas de transparencia se aplican, con carácter general, desde el 2 de agosto de 2026 (artículo 50):
  • Los proveedores deben garantizar que las personas sepan cuándo interactúan directamente con una IA, incluidos los agentes de voz, salvo que resulte evidente por las circunstancias.
  • Los proveedores deben permitir el marcado y la detección legibles por máquina del audio, las imágenes, el vídeo y el texto sintéticos, con las excepciones previstas.
  • Los responsables del despliegue deben informar de los deepfakes, con matices que incluyen las obras claramente artísticas o de ficción.

  El artículo 111.4 da a los proveedores de sistemas pertinentes comercializados antes del 2 de agosto de 2026 hasta el 2 de diciembre de 2026 para cumplir la obligación de marcado del artículo 50.2. La edición estándar y determinados usos autorizados para la aplicación de la ley tienen excepciones. Las preguntas frecuentes de la Comisión sobre el artículo 50 explican el alcance.

• Artículo 9 del RGPD: los datos biométricos tratados para identificar de manera unívoca a una persona física son datos de categoría especial. Una foto o grabación no entra automáticamente en esa categoría por el mero hecho de contener una cara o una voz.

En España, la autoridad supervisora, AESIA, publica guías sobre los sistemas prohibidos. El perfil de IA generativa del marco de gestión de riesgos del NIST ofrece una referencia voluntaria de gobierno de la IA, también útil fuera de la UE.

La regulación pesa en las decisiones. Entre las empresas de la UE encuestadas que no usaban IA pero se habían planteado adoptarla, el 52,5 % cita las consecuencias legales poco claras y el 48,8 % las preocupaciones sobre protección de datos y privacidad como motivos para no hacerlo (Eurostat, 2025).

Cómo empezar un proyecto de IA multimodal en 6 pasos

1. Elige un flujo donde el equipo ya cambie de formato. Buenos candidatos son las facturas que llegan escaneadas, las llamadas que terminan en notas y las fotos de producto que se cruzan con fichas técnicas. Empieza por uno.

2. Revisa la plataforma y los controles de datos. Confirma los tipos de archivo, los límites, la disponibilidad regional y las condiciones de retención de tu plan. Define los accesos autorizados, las medidas de privacidad y los avisos de IA necesarios antes de recopilar documentos o grabaciones.

3. Crea un conjunto de evaluación con respuestas correctas. Para un piloto, entre 100 y 500 ejemplos reales pueden servir como punto de partida. Incluye imágenes borrosas, formatos poco habituales y grabaciones difíciles. Ajusta el tamaño de la muestra al riesgo del flujo; los fallos infrecuentes pueden exigir más ejemplos. Usa datos que tengas permiso para tratar.

4. Compara soluciones para cada paso.

   • Formularios estables: OCR con reglas de validación.
   • Formatos variables: evalúa la extracción multimodal a un esquema JSON estricto.
   • Inspección con requisitos exigentes de latencia: prueba visión artificial especializada.
   • Llamadas que debes auditar: una cadena de transcripción que conserve los registros intermedios.

5. Rodea el modelo de reglas. Comprueba que los totales cuadran, que el NIF o NIT tiene el formato correcto y que la orden de compra coincide. Envía a una persona los casos dudosos y los que fallen las validaciones. Usa un umbral de confianza solo después de comprobar que la puntuación predice errores en datos representativos; la confianza declarada por el modelo no basta.

6. Mide precisión, coste y controles antes del lanzamiento. Ejecuta el conjunto de evaluación y calcula el gasto mensual en entradas, salidas y herramientas. Prueba la derivación a revisión humana, los accesos, los avisos, la retención y el enmascarado de caras o voces que no necesites. Sigue comprobando estos controles conforme cambie el flujo.

El modelo percibe; las fórmulas, los scripts y los esquemas deciden. Así construye Liorant los sistemas multimodales: primero la preparación de datos y después el modelo, dentro de las herramientas que tu equipo ya usa. Para flujos con mucho trabajo documental, consulta nuestro servicio de IA generativa para empresas.

Preguntas frecuentes