OpenAI Revela GPT-Modelo de voz a voz en tiempo real con soporte multimodal y capacidades conversacionales avanzadas

Organización de investigación en inteligencia artificial OpenAI anunció la disponibilidad general de su API en tiempo real, ahora mejorada con funciones que permiten a desarrolladores y empresas crear agentes de voz robustos y listos para producción. La API admite servidores MCP remotos, entradas de imágenes y llamadas telefónicas mediante el Protocolo de Inicio de Sesión (SIP), lo que permite aplicaciones de voz más potentes y sensibles al contexto.

Junto con la API, OpenAI ha lanzado su modelo de voz a voz más avanzado, gpt-realtime, diseñado para mejorar el seguimiento de instrucciones, la llamada a funciones y un habla con un sonido natural. El modelo puede interpretar indicaciones complejas, cambiar de idioma a mitad de frase, reproducir secuencias alfanuméricas con precisión y captar señales no verbales. También están disponibles dos nuevas voces, Cedar y Marin, que ofrecen una entonación más expresiva y humana. Las voces existentes se han actualizado para incorporar estas mejoras.

La API en tiempo real procesa el audio directamente a través de un único modelo, lo que reduce la latencia y preserva los matices, a diferencia de las canalizaciones tradicionales que encadenan modelos separados de voz a texto y texto a voz. gpt-realtime se ha entrenado en colaboración con los usuarios para destacar en aplicaciones prácticas como atención al cliente, asistencia personal y educación. Las evaluaciones comparativas muestran mejoras sustanciales en el razonamiento, la adherencia a las instrucciones y la precisión de las llamadas a funciones en comparación con los modelos anteriores.

Las actualizaciones adicionales incluyen llamadas de funciones asincrónicas, lo que permite operaciones de larga duración sin interrumpir conversaciones en curso y brinda mayor soporte a experiencias de voz fluidas y listas para producción.

OpenAI Amplía la API en tiempo real con compatibilidad con MCP, entradas de imágenes, integración SIP y controles de ahorro de costos para agentes de voz.

OpenAI La API en tiempo real de 's ahora incluye nuevas funciones diseñadas para simplificar la integración y ampliar las capacidades de los agentes de voz listos para producción. Los desarrolladores pueden habilitar la compatibilidad remota con MCP vinculando una sesión a la URL de un servidor MCP, lo que permite que la API administre automáticamente las llamadas a herramientas y acceda a funcionalidades adicionales sin necesidad de configuración manual.

El modelo gpt-realtime ahora admite entradas de imágenes, lo que permite al sistema incorporar fotos, capturas de pantalla y otros elementos visuales junto con audio o texto. Esto permite a los usuarios hacer preguntas contextuales sobre lo que ven, mientras que los desarrolladores controlan qué imágenes se comparten y cuándo.

Las mejoras adicionales incluyen compatibilidad con el Protocolo de inicio de sesión (SIP) para conectar aplicaciones a redes telefónicas y sistemas PBX, así como indicaciones reutilizables que permiten a los desarrolladores guardar e implementar instrucciones, herramientas y mensajes de ejemplo preconfigurados en múltiples sesiones.

La API en tiempo real y el modelo gpt-realtime, disponibles para el público general, ya están disponibles para todos los desarrolladores, con un precio reducido en un 20 % en comparación con la versión previa gpt-4o-realtime-preview. Los nuevos controles para el contexto de conversación permiten una gestión más inteligente de tokens, lo que reduce los costes de las sesiones de larga duración. La documentación, un área de pruebas y una guía de indicaciones de la API en tiempo real están disponibles para ayudar a los desarrolladores a adoptar estas funciones.