CEO de Microsoft, Satya Nadella
Jordan Novet | CNBC
Durante la exageración del chatbot de la semana pasada, con microsoft Y Google En un intento de superarse unos a otros mostrando las primeras versiones de la búsqueda basada en inteligencia artificial, más de 1 millón de personas se registraron para probar la herramienta de Microsoft en las primeras 48 horas, dijo la compañía.
El CEO de Microsoft, Satya Nadella, dijo a CNBC que la tecnología que puede arrojar respuestas completas que se leen como si estuvieran escritas por un humano «tal vez fue la revolución industrial llevada al trabajo del conocimiento».
Pero para aquellos preocupados por la precisión, la IA deja mucho que desear.
En la demostración de Microsoft para los periodistas, la tecnología similar a ChatGPT integrada en el motor de búsqueda Bing de la empresa analizó los informes de ganancias. brecha Y Lululemón. Al comparar sus respuestas con los informes reales, el chatbot omitió algunos números. Otros parecen haber sido inventados.
“Bing AI dio algunas respuestas completamente incorrectas durante su demostración. Pero nadie se dio cuenta», escribió el investigador de búsqueda independiente Dmitri Brereton en una publicación de Substack el lunes. «En cambio, todos se subieron al tren de Bing».
Además de los errores financieros, Brereton identificó posibles problemas fácticos en la demostración de Microsoft en sus respuestas sobre especificaciones de aspiradoras y planes de viaje a México. Le dijo a CNBC que no buscó errores al principio y solo los detectó cuando miró más de cerca para escribir una comparación de las revelaciones de IA de Microsoft y Google.
Los expertos en inteligencia artificial llaman al fenómeno «alucinación», o la tendencia de las herramientas basadas en grandes modelos de lenguaje a simplemente inventar cosas. La semana pasada, Google presentó una herramienta de inteligencia artificial de la competencia que también contenía errores de hecho, aunque los espectadores los señalaron rápidamente.
Ambas empresas se apresuran a integrar nuevos tipos de IA generativa en los motores de búsqueda y están ansiosas por mostrar sus avances tras la explosión de ChatGPT, que OpenAI presentó al público en noviembre. OpenAI ha recaudado miles de millones de Microsoft, mientras que las nuevas empresas competidoras como Stability AI y Hugging Face también han aumentado a valoraciones de miles de millones de dólares en rondas de financiación privadas.
Si bien Google se ha mostrado reacio a insertar respuestas generadas por IA en los motores de búsqueda, citando riesgos de reputación y preocupaciones de seguridad, Microsoft enfatizó el potencial a corto plazo de llevar la tecnología a un segmento del público en su anuncio la semana pasada.
«Creo que es importante no estar en un laboratorio», dijo Nadella. «Necesitas sacar estas cosas de manera segura».
Cuando llegó el momento de demostrar la respuesta de Bing AI a una pregunta sobre ganancias corporativas, surgieron algunos problemas.
Yusuf Mehdi, un ejecutivo de marketing de Microsoft, navegó al sitio de relaciones con inversores de Gap y le pidió a Bing AI que resumiera los «puntos clave» del informe de ganancias del tercer trimestre del minorista en noviembre.
«Muy genial. Un gran ahorro de tiempo», dijo Mehdi.
Estas son capturas de pantalla de la demostración de Microsoft:
Aquí hay algunos errores en el resumen:
- El margen bruto informado de Gap fue del 37,4%. Pero después de deducir las tarifas relacionadas con Yeezy, su margen bruto ajustado fue del 38,7%.
- El margen de la brecha operativa fue del 4,6 %, no del 5,9 %, una cifra que no se encuentra en el informe de la empresa.
- Las ganancias por acción diluidas ajustadas se ajustaron a $0,71 en lugar de $0,42, una cifra que no se incluye en el informe. La brecha reportada incluyó un beneficio de impuesto sobre la renta ajustado de aproximadamente $0.33.
- Gap retiró su perspectiva para todo el año en agosto y dijo en su informe del tercer trimestre que «las ventas netas del cuarto trimestre podrían disminuir en un dígito medio año tras año». Eso significaría una disminución de las ventas durante todo el año, en lugar de un «crecimiento bajo de dos dígitos». No hay orientación para el margen operativo o EPS.
Microsoft dijo que conoce los errores y espera que Bing AI cometa errores.
«Conocemos este informe y hemos analizado sus hallazgos para mejorar esta experiencia», dijo un portavoz de Microsoft a CNBC. «Reconocemos que aún queda trabajo por hacer y esperamos que el sistema pueda cometer errores durante este período de vista previa, por lo que la retroalimentación es vital para que podamos aprender y mejorar los modelos».
Luego, Microsoft le pidió a Bing AI que comparara las ganancias de Gap con el informe de Lululemon. Mehdi quería que Bing extrajera la información de los dos informes en una hoja de cálculo.
«Mira lo increíble que es esto», dijo. “Así, en una tabla, puedo obtener una respuesta a esta pregunta. Piensa cuánto tiempo habría tomado de otra manera”.
Esto es lo que devolvió la herramienta Bing AI:
Hay varios errores en la tabla, empezando por los márgenes.
- El margen bruto de Lululemon fue del 55,9 %, no del 58,7 %.
- El margen operativo de la empresa fue del 19%, no del 20,7%.
- Lululemon informó ganancias diluidas por acción de $2 y ganancias ajustadas por acción de $1,62. Bing mostró un número de EPS diluido de $1.65.
- Gap tenía $ 679 millones en efectivo y equivalentes de efectivo, no $ 1.4 mil millones.
- Gap tenía $ 3.04 mil millones en inventario, no $ 1.9 mil millones.
RESPECTO: Entrevista completa de CNBC con Thomas Siebel, director ejecutivo de C3.ai
![Vea la entrevista completa de CNBC con el CEO de C3.ai, Thomas Siebel](https://image.cnbcfm.com/api/v1/image/107194504-16764035281676403525-28196649117-1080pnbcnews.jpg?v=1676406146&w=750&h=422&vtcrop=y)