Sam Altman, director ejecutivo y cofundador de OpenAI, habla durante una audiencia del Subcomité Judicial del Senado el martes 16 de mayo de 2023 en Washington, DC, EE. UU. El Congreso debatirá el potencial y las trampas de la inteligencia artificial a medida que surjan productos como ChatGPT, haciendo preguntas sobre el futuro de las industrias creativas y la capacidad de discernir la realidad de la ficción.
eric lee | alcalde Bloomberg | imágenes falsas
La semana pasada, el CEO de OpenAI, Sam Altman, cautivó a una sala llena de políticos durante una cena en Washington, DC, y luego pasó casi tres horas testificando sobre los riesgos potenciales de la inteligencia artificial en una audiencia del Senado.
Después de la audiencia, resumió su postura sobre la regulación de la IA, utilizando términos que no son comúnmente conocidos por el público en general.
«La seguridad de AGI es realmente importante y los modelos de límites deben ser regulados», tuiteó Altman. «La cobertura regulatoria es deficiente y no deberíamos meternos con los modelos por debajo del umbral».
En este caso, «AGI» se refiere a «Inteligencia General Artificial». Como concepto, significa una IA mucho más avanzada de lo que es posible actualmente, una que puede hacer la mayoría de las cosas tan bien o mejor que la mayoría de los humanos, incluida la superación personal.
Los «modelos fronterizos» son una forma de hablar sobre los sistemas de IA que son más caros de construir y analizar la mayor cantidad de datos. Los modelos de lenguaje grande como GPT-4 de OpenAI son modelos de frontera en comparación con los modelos de IA más pequeños que realizan tareas específicas como identificar gatos en fotos.
La mayoría de la gente está de acuerdo en que, a medida que se acelera el ritmo de desarrollo, debe haber leyes que rijan la IA.
“El aprendizaje automático, el aprendizaje profundo, se ha desarrollado muy rápidamente en la última década más o menos. Cuando salió ChatGPT, evolucionó de una manera que nunca imaginamos que podría suceder tan rápido», dijo My Thai, profesor de ciencias de la computación en la Universidad de Florida. «Nos preocupa que estemos entrando en un sistema más poderoso que no entendemos completamente y no podemos anticipar lo que puede hacer».
Pero el lenguaje de este debate revela dos campos principales entre académicos, políticos y la industria tecnológica. Algunos están más preocupados por lo que llaman «Seguridad de IA.«El otro bando está preocupado por lo que llaman»Ética de la IA.«
Hablando ante el Congreso, Altman evitó la jerga técnica en su mayor parte, pero su tweet indicó que su principal preocupación es la seguridad de la IA, una postura compartida por muchos líderes de la industria en compañías como OpenAI liderada por Altman, Google DeepMind y empresas emergentes bien capitalizadas. compartir. Les preocupa la posibilidad de construir un AGI hostil con poderes inimaginables. Este campo cree que necesitamos urgentemente la atención del gobierno para regular el desarrollo y prevenir un final prematuro de la humanidad, un esfuerzo similar a la no proliferación nuclear.
«Es bueno saber que tantas personas se toman en serio la seguridad de AGI», dijo el fundador de DeepMind y actual director ejecutivo de Inflection AI, Mustafa Suleyman. tuiteó el viernes. “Tenemos que ser muy ambiciosos. El Proyecto Manhattan costó el 0,4% del PIB de EE.UU. Imagine lo que un programa de seguridad como este podría lograr hoy”.
Pero gran parte de la discusión en el Congreso y la Casa Blanca sobre la regulación se lleva a cabo desde la perspectiva de la ética de la IA, que se centra en los daños actuales.
Desde esta perspectiva, los gobiernos deben garantizar la transparencia sobre cómo los sistemas de IA recopilan y usan datos, limitar su uso en áreas sujetas a leyes contra la discriminación, como vivienda o empleo, y explique por qué la tecnología de IA actual es inadecuada. La propuesta de la Declaración de Derechos de AI de la Casa Blanca a fines del año pasado contenía muchas de estas preocupaciones.
Este campo estuvo representado en la audiencia en el Congreso por IBM Christina Montgomery, directora de privacidad, dijo a los legisladores que todas las empresas que trabajan en estas tecnologías deberían tener un punto focal para la «ética de la IA».
«Debe haber una guía clara sobre los usos finales de la IA o las categorías de actividades impulsadas por la IA que son inherentemente de alto riesgo», dijo Montgomery al Congreso.
Cómo entender la jerga de la IA como un experto
Ver también: Cómo hablar sobre la IA como un experto
No en vano, el debate sobre la IA ha desarrollado su propia jerga. Comenzó como un campo académico técnico.
Gran parte del software discutido hoy se basa en los llamados modelos de lenguaje grande (LLM), que utilizan unidades de procesamiento gráfico (GPU) para predecir oraciones, imágenes o música estadísticamente probables, un proceso llamado «inferencia». Por supuesto, los modelos de IA primero deben crearse en un proceso de análisis de datos llamado «entrenamiento».
Pero otros términos, en particular por parte de los defensores de la seguridad de la IA, son de naturaleza más cultural y, a menudo, se refieren a referencias compartidas y bromas internas.
Por ejemplo, los guardias de seguridad de IA pueden decir que tienen miedo de convertirse en uno. clip de papel. Esto se refiere a un experimento mental popularizado por el filósofo Nick Bostrom, que afirma que una IA dominada, una «superinteligencia», podría tener la tarea de hacer tantos clips como sea posible y, lógicamente, decidir matar a los humanos que hacen de los clips sus restos.
El logotipo de OpenAI está inspirado en esta historia, y la empresa incluso hizo clips con la forma de su logotipo.
Otro concepto de la seguridad de la IA es que “comienzo dificil» o «Inicio rápido«, una frase que sugiere que cuando alguien logra construir un AGI, ya es demasiado tarde para salvar a la humanidad.
A veces esta idea se describe en términos de onomatopeya – «espuma“ – especialmente entre los críticos del concepto.
«Es como si estuvieras creyendo el ridículo escenario de comienzo difícil de ‘Foom’, lo que hace que parezca que no tienes ni idea de cómo funciona todo». tuiteó El jefe de Meta AI, Yann LeCun, que se muestra escéptico sobre las afirmaciones de AGI, en un debate reciente en las redes sociales.
La ética de la IA también tiene su propia jerga.
Al describir las limitaciones de los sistemas LLM actuales, que no entienden el significado sino que simplemente producen un lenguaje que parece humano, los expertos en ética de la IA a menudo los comparan con «Loros estocásticos.»
La analogía acuñada por Emily Bender, Timnit Gebru, Angelina McMillan-Major y Margaret Mitchell en un artículo escrito por algunos de los autores cuando algunos de los autores estaban en Google enfatiza que, si bien los modelos sofisticados de IA pueden producir texto de aspecto realista, sin embargo, el el software no entiende los conceptos detrás del lenguaje, como un loro.
Cuando estos LLM inventan hechos falsos en las respuestas, son «alucinar.»
Un tema destacado por Montgomery de IBM durante la audiencia fue «explicabilidad» en los resultados de IA. Esto significa que si los investigadores y los profesionales no pueden señalar el número exacto y la ruta de operaciones que utilizan los modelos de IA más grandes para derivar sus resultados, podría ocultar algunos sesgos inherentes en los LLM.
«El algoritmo tiene que ser explicable», dijo Adnan Masood, arquitecto de IA en UST-Global. «Si miras los algoritmos clásicos hasta ahora, dices: ‘¿Por qué estoy tomando esta decisión?’ Ahora, con un modelo más grande, se convierten en este modelo enorme, son una caja negra”.
Otro término importante es «barreras de choqueque incluye software y políticas que las grandes empresas de tecnología están construyendo actualmente en torno a los modelos de IA para garantizar que no divulguen datos ni produzcan contenido disruptivo, a menudo denominado «se salió del camino«
También puede referirse a ciertas aplicaciones que protegen el software de IA para que no se desvíe del tema, como el producto «NeMo Guardrails» de Nvidia.
«Nuestro Comité de Ética de IA desempeña un papel fundamental en la supervisión de los procesos internos de gobierno de IA y en la creación de barandillas adecuadas para garantizar que llevemos la tecnología al mundo de manera responsable y segura», dijo Montgomery esta semana.
En ocasiones estos términos pueden tener múltiples significados, como en el caso de «comportamiento emergente.»
Un artículo reciente de Microsoft Research titulado «Sparks of Artificial General Intelligence» afirmó identificar varios «comportamientos emergentes» en GPT-4 de OpenAI, como la capacidad de dibujar animales usando un lenguaje de programación de diagramas.
Pero también puede describir lo que sucede cuando se realizan cambios simples a escalas muy grandes, como los patrones que hacen las aves cuando vuelan en manadas o, en el caso de la IA, lo que sucede cuando millones de personas usan ChatGPT y productos similares, como Spam generalizado o desinformación.
