Jakub Porzycki | Sólo foto |
OpenAI y Anthropic, las dos startups de inteligencia artificial mejor calificadas, acordaron que el Instituto de Seguridad de IA de EE. UU. pruebe sus nuevos modelos antes de su lanzamiento. La razón es la creciente preocupación del sector por la seguridad y la ética en el ámbito de la inteligencia artificial.
El instituto, que forma parte del Instituto Nacional de Estándares y Tecnología (NIST) del Departamento de Comercio, dijo en un comunicado de prensa que tendrá «acceso a los nuevos modelos más importantes de cada empresa antes y después de su lanzamiento público».
El grupo se formó después de que la administración Biden-Harris emitiera la primera orden ejecutiva del gobierno de EE. UU. sobre inteligencia artificial en octubre de 2023, exigiendo nuevas evaluaciones de seguridad, orientación sobre equidad y derechos civiles e investigación sobre el impacto de la IA en el mercado laboral.
«Nos complace haber llegado a un acuerdo con el Instituto de Seguridad de IA de EE. UU. para realizar pruebas preliminares de nuestros modelos futuros», escribió el director ejecutivo de OpenAI, Sam Altman, en una publicación en X. OpenAI también confirmó a CNBC el jueves que la compañía el año pasado El número de sus usuarios activos semanales se han duplicado a 200 millones. Axios fue la primera empresa en anunciar este número.
La noticia llega un día después de que surgieran informes de que OpenAI está en conversaciones para recaudar una ronda de financiación que valoraría a la empresa en más de 100 mil millones de dólares. Thrive Capital lidera la ronda e invertirá mil millones de dólares, según una fuente familiarizada con el asunto que habló bajo condición de anonimato porque los detalles son confidenciales.
Anthropic, fundada por antiguos líderes de investigación y empleados de OpenAI, fue valorada por última vez en 18.400 millones de dólares. recuentos antrópicos Amazonas como inversor líder, mientras que OpenAI cuenta con el fuerte apoyo de microsoft.
Los acuerdos entre el gobierno, OpenAI y Anthropic «permiten la investigación colaborativa para evaluar capacidades y riesgos de seguridad, así como métodos para mitigar esos riesgos», según el comunicado de prensa del jueves.
Jason Kwon, director de estrategia de OpenAI, dijo a CNBC: «Apoyamos firmemente la misión del Instituto de Seguridad de IA de EE. UU. y esperamos trabajar juntos para desarrollar mejores prácticas y estándares de seguridad para los modelos de IA».
Jack Clark, cofundador de Anthropic, dijo que la «colaboración de la compañía con el Instituto de Seguridad de IA de EE. UU. aprovecha su amplia experiencia para probar rigurosamente nuestros modelos antes del despliegue a gran escala» y «fortalece nuestra capacidad para identificar y mitigar riesgos, etc.». promover el desarrollo responsable de la IA”.
Varios desarrolladores e investigadores de IA han expresado su preocupación por la seguridad y la ética en la industria de la IA, cada vez más lucrativa. Los empleados actuales y anteriores de OpenAI publicaron una carta abierta el 4 de junio en la que describían los posibles problemas derivados de los rápidos avances en la IA, así como la falta de supervisión y protección de los denunciantes.
«Las empresas de IA tienen fuertes incentivos financieros para evitar una supervisión efectiva, y no creemos que las estructuras de gobierno corporativo adaptadas sean suficientes para cambiar esto», escribieron. Las empresas de IA, añadieron, «actualmente sólo tienen obligaciones débiles de compartir parte de esta información con los gobiernos y ninguna con la sociedad civil, y no se puede confiar en que compartan esta información voluntariamente».
Unos días después de la publicación de la carta, una fuente familiarizada con el asunto confirmó a CNBC que la FTC y el Departamento de Justicia iniciarían investigaciones antimonopolio sobre OpenAI, Microsoft y Nvidia. La presidenta de la FTC, Lina Khan, describió las acciones de su agencia como una «investigación de mercado sobre inversiones y asociaciones entre desarrolladores de IA y los principales proveedores de servicios en la nube».
El miércoles, los legisladores de California aprobaron un proyecto de ley explosivo sobre seguridad de la IA y lo enviaron al gobernador Gavin Newsom. Newsom, un demócrata, decidirá si rechaza o firma el proyecto de ley antes del 30 de septiembre. La ley, que haría obligatorias las pruebas de seguridad y otras protecciones para los modelos de IA por encima de un determinado precio o potencia informática, ha sido cuestionada por algunas empresas de tecnología porque podría frenar la innovación.
RESPECTO: Google, OpenAI y otros se oponen a la ley de seguridad de IA de California
