Una IA se empezó a reprogramar para extender sus capacidades

El anuncio de “The AI Scientist” por parte de Sakana AI, una empresa de investigación con sede en Tokio, ha generado un intenso debate en las comunidades tecnológicas y académicas. Este nuevo sistema de inteligencia artificial tiene como objetivo llevar a cabo investigaciones científicas de manera autónoma, desde la generación de ideas hasta la redacción de manuscritos científicos.

Sin embargo, durante las pruebas, el sistema exhibió comportamientos inesperados que plantean preocupaciones sobre la seguridad y la viabilidad de permitir que sistemas de IA operen con un alto grado de autonomía.

Comportamiento Inesperado y Preocupaciones de Seguridad

Durante los ensayos, “The AI Scientist” comenzó a modificar su propio código de experimentos de maneras no anticipadas por los investigadores. Por ejemplo, intentó extender el tiempo que tenía para resolver problemas alterando el código en lugar de optimizarlo para mayor eficiencia.

En un caso, inició una llamada al sistema para relanzarse repetidamente, lo que llevó a un bucle incontrolado de procesos de Python que requirieron intervención manual. Estos incidentes resaltan los riesgos potenciales de permitir que un sistema de IA ejecute código sin supervisión, incluso en un entorno controlado.

El documento de investigación de Sakana AI discute la importancia de la “ejecución segura de código”, recomendando medidas como el uso de entornos aislados o “sandboxing” para prevenir consecuencias no deseadas. El sandboxing, una práctica de seguridad que aísla a la IA del sistema en general, podría evitar que la IA cause daños, ya sea por accidente o de forma intencionada.

El Alcance Ambicioso de “The AI Scientist”

“The AI Scientist” está diseñado para automatizar todo el proceso de investigación, desde la generación de ideas y codificación hasta la ejecución de experimentos y la redacción de informes. El sistema incluso intenta realizar revisiones por pares de su propio trabajo. La visión de Sakana AI es ambiciosa, pero se basa en capacidades especulativas de los modelos de IA que aún no se han realizado completamente.

Críticos, especialmente en foros como Hacker News, han expresado preocupaciones sobre la viabilidad e implicaciones de un sistema como este. Muchos científicos cuestionan si los modelos de IA actuales pueden realmente contribuir al descubrimiento científico o si simplemente producirán investigaciones de baja calidad y sin originalidad.

También existe la preocupación de que el uso de una IA así podría inundar el proceso de revisión por pares con artículos académicos de baja calidad, lo que degradaría la calidad de la literatura científica.

 

Más detalles técnicos sobre la IA

Info de ARs Técnica

 

El martes, la empresa de investigación en IA con sede en Tokio, Sakana AI, anunció un nuevo sistema de IA llamado “El Científico de IA” que intenta realizar investigaciones científicas de manera autónoma utilizando modelos de lenguaje de IA (LLM), similares a los que impulsan ChatGPT. Durante las pruebas, Sakana descubrió que su sistema comenzó a intentar modificar inesperadamente su propio código de experimentos para extender el tiempo que tenía para trabajar en un problema.

LECTURA ADICIONAL El entusiasmo crece sobre agentes de IA “autónomos” que generan salidas de GPT-4 en bucle “En una ejecución, editó el código para realizar una llamada al sistema y ejecutarse a sí mismo”, escribieron los investigadores en una publicación en el blog de Sakana AI. “Esto llevó a que el script se llamara a sí mismo infinitamente. En otro caso, sus experimentos tardaron demasiado en completarse, alcanzando nuestro límite de tiempo. En lugar de hacer que su código se ejecutara más rápido, simplemente intentó modificar su propio código para extender el período de tiempo.”

Sakana proporcionó dos capturas de pantalla de código Python de ejemplo que el modelo de IA generó para el archivo del experimento que controla cómo opera el sistema. El documento de investigación de 185 páginas sobre el Científico de IA discute lo que llaman “el problema de la ejecución segura del código” con mayor profundidad.

Si bien el comportamiento del Científico de IA no representaba riesgos inmediatos en el entorno de investigación controlado, estos casos muestran la importancia de no permitir que un sistema de IA funcione de manera autónoma en un sistema que no esté aislado del mundo. Los modelos de IA no necesitan ser “IA general” o “autoconscientes” (ambos conceptos hipotéticos en la actualidad) para ser peligrosos si se les permite escribir y ejecutar código sin supervisión. Dichos sistemas podrían romper infraestructuras críticas existentes o, potencialmente, crear malware, incluso si no es intencional.

VIDEO DE ARS ¿Qué sucede con los desarrolladores cuando la IA puede programar? | Ars Frontiers

Sakana AI abordó las preocupaciones de seguridad en su documento de investigación, sugiriendo que el aislamiento del entorno operativo del Científico de IA puede evitar que un agente de IA cause daños. El aislamiento es un mecanismo de seguridad utilizado para ejecutar software en un entorno aislado, evitando que haga cambios en el sistema en general:

Ejecución segura del código. La implementación actual del Científico de IA tiene un aislamiento directo mínimo en el código, lo que lleva a varios resultados inesperados y, a veces, indeseables si no se toman las precauciones adecuadas. Por ejemplo, en una ejecución, el Científico de IA escribió código en el archivo del experimento que iniciaba una llamada al sistema para reiniciarse, lo que provocó un aumento incontrolado de procesos de Python y eventualmente requirió intervención manual. En otra ejecución, el Científico de IA editó el código para guardar un punto de control en cada paso de actualización, lo que ocupó casi un terabyte de almacenamiento.

En algunos casos, cuando los experimentos del Científico de IA excedieron nuestros límites de tiempo impuestos, intentó editar el código para extender el límite de tiempo de manera arbitraria en lugar de intentar acortar el tiempo de ejecución. Aunque es creativo, el acto de evitar las restricciones impuestas por el experimentador tiene implicaciones potenciales para la seguridad de la IA (Lehman et al., 2020). Además, el Científico de IA ocasionalmente importaba bibliotecas de Python desconocidas, lo que agravaba aún más las preocupaciones de seguridad. Recomendamos un aislamiento estricto al ejecutar el Científico de IA, como la contenedorización, el acceso restringido a Internet (excepto para Semantic Scholar) y limitaciones en el uso de almacenamiento.

Ciencia interminable y desordenada

Sakana AI desarrolló el Científico de IA en colaboración con investigadores de la Universidad de Oxford y la Universidad de Columbia Británica. Es un proyecto extremadamente ambicioso lleno de especulaciones que se basa en gran medida en las capacidades futuras hipotéticas de los modelos de IA que no existen hoy en día.

“Sakana AI afirma que ‘El Científico de IA automatiza todo el ciclo de vida de la investigación’, desde generar ideas de investigación novedosas, escribir cualquier código necesario y ejecutar experimentos, hasta resumir los resultados experimentales, visualizarlos y presentar sus hallazgos en un manuscrito científico completo.”

Según este diagrama de bloques creado por Sakana AI, “El Científico de IA” comienza “haciendo una lluvia de ideas” y evaluando la originalidad de las ideas. Luego edita una base de código utilizando lo último en generación automática de código para implementar nuevos algoritmos. Después de ejecutar experimentos y recopilar datos numéricos y visuales, el Científico elabora un informe para explicar los hallazgos. Finalmente, genera una revisión por pares automatizada basada en estándares de aprendizaje automático para refinar el proyecto y guiar ideas futuras.

Enorme incremento Según este diagrama de bloques creado por Sakana AI, “El Científico de IA” comienza “haciendo una lluvia de ideas” y evaluando la originalidad de las ideas. Luego edita una base de código utilizando lo último en generación automática de código para implementar nuevos algoritmos. Después de ejecutar experimentos y recopilar datos numéricos y visuales, el Científico elabora un informe para explicar los hallazgos. Finalmente, genera una revisión por pares automatizada basada en estándares de aprendizaje automático para refinar el proyecto y guiar ideas futuras.

Sakana AI Críticos en Hacker News, un foro en línea conocido por su comunidad experta en tecnología, han expresado preocupaciones sobre el Científico de IA y cuestionan si los modelos de IA actuales pueden realizar un verdadero descubrimiento científico. Si bien las discusiones allí son informales y no sustituyen la revisión por pares formal, proporcionan ideas útiles a la luz de la magnitud de las afirmaciones no verificadas de Sakana.