Publicado el 21 de julio, el estudio de METR se centra en NanoGPT, un pequeño sistema de entrenamiento ya optimizado en gran medida. La comparación incluye los costes de funcionamiento de los agentes, los experimentos y una estimación del trabajo humano.
Algunos agentes producen mejoras verificables; otros avances aparentes desaparecen tras la revisión. En este contexto, los autores consideran que el efecto de la optimización autónoma sigue siendo modesto. El resultado es exploratorio, en parte porque el coste del trabajo humano es incierto.
¿Por qué afecta a nuestra investigación?
Para Fondation UvH, importa distinguir entre mejorar un programa y mejorar el sistema capaz de producir nuevos programas. La auto-mejora es recursiva si el progreso de un sistema aumenta su capacidad de producir mejoras posteriores.
Estudiar esta posibilidad no exige anunciar que ya se ha alcanzado. Exige seguir los avances transferibles, sus límites y las decisiones que organizan su uso. ¿Quién elige los objetivos, asigna los recursos y verifica los resultados? Estas responsabilidades cobrarían especial importancia si la producción de conocimiento dependiera cada vez más de agentes artificiales.