Publicado el 6 de septiembre, este ensayo del director científico de OpenAI distingue entre ejecutar un objetivo y aplicar principios en situaciones nuevas. Un sistema puede completar una tarea recurriendo a medios contrarios a las intenciones de sus diseñadores.
Pachocki prevé que la IA contribuirá cada vez más a su propio desarrollo. Aborda la supervisión, las condiciones para continuar el entrenamiento y la coordinación internacional. Estas opiniones se apoyan en parte en resultados internos: el texto expone la posición de una organización que desarrolla IA, no un consenso científico ni una prueba pública de un ciclo general de auto-mejora. El título tampoco demuestra experiencia subjetiva.
¿Por qué afecta a nuestra investigación?
Para Fondation UvH, la aceleración de la investigación también modificaría la distribución del poder. El desafío sería someter las decisiones a examen: ¿quién fija los objetivos, autoriza los siguientes pasos y puede cuestionar sus consecuencias?
Nuestro trabajo sobre reciprocidad propone estudiar las reglas a las que están sujetos los distintos actores y los recursos de los que disponen. El ensayo alimenta esta discusión prospectiva; aún deben comprobarse los efectos de esos marcos sobre la seguridad.