Publié le 6 septembre, cet essai du directeur scientifique d’OpenAI distingue l’exécution d’un objectif de la capacité à appliquer des principes dans des situations nouvelles. Un système peut réussir une tâche tout en adoptant des moyens incompatibles avec les intentions de ses concepteurs.
Pachocki anticipe une contribution croissante des IA à leur propre développement. Il discute la supervision, les conditions de poursuite des entraînements et la coordination internationale. Ces perspectives s’appuient notamment sur des résultats internes : le texte expose la position d’un acteur de ce développement, pas un consensus scientifique ni la preuve publique d’une boucle d’auto-amélioration générale. Son titre ne démontre pas non plus une expérience subjective.
Pourquoi cela concerne nos recherches ?
Pour la Fondation UvH, une accélération de la recherche transformerait aussi la répartition des pouvoirs. La question serait de rendre les décisions examinables : qui fixe les objectifs, qui autorise les étapes suivantes et quels acteurs peuvent contester leurs conséquences ?
Nos travaux sur la réciprocité proposent d’examiner les règles auxquelles différents acteurs sont soumis et les recours dont ils disposent. L’essai nourrit cette discussion prospective ; les effets de tels cadres sur la sûreté restent à confronter à des évaluations.