Опубликованный 6 сентября, этот эссе научного руководителя OpenAI выделяет разницу между выполнением цели и применением принципов в новых ситуациях. Система может успешно выполнить задачу, используя методы, которые не соответствуют намерениям ее разработчиков.
Пачоцкий предвидит растущую роль ИИ в собственном развитии. Он обсуждает вопросы надзора, условия продолжения обучения и международную координацию. Эти перспективы основаны, в частности, на внутренних результатах: текст представляет позицию одного из участников этого процесса, а не на научном консенсусе или общедоступных доказательствах общей петли самосовершенствования. Его название также не свидетельствует о субъективном опыте.
Почему это касается наших исследований?
Для Fondation UvH, ускорение исследований также могло бы изменить распределение власти. Вопрос заключался бы в том, чтобы сделать решения прозрачными: кто определяет цели, кто санкционирует следующие этапы, и какие участники могут оспаривать их последствия?
Наши исследования в области взаимности предполагают анализ правил, которым подвержены различные участники, и способов, которыми они могут их обходить. В этой работе рассматривается перспективное обсуждение; необходимо оценить последствия таких систем для безопасности.