METR于7月21日发布的研究针对NanoGPT,这是一套已经过大量优化的小型训练系统。比较考虑了智能体的运行成本、实验以及对人工工作的估算。
一些智能体带来可验证的改进;另一些表面收益在复核后消失。在这一设置中,作者认为自主优化的效果目前较为有限。结果仍属探索性,因为人工工作的成本难以确定。
这与我们的研究有什么关系?
对UvH基金会而言,区分改进一个程序与改进能够产出新程序的系统十分重要。如果系统的进步提升了它继续产出改进的能力,自我改进才构成递归循环。
研究这一可能性并不意味着宣称它已经实现,而是需要追踪可迁移的收益、其限制以及组织其使用的决策。谁设定目标、分配资源并核验结果?如果知识生产日益依赖人工智能智能体,这些责任会尤其重要。
