能力与对齐
了解更多 — 能力、智能体与研究自动化
前沿系统是特定时期能力最强的一类系统。与工具结合后,它们成为能够规划、执行并修正行动的智能体系统。认知自动化已涉及部分编程、分析和研究任务。 METR 的评估衡量特定环境中的进展,但不能证明系统在所有职业领域都具有普遍可靠性。
AGI 指具有通用能力的人工智能,其定义与判定门槛尚无普遍共识。需要区分所掌握任务的多样性、性能水平与自主性。能力很强的系统仍可能追求不恰当的目标:对齐研究探索如何使其行为与相关意图和价值相契合,包括在训练情境之外。
人工智能也参与人工智能研究。从专项辅助迈向持续的递归式自我改进,仍属于前瞻性设想:每次改进都应增强产生下一次改进的能力。计算、能源、数据和验证都可能限制这一循环。技术奇点将这一可能性进一步延伸为一种未来假说,而非已被预告的事件。对于基金会,这些情景使未来能力不对称及其制度后果值得研究,但不能与已观察到的结果混为一谈。

