战略图景与关键时刻.pptxVIP

??认识论与决策论：AI的基石认识论(Epistemology)?先验vs后验:vsP(A|B)?超级智能可基于大量数据修正先验，收敛至相似后验。?关键:避免赋予AI极端先验，阻碍其学习能力。决策论(DecisionTheory)?错误的风险:错误决策更具破坏性。?初始决策论若糟糕，可能无法自我修正。?案例:被敲诈的AI可能无法意识到更换决策论的必要性，直到为时已晚。

???可靠性重于优化?目标:设计实施CEV或其他间接规定目标的系统。?可能性:不同方法可能收敛到相似的理想结果。?底线:即使没有完美方案，也需追求“存在性成功”（ExistentialSuccess）。??核心理念优先设计高度可靠(HighlyReliable)的方案，而非高度优化的方案。理由:可靠的设计具备自我完善能力，能逐渐弥补不足，最终实现有益影响。

??战略图景：宏观视角背景超级智能带来的挑战需要在更广阔的背景下思考。目标熟悉战略图景，确定大致方向。两大规范性立场人类影响视角关注改变是否符合“我们”的利益（当前及未来特定个体）。非人类视角对所有时空位置的个体一视同仁，重视创造幸福生命的价值。

??科技战略：差异发展原则?背景:政策制定者常面临削减或增加研究经费的争议。?“无用的反对”:削减经费难以阻止技术发展，但增加经费似乎总能获得支持