高级人工智能第十三章.pptVIP

********************************************************史忠植高级人工智能*分类器强度调整算法将与所选动作相同的分类器形成子集[M]，称作动作集[A]。将不在[M]中的其它分类器放在集合NOT[A]中。在[A]中的全部分类器强度减少一个分数e。如果系统决策正确，则将赢利量R分配给[A]的强度;如果系统决策错误，则将赢利量R(其中0≤R≤R)分配给[A]的强度，从[A]的强度减少一个分数p。至少R和p中的一个为0。从NOT[A]中的强度减去一个分数t。第94页，共106页，星期日，2025年，2月5日*史忠植高级人工智能*规则发现系统在规则发现系统中,学习经常是首先评价系统现有的规则质量,然后进行修改。Grefenstette研制了一种规则发现系统RUDI。问题求解级由简化的分类器系统组成。学习级是对知识结构群体进行遗传算法操作,每一个表示为一组规则表。知识结构的整个行为控制这些结构的复制。在RUDI中,信用赋值方法赢利共享规划(Profit-SharingPlan,简称PSP)和桶链算法(BBA)对每个规则提供互补的效用信息。根据期望的外部奖励,PSP-强度对规则效用提供更精确的评估。当问题求解时它被用作冲突消解。与此相反,BBA-强度表示规则之间的动态相关性,规则点火依次会聚到相似水平。这种测度可以用作一组协作规则的聚类。第95页，共106页，星期日，2025年，2月5日*史忠植高级人工智能*规则发现系统Grefenstette提出一种强度修改方案称作嬴利共享规划PSP。在这种方案中问题求解划分成情节,按所接受的外部奖励区分。如果任何步情节在投标竞争中获胜,则认为该规则在该情节活动。在情节t,PSP修改每个活动规则Ri的强度Si(t)如下:Si(t+1)=Si(t)-bSi(t)+bp(t),其中,p(t)称作在情节结束时所获得的外部奖励,即当获得外部奖励,从每个活动规则搜集投标,每个活动规则给出一部分外部奖励。考虑PSP对给定规则Ri的影响,它按照方程得到:第96页，共106页，星期日，2025年，2月5日*史忠植高级人工智能*规则发现系统其中,t的范围是在该情节规则Ri是活动的,即Si(t)基本上外部奖励的权值平均p(t),(1-b)作为指数衰减因子。如果b足够小,那么S(t)具有p(t)的平均值。如果外部奖励p(t)是常数,p*,那么Si收敛到一个平衡值Si*:第97页，共106页，星期日，2025年，2月5日*史忠植高级人工智能*规则发现系统在常数赢利下,PSP将以下列速率减少误差Ei(t)=p*-Si(t)强度每次改变,以因子b减少当前强度与平衡强度之差。第98页，共106页，星期日，2025年，2月5日*史忠植高级人工智能*规则发现系统我们看出,奖励相当是常数情况下,在PSP下每个规则强度很快收敛到一个平衡强度,可以预测情节结束时将接收的奖励水平。PSP的一种可能的限制是它取决于这种前提,成功外部奖励区分的情节所对应的合适区间,在这个区间里进行信用赋值。情节的选择非常重要。第99页，共106页，星期日，2025年，2月5日*史忠植高级人工智能*规则发现系统在桶链算法BBA中,是基于规则之间单独处理的,可以避免有关情节的假设。假设规则Ri在tau步点火,规则Rj在tau+1点火,那么BBA按照下面公式修改规则Ri的强度Si:第一个改变意味BBA在给定的情节修改规则强度多于一次。第二个改变导致PSP与BBA基本的不同。PSP强度预测所期望的情节结束获得的外部奖励是在规则点火,BBA的强度预测所期望的内部奖励是在规则的下一步。第100页，共106页，星期日，2025年，2月5日*史忠植高级人工智能*规则发现系统RUDI的控制结构问题求解BBA/PSP遗传算法任务执行强度新规则信用奖励第101页，共106页，星期日，2025年，2月5日*史忠植高级人工智能*PSP与BBA比较奖励：10000300初始状态结束状态第102页，共106页，星期日，2025年，2月5日*史忠植高级人工智能*不同的强度修改方案规则