智能数据剖析助力应用智能化.ppt

SaaS+AI 敬惜——助力您的应用智能化 根据情况变化来合理运用知识以有效地解决问题 核心问题：知识挖掘 关键能力：自学习、自适应 什么是智能化 互联网、信息爆炸使得我们所面临的环境出现了重大的变化：一是海量用户所导致的需求散乱；二是用户的需求/兴奋点多变且变化迅速。这种情况下就导致传统IT的先总结经验、积累知识然后再编写业务应用的模式跟不上用户需求的快速多变。 因此从海量的历史数据中直接挖掘知识而加以应用来有效满足用户快速多变的需求就是必然的了。 发挥计算机计算能力强的优势，直接从海量的历史数据中挖掘知识，能力形成速度快、反应迅速 人脑思考问题的信息量有限，AI（人工智能）则能同时处理海量的信息，在快速、大并发量、精确等方面比人强 面对海量用户，能以最低的成本实现个性化的需求满足 智能化的优缺点 优点 计算机再先进也只是一种机器，不够灵活永远都是最大的不足 人的需求千差万别，AI只适合处理某些需求，也做不到一劳永逸 大部分情况下，AI都需要巨大的计算资源（CPU/内存）和较长的时间加以复杂的计算才能完成知识的挖掘 缺点 智能化的再认识 人类知识的形成过程（意识、实践、经验总结、知识化）是缓慢而成本高昂的，而且人类知识如果不够精确则应用起来也有很大的困难；如果信息量巨大，受限于人脑的处理能力也就无法形成相应的知识。而AI就是用计算的复杂化来换取某些情况下知识凝聚的快速化、精确化，代价当然是计算资源的巨大消耗。 AI是设计好的机器按既定规则从海量的历史数据中挖掘出某些知识，所以其应用就只能是数据积累丰富且人为因素或外部不可知/不可控因素影响较小的环境，也就是说应用场景对效果好坏的影响比较大，尤其是在讲关系、讲变通、讲悟性的中国其应用领域的限制较大。 知识就是力量！ 分类 知识的基础就是对事物的识别，大千世界、万物生灭，如果只针对单个事物那人如何一一识别？所以识别的前提就是归类，将相同、相似、相近的事物按其特征进行归纳后形成一个个的群体，这样人就不需要去记忆一个一个具体的事物而是只要记住特征就可以识别一群事物了。 从一大堆历史数据中提取事物分类的特征并把事物特征和已知类别联系起来就是提取决策规则。利用决策规则就可以将一个新事物分类到某个已知类别中。 知道了事物属于哪个已知类，那么就可以利用事物的相似性、相近性对刚分好类的事物套用该类的其它特征加以利用。如判断下来某用户偏好吃辣那么网站就可以向用户推荐其所在位置附近的湘菜馆。 敬惜选取的分类技术是基于粗糙模糊集的算法，不需要人为的主观判断，可以从海量历史数据中直接挖掘出基于用户偏好的决策规则 粗糙集 处理不确定和不精确问题的数学工具，是智能计算的基础理论之一 不象模糊集那样需要人给出一个主观的隶属度函数，而是从数据自身直接处理不确定性，比较客观，尤其适合人类认知不多、数据量巨大的情况，如电商网站的用户行为模式提取、大型设备或系统故障检测规则挖掘等 核心思想：知识就是对事物的分类能力 下近似：R(X)_ = { x|(x ∈ U)∧([x]R ? X) } 上近似：R(X)ˉ = { x|(x ∈ U)∧([x]R ∩ X ≠Φ) } 下近似即肯定属于X的最大子集，上近似即包含X的最小子集，如果两者不等即意味着X对于知识R存在不确定性，也就是说知识R对于事物X无法准确分类 利用粗糙集理论就可以通过对决策属性关于条件属性的辨识能力进行检测与压缩，从而实现对决策规则的提取 现实情况中会出现条件属性相同但决策属性不同（同一个人今天吃辣明天吃甜）的不相容现象，所以我们导入了模糊集进行支持度判定 用户偏好识别 对电商来说用户偏好就是用户有倾向性的购买。因此我们把用户属性分为用户的特征属性、用户的行为属性、用户的业务属性（用购买来刻画）。 经过这样的划分，用户偏好的识别就是从海量的历史交易记录中把用户属性和产品的业务属性之间的关联关系找出来。 识别出了用户偏好，我们就可以： 对老用户进行预分类，使之下一次登录时就可以根据其偏好对其界面、产品推荐、广告展示等进行个性化的定制，以促进有效点击率的提高 对当前用户的兴趣点做出及时的反应 用户偏好的个性化 预测 知识最大的价值就是在某些事情尚未发生前就有所估计，从而未雨绸缪、提前准备、不打无准备之仗。这在风险识别、前景评估、辅助决策等方面有巨大的应用价值。 AI中的预测是在事情刚发生时，根据当前所掌握的不完全的信息就对目标问题做出一个基本判断。如车坏半路了，根据用户看到的几个故障现象就预判故障点所在而不需要全面检修；刚接触一个新客户，根据第一次接触所收集到的信息就预判成案概率以决定打单的资源投入力度。 预测是否有效取决于知识的性质，如果知识是基于因果关