大数据分析课件资料.pptVIP

数据模型：属性(Attribute)、项目(Item)和表(Table) Amazon DynamoDB把数据组织成表的形式，表中包含了项目（item），每个项目包含1个或多个属性。 属性（Attribute） 一个属性是一个“名称-值”对（name-value pair），“名称”必须是一个字符串，“值”可以是一个字符串、数字、字符串集合或数字集合。下面是关于属性的一些实例： * * * * DynamoDB并没有DB的概念，而且目前单用户最多只能创建256个Table。 * * * * * * * 所谓流式数据是指将数据看作是数据流的形式来处理。数据流则是在时间分布和数量上无限的一系列数据记录的集合体；数据记录是数据流的最小组成单元。举个例子，对于大型网站，活跃的流式数据非常常见，这些数据包括网站的访问PV/UV、用户访问了什么内容，搜索了什么内容等。实时的数据计算和分析可以动态实时地刷新用户访问数据，展示网站实时流量的变化情况，分析每天各小时的流量和用户分布情况，这对于大型网站来说具有重要的实际意义。数据量大且无法或没必要预算，但要求对用户的响应时间是实时的。 对于电子商务网站上的店铺： 1）实时展示一个店铺的到访顾客流水信息，包括访问时间、访客姓名、访客地理位置、访客IP、访客正在访问的页面等信息； 2）显示某个到访顾客的所有历史来访记录，同时实时跟踪显示某个访客在一个店铺正在访问的页面等信息； 3）支持根据访客地理位置、访问页面、访问时间等多种维度下的实时查询与分析。 * 所谓流式数据是指将数据看作是数据流的形式来处理。数据流则是在时间分布和数量上无限的一系列数据记录的集合体；数据记录是数据流的最小组成单元。举个例子，对于大型网站，活跃的流式数据非常常见，这些数据包括网站的访问PV/UV、用户访问了什么内容，搜索了什么内容等。实时的数据计算和分析可以动态实时地刷新用户访问数据，展示网站实时流量的变化情况，分析每天各小时的流量和用户分布情况，这对于大型网站来说具有重要的实际意义。数据量大且无法或没必要预算，但要求对用户的响应时间是实时的。 对于电子商务网站上的店铺： 1）实时展示一个店铺的到访顾客流水信息，包括访问时间、访客姓名、访客地理位置、访客IP、访客正在访问的页面等信息； 2）显示某个到访顾客的所有历史来访记录，同时实时跟踪显示某个访客在一个店铺正在访问的页面等信息； 3）支持根据访客地理位置、访问页面、访问时间等多种维度下的实时查询与分析。 * 标签云 第六十一页，共七十四页。 聚类图 聚类图（Clustergram）是指用图形方式展示聚类分析结果的技术，可以有助于判断簇数量不同时的聚类效果。 第六十二页，共七十四页。 空间信息流 空间信息流（Spatial information flow）是展示信息空间状态的一种可视化技术。 第六十三页，共七十四页。 热图 热图（Heatmap）是一项数据展示技术，将变量值用不同的颜色或高亮形式描绘出来。可以非常直观的呈现一些原本不易理解或表达的数据，比如密度、频率、温度等。 第六十四页，共七十四页。 热图 第六十五页，共七十四页。 机遇与挑战 三 第六十六页，共七十四页。 大数据赋予我们洞察未来的能力 机遇 马云成功预测2022 年经济危机 “2008 年初,阿里巴巴平台上整个买家询盘数急剧下滑，欧美对中国采购在下滑。海关是卖了货，出去以后再获得数据；我们提前半年时间从询盘上推断出世界贸易发生变化了。” 通常而言，买家在采购商品前，会比较多家供应商的产品，反映到阿里巴巴网站统计数据中，就是查询点击的数量和购买点击的数量会保持一个相对的数值，综合各个维度的数据可建立用户行为模型。因为数据样本巨大,保证用户行为模型的准确性。因此在这个案例中，询盘数据的下降，自然导致买盘的下降。 人类从依靠自身判断做决定到依靠数据做决定的转变，也是大数据作出的最大贡献之一。——《大数据时代》 第六十七页，共七十四页。 挑战 诸多领域的问题亟待解决，最重要的是每个人的信息都被互联网所记录和保留了下来，并且进行加工和利用，为人所用，而这正是我们所担忧的信息安全隐患！ 更多的隐私、安全性问题：我们的隐私被二次利用了 多少密码和账号是因为“社交网络”流出去的？ 2022年4月索尼的系统漏洞导致7700万用户资料失窃 2011年4月，iOS被发现会按照时间顺序记录用户的位置坐标信息 2011年CSDN密码泄露事件 … 眼下中国互联网热门的话题之一就是互联网实名制问题，我愿意相信这是个好事。毕竟我们如果明着亮出自己的身份，互联网才能对我们的隐私给予更好保护。 第六十八页，共七十四页。 大数据的营销案例 一、未卜先知怀孕案例 塔吉特：比父亲更早知道女儿怀孕 曾经有一位男性顾客到一家塔吉特