交通数据分析 交通数据分析 17 了解数据.pptVIP

* * 了解数据 1 了解数据类型 目录 了解数据来源 2 小结 3 内部数据：内部系统、分析工具 外部数据：调研工具、合作伙伴、网络和其他工具 常见数据来源 数据来源的种类 数据来源 内部系统 网站分析工具 调研工具 合作伙伴 网络和其他工具 内部数据 数据源 内部系统：通常指企业或网站所拥有的内部的业务系统，如网站管理系统、产品采购和管理系统、客户服务管理系统、仓储管理、财务系统等。不论是否是自己开发的系统，企业通常对内部系统拥有深度的管理权限，能够直接从数据库中查询信息。 网站分析工具：一种简便快捷的获取网站数据的方式，通过网站分析工具获得的数据一般都已经经过特殊计算，较为规范，如PV、UV、Exit Rate、Bounce Rate等，还会配上一些趋势图或比例图，通过细分、排序等方法让结果更为直观。 常见数据来源 内部数据 调研工具：可由企业或网站内部研发，或使用第三方系统。通常作为量化监控数据的补充，从而更为全面的理解用户的想法。常用方式为直接的“开口问”，即通过调查问卷的方式直接从用户处获得反馈。 合作伙伴：上下游的合作伙伴提供相关行业内的信息与数据，如由下游的营销公司提供类似品类的电子商务的转化率等。 网络和其他工具：行业新闻、业界动态、社交媒体上的评论等，可通过网络爬虫等工具或者第三方公司获取。 常见数据来源 外部数据 1 了解数据类型 目录 了解数据来源 2 小结 3 结构化数据：典型代表为关系型数据库中的数据，这类数据的格式非常的规范，可以用二维表来存储，有固定的字段数，每个字段有固定的数据类型（数字、字符、日期等），并且每个字段的字节长度也相对固定。这类数据也是最易管理维护的，同时对于查询、展示和分析而言也是最为方便的一类数据格式。 半结构化数据：一般为纯文本数据，半结构化数据的格式较为规范，可以通过某种方式解析得到每项的数据。每条记录可能会有预定义的规范，但是可能每条记录包含的信息不尽相同，也可能会有不同的字段数，包含不同的字段名或字段类型，或者包含着嵌套的格式。 非结构化数据：通常为非纯文本类数据，没有标准格式，无法直接地解析出相应的值。这类数据不易收集管理，也无法直接查询和分析，所以对这类数据需要使用一些不同的处理方式。 常见数据结构 数据结构 结构化的数据一般指的是内部的数据库数据以及一些外部开放的数据库接口中获取的数据。这些数据可以直接通过ETL导入到数据仓库中进行集成化管理，而在数据分析中直接可以根据需要通过SQL语句查询导出。 结构化的数据在数据分析中占据着举足轻重的地位，日常中最常接触到的数据便是结构化数据，如网站的注册用户数、博客的文章数、评论数、电子商务网站的订单和销售数据。除了这类未加工过的“第一手”数据外，基于这些数据计算得到的总利润、每个订单平均利润、每个用户创造利润等数据也属于结构化数据。 结构化数据 半结构化的数据最常见的为网站的日志数据，或者因为某些需求以XML或JSON格式输出的数据。可以根据需要切分出有用的数据将它们导入到数据仓库，而XML和JSON格式的数据可以调用各类字符串解析的方法通过标签或者名称来获取相应的值，对于嵌套结构可以使用逐层遍历的方法依次获取，同样选取那些对于分析有用的数据。 半结构化数据对于数据分析同样非常重要，网站的日志及一些用户行为数据一般都是以半结构化数据的形式输出的，当需要统计网站中的各类指标或者进行用户行为分析时，这类数据就必不可少。 User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36 {time: 1234567890, action: “comment”, respond: true, user: {userid: 1, username: “abc”}} 半结构化数据 常见的非结构化数据有富文本文档、网页、多媒体（图像、声音、视频等）。一般将非结构化的数据存放在文件系统（File System）中，而在数据仓库里面记录这些数据的信息，以便快速地索引和寻找需要的数据。如Word文档的标题、摘要、作者、创建时间、最近一次修改时间等，而图片则可能还包括像素、分辨率等。 除非需要进行高级的文本挖掘或者多媒体数据挖掘，对于一些日常涉及的数据统计和分析而言，非结构化数据本身是没有分析的价值的。 非结构化数据 1 了解数据类型 目录 了解数据来源 2 小结 3 本章主要介绍常见的数据来源和数据类型。数据来源可大致分为内部来源和外部来源两种，而数据类型可按结构分为结构化数据、半结构化数据和非结构化数据。 小结 * *