ETL数据整合与处理 第8章 无人售货机零售项目实战（2） 优秀教学课件.pptx

无人售货机零售项目实战;;无人售货机客户订单的详情数据，每天都记录着每个客户下单购买的商品及其数量等详细数据。 从售货机销售的角度出发，分析售货机的销售数据，统计每台售货机每天的商品销售金额，以便及时了解售货机每天的销售情况。;（1） 建立【统计各售货机日销售金额】转换工程。 （2） 获取售货机订单详情数据。 （3） 分离日期和过滤筛选数据 （4） 聚合统计各售货机日销售金额。 （5） 装载和解读结果数据。;统计各售货机日销售金额，需要在无人售货机客户订单详情“order_details.csv”文件中抽取以下字段数据。 （1） boxid（售货机ID）：售货机的唯一标识号，以该标识号为关键字段来统计各售货机的销售金额数据，因此售货机ID不能为空。 （2） createdtime（订单生成时间）：客户下单时计算机自动生成的订单时间。 （3） productname（商品名称）：客户下单的商品名称。 （4） amount（购买商品数量）：客户下单购买时的商品数量。 （5） productpaytotalprice（商品实际支付总金额）：客户购买商品时的实际支付总金额。 （6） status（订单状态）：客户订单状态，只抽取订单状态为“支付成功”的数据，其他订单状态的数据则被过滤掉。;在统计各售货机日销售金额的过程中，需要获取售货机ID关键字段，根据订单详情数据，以售货机ID为关键字段进行聚合统计。统计各售货机日销售金额的流程如图所示。;统计各售货机日销售金额主要包括以下4个步骤。;计算各商品销售金额的详细操作步骤如下。 1. 获取订单详情数据 获取订单详情数据的操作步骤如下。 （1） 创建统计各售货机日销售金额转换工程。使用Ctrl+N快捷键，创建【统计各售货机日销售金额】转换工程。 ;（2） 创建CSV文件输入组件和获取数据。创建CSV文件输入组件，组件命名为【CSV文件输入(订单)】，如图所示。设置组件参数，导入“order_details.csv”文件，并设置好字段参数，订单生成时间createdtime字段的字段类型需要设置为String。 （3） 预览获取的数据。预览订单详情数据参阅任务第2小节的介绍。;2. 过滤和抽取订单详情数据 过滤和抽取订单详情数据的操作步骤如下。 （1）创??筛选数据组件和连接。创建过滤记录组件（组件命名为“过滤记录(售货机ID非空和支付成功)”）和字段选择组件，并建立组件之间的连接，如图所示。 ;（2）过滤掉售货机ID为空和支付失败的订单。在【过滤记录(售货机ID非空和支付成功)】组件中，设置参数，保留售货机ID非空和支付成功的订单，过滤掉售货机ID为空和支付不成功的订单。 （3）进行字段选择，保留需要的字段，去除多余的字段。在【字段选择】组件中，设置参数，仅保留boxid、createdtime、amount和productpaytotalprice等字段，并分别改名为“售货机ID”“created_time”“product_number”“product_paytotalprice”，如所示，丢弃其他与统计各售货机日销售金额无关的字段。;3. 剪切时间字段 剪切时间字段的操作步骤如下。 （1）建立剪切字符串组件和连接。创建【剪切字符串】组件，并建立连接，如图所示。 （2）从订单生成时间字段中剪切出日期。在【剪切字符串】组件中，设置参数，剪切订单生成时间字段，剪切出日期，并命名新字段名称为“销售日期”。;4. 聚合统计 聚合统计的操作步骤如下。 （1）建立聚合统计各售货机销售金额组件和连接。创建排序记录组件、分组（命名为“分组(按售货机ID和日期统计)”）组件，并建立组件之间的连接，如图所示。 ;（2）对售货机ID进行排序。因为需要计算各售货机的日销售金额，所以必须对售货机ID和销售日期进行排序，在【排序记录】组件中，对售货机ID和销售日期字段按照升序进行排序。 （3）对售货机的商品实际支付金额等字段进行分组聚合，统计各售货机的日销售金额。在【分组(按售货机ID和日期统计)】组件中，有关参数设置如图所示。;5. 装载和解读统计各售货机日销售金额数据 装载和解读统计各售货机日销售金额数据的步骤如下。 （1）建立数据装载组件和连接。创建排序记录组件（组件命名为“排序记录(售货机ID排序)”）、Excel输出组件（组件命名为“Excel输出(售货机日销售金额)”）组件，将聚合统计的各售货机的日销售金额输出至Excel文件中，并建立组件之间的连接，如图所示。 ;（2）对售货机ID和销售日期进行排序。在【排序记录(售货机ID排序)】组件中，对售货机ID和销售日期字段按照降序进行排序。 （3）将经过排序的各售货机日销售金额数据输出并装载至Excel文件中。在【Excel输出(售货机日销售金额)】组件