模式识别作业报告——天猫推算法大赛.docxVIP

完整设计图纸请联系本人，参见豆丁备注。/lzj781219模式识别大作业题目天猫推荐算法大赛学院信息科学与工程专业控制科学与工程组员指导教师完成日期： 2015 年 12 月20日模式识别作业报告——天猫推荐算法大赛经过半个学期的对模式识别课程的学习，在赵海涛老师的辛勤指导下，我们都对模式识别与机器学习方向有了一定的了解，但是理论终究是理论，只有能够把知识熟练运用到实践当中，才能算是真正掌握了这门知识，所以赵海涛老师布置的这个大作业能够很好的锻炼我们理论运用于实际的能力。经过小组讨论，我们定下了一个基本的解决方向，然后就是组员之间分工去实现，下面将详细说明我们的解决过程。一、天猫推荐算法大赛简介随着大数据的蓬勃发展，阿里巴巴集团希望和学术界展开更紧密的合作研究，更好的发掘大数据的价值。针对当前学术界面临的两个问题，一是缺少有价值的真实的商业数据；二是缺少具有强大功能的计算平台支持复杂的数据处理。阿里巴巴集团于2014年正式推出“天池”平台，“天池”平台基于阿里集团的海量数据离线处理服务ODPS，向学术界免费提供科研数据和开放数据处理服务。2014年，阿里巴巴集团基于“天池”平台，在全国高校启动阿里巴巴大数据竞赛（AliData Discovery），以天猫推荐算法大挑战为主题，为更多高校学子提供大数据的实战机会，推动高校对大数据和算法的研究发展和人才成长。本次大赛的赛题是“天猫推荐算法”，赛题基于真实的商业实战场景，在天猫每天都会有数千万的用户通过品牌发现自己喜欢的商品，品牌推荐算法的优化可以为消费者、品牌和天猫平台带来更大的价值。天猫提供的数据量，涉及千万级天猫用户，上万个天猫品牌，时间跨度4个月、共计5亿多条的行为记录。参赛者需要根据用户在天猫的行为日志，建立用户的品牌偏好，并预测他们在将来对品牌下商品的购买行为。整个比赛分为三季（season）：?Season 1：2014年3月10日至4月20日，参赛者可以下载少量天猫的真实行为数据，并在本地调试算法，提交结果。Season 2：2014年4月25日至7月30日，参赛者须使用“天池”平台（阿里巴巴自主研发的分布式计算平台），访问海量的天猫数据，并利用MapReduce、SQL及各种平台集成的机器学习算法包调试模型、提交结果。Season 3（即线上赛，实战双11）：2014年10月至11月，Season 2的top选手可以访问天猫，参与2014年双11的真实算法设计，并有机会获取百万大奖。此次“脚踏实地”的数据竞赛，获得了高校和科研机构的强烈反响——从大数据竞赛3月10日宣布报名以来，在短短的一个月内，就迅速吸引了全球14个国家和地区7276支队伍参赛，经过了4个月的多轮选拔，有几百只队伍坚持下来了，并且取得了非常不错的成绩。二、整体解决方案这次天猫推荐算法大赛题目的核心是给定用户对商品的四个月的操作记录，预测下个月哪些用户对哪些商品将产生购买行为。这可以抽象为一个0-1分类问题，在经过组员间的讨论与对原始数据的研究的基础上，我们首先确定了一个大的求解的框架，就是把这个问题看成一个分类问题，利用过去的历史数据，找出导致购买行为产生的因素，并且对这些“因素”与“是否购买”这两者关系进行建模。我们通过建立模型后，在训练数据上反复调试模型中的部分参数，使得分类器对于训练数据达到较好的分类效果后，将该模型用于测试数据的预测，并分析其预测效果，即计算F1值。2.1数据结构分析首先观察原始数据的结构，原始数据的分类如表1所示。表1原始数据结果user_iditem_idbehavior_typeuser_geohashitem_categorytime3910001475635368802196ndj45112792014-12-17 0850100268421284019855195ridd718632014-12-18 19581051813145747484717322014-12-17 195910026842128417300195rido12-17 18表中的数据只是截取了原始数据中的一部分。第一列数据表示的是数据的编号，这列数据对算法求解没有任何作用，所以在我们在预处理中删除了这列数据；第二列数据表头为user_id，即为用户的ID信息，这是求解过程中必须要使用到的必要信息，需要根据用户的ID来划分每个用户对商品的操作；第三列数据的表头为item_id，表示的是商品的ID，不同的ID对应不同的商品，根据不同的用户对同一个ID的商品的操作来判断商品销售情况；第四列数据的表头为behavior_type，表示的是用户对某一商品的操作，列中的数字1、2、3、4分别表示点击、收藏、加入购物车、购买这四种操作，这也是算法求解所必须要采用的数据；第五列数据的