亚马逊 AWS 利用Amazon Machine Learning及Amazon Redshift建立二进制分类模型.pdfVIP

亚马逊 AWS 利用 Amazon Machine Learning与 Amazon Redshift 建立二进制分类模型 日常生活中的大部分决策都以二进制形式存在，具体来说就是这类问题能够以是或者否来回 答。而在商业活动中，能够以二进制方式回答的问题也有很多。举例来说：“这种情况是否 属于交易欺诈？”，“这位客户是否会购买该产品？”或者“这位用户是否存在流失风险？”等 等。在机器学习机制中，我们将此称为二进制分类问题。很多商业决策都能够通过准确预测 二进制问题的答案来得到强化。Amazon Michine Learning （简称Amazon ML）就提供了 一套简单而且成本低廉的选项，帮助大家以快速且规模化的方式找出此类问题的答案。 在今天的文章中，我们将以K 网站提供的实例作为起始。这一次，大家可以接触 到网络广告行业当中经常涉及的点击率预测案例。在示例当中，大家将预测特定用户点击特 定广告的实际可能性。 准备用于构建机器学习模型的数据 直接从Kaggle站点获取数据来构建这套模型当然也是可行的，不过为了强化其现实意义， 我们这一次将利用Amazon Redshift 作为数据中介。在多数情况下，建立机器学习模型所 需要的历史事件数据已经被存储在了数据仓库当中。Amazon ML与Amazon Redshift 这套 强有力的组合能够帮助大家查询相关事件数据并执行汇聚、加入或者处理等操作，从而为机 器学习模型准备好所需的一切数据。我们在后文中将给出与此相关的部分示例。 要顺利完成本次指导教程，大家需要拥有一个AWS账户、一个Kaggle 账户 （用于下载数 据集）、Amazon Redshift 集群以及SQL客户端。如果大家还没有建立过Amazon Redshift 集群也完全不必担心，现在可以申请到为期两个月的dw2.large单节点集群免费试用期，这 足以支持大家完成本次学习。 建立一套Amazon Reshift 集群 在AWS管理控制台的Supported Regions （支持区域）列表当中选定US East （美国东部， 即北弗吉尼亚州区域），而后在Database 部分选择Amazon Redshift。最后选择Launch Cluster （启动集群）。 在接下来的Cluster Details （集群详细信息）页面当中，对该集群及数据库进行命名 （可分 别为ml-demo 与dev），而后输入主用户名及密码。 在Node Configuration （节点配置）页面当中，对该集群的布局进行定义。针对本次示例所 涉及的数据量，大家只需要单一dc1.large节点即可（并接入至Amazon Redshift免费层级）。 选择Continue，在接下来的页面中审查设置并选择Launch Cluster （启动集群）。几分钟 之后，该集群即可正式供大家使用。这时，选定该集群名称并查看其配置信息。 在这里，大家需要注意其中的Endpoint 值，要确保其能够接入该集群并使用下载自Kaggle 站点的数据。 下载并保存数据 点击此处从Kaggle 网站上下载培训文件，而后将其上传至AmazonSimpleStorageService （即Amazon 简单存储服务，简称Amazon S3）。由于文件较大，我们需要利用AWS命 令行将其进行拆分上传。 # Download the train data from: /c/avazu-ctr-prediction/download/train.csv.gz # upload the file to S3 aws s3 cp train.csv.gz s3:///click_thru/input/ 大家可以利用多种SQL客户端与该集群实现对接，例如SQL-Workbench或者Aginity Workbench，当然我们也可以在基于Linux 的EC2 实例中利用终端内的psql命令实现接入。 ssh -i .pem ec2-user@ psql -h -U -d dev -p 5439 psql -h ml-demo.CLUSTER_ID. -U USER_NAME -d dev -p 5439 在我们的SQL客户端内创建一个表，用于保存所有来自Kaggle 网站的事件数据。请确保 每一列都使用了正确的数据类型。 CREATE TABLE click_train ( id varchar(25) not null, click boolean, -- the format is YYMMDDHH but defined it