2012 中国云·移动互联网创新大奖赛 赛题3：你不知道我知道.pdf

2012 中国云·移动互联网创新大奖赛 赛题3 ：你不知道我知道 1. 概述 百度知道是中文互联网上最大的问答社区，它建立友好的平台给提问者提问，并将合适 的提问推荐给对该问题既有兴趣又有能力回答的用户。到目前为止，百度知道已经积累了一 亿八千万多条问题回答对，而且每天都在快速增长。百度知道所积累的问答资源为网友快速 找到所需信息提供了便捷的途径。 围绕着百度知道聚集了大量的热心网友，他们对于其它网友提出的问题给以回答。每当 一个新问题提出时，把这个问题推荐到能够回答这个问题且有兴趣回答这个问题的合适网友 处是百度知道系统应该具备的功能。百度知道已经建立了根据回答用户兴趣推荐新问题的系 统，而为了进一步提高推荐的成功率，更是为了让问题得到更快解决以提高百度知道用户的 满意度，需要在向有兴趣回答问题的用户推荐新问题上进行更广泛的探索，本题目就是以此 为背景设立的。 2. 数据集描述 本题目所涉及的数据是一段连续时间中全部百度知道用户回答问题的线上记录，将其分 为历史时段数据和未来时段数据两部分。这段时间中前面大部分天数的数据作为历史时段数 据用于挖掘用户兴趣，后面小部分天数的数据作为未来时段数据进行结果评价。 本题目提供给参赛者的数据包括全部原始的历史时段数据和根据未来时段数据构造出 来的测评数据。历史时段数据包括历史上全部用户的回答问题记录，测评数据包括用于测评 的用户、对应的待选问题集合。 根据初赛、复赛两阶段安排，本赛题所涉及的数据也分为两个阶段公布。初赛阶段将公 布3 个月长的历史时段数据及约10 万个测试用户集。复赛阶段所公布的历史时段数据时间 长度为6 个月，且历史时段数据中将包含有重复、缺失、不完整等记录，这更接近实际系统 中所使用到的数据。 初赛阶段公布的数据包括用户回答问题记录以及用户所回答问题信息。 2.1. 用户回答问题记录 用户回答问题记录包括一组以日期命名的文件，起止为2011-12-30 和2012-03-30，共三 个月时长（缺2011-12-31 和2012-02-22 两天，共90 天），每个约60M 。每个文件包含若干 行，每行代表用户的回答记录，每条回答记录由日期，时间，问题id （MD5 转码），用户id （MD5 转码）组成，分隔符为制表符，如下所示： 2012-03-30 09:01:01c2295239b529d13661fb78f 964d27afdb4a8057e19b88 2012-03-30 09:01:01 a7058dd61a307381f3dcfa e939a008c946a279d7d752 2012-03-30 09:01:01 fec5c6ec8bb6878aec42e1bdd1a375bc a862a8c7fa7904e7aa40048149514306 2.2. 问题信息 问题信息包括在用户回答问题记录中所涉及的问题，以及测试用户集对应的待选问题的 信息。 用户所回答问题信息包含20 个文件，分别是part-00000~part-00019 。每个文件约0.2G， 包含若干行，每行代表一个问题的详细信息，共分为 13 个字段，分割符为制表符。这些字 段名及格式如下表所示（其中Type 列所示类型定义是遵从MySQL 相关的类型定义）。 Field Type 含义 Sample qid MD5 处理 问题ID，主键 （MD5 转码） c9c426f278c9cfb750 cec603aa5b15d8 status tinyint unsigned 问题状态，取值范围为0~3 （0 表示 3 待解决；1 表示投票中；2 表示已解 决；3 表示已关闭） cid smallint unsigned 问题分类ID 204