抓取更多类手机游戏网页数据(CH2).pdfVIP

抓取更多类手机游戏网页数据 定义 demo_list_game_basic 主题时，我们选择了样本页面 /html/game/dongzuo/ ，我们继续研究这个网页的结构，我们看到两处分 类列表（ 如图 1 A 和 B ）。 分析以后，发现两个列表都导向相同的网页，但是网页的URL 不太一样（实际上是一样，A 使用网页URL 的路径名，从而访问缺省的index.html 页， 而 B 使用完整的URL 地址），选择 A 或者B 都可以，但是，为了保持与 demo_list_game_basic 一致，我们选用A 。 图 1 放大) 为其它类手机游戏列表定义网页数据抓取规则时可以采用一种快捷方式，如果其它类的手机 游戏列表页的网页结构与动作类的相同，快捷方式十分有效，如果不同，需要重新定义一个 符合目标类的信息结构。下面我们讲解怎样使用快捷方式。 用快捷方式定义其它类别的网页数据抓取规则 在 MetaStudio 的Schema List 工作台上，找到这个主题，并加载，待MetaStudio 下部的状态 条显示完成。将运动射击类的网页URL （/html/game/sheji/ ）输入到 MetaStudio 的URL 输入栏，回车，待网页加载完成（状态条显示完成），点击菜单文件- 分析页面 （ 如图 2 ），如果网页结构完全与动作类的一致，中间不会弹出对话框说某某信息 属性无法定位，而是在最后弹出对话框说： 请检查 Theme Editor 和 Clue Editor 工作台上的主题名。也许需要重新命名 这是提示信息，表示分析成功，页面结构一致，demo_list_game_basic 主题的网页数据抓取 规则可以用来抓取其它类别的游戏列表信息。至此，需要做决策： • 运动射击类游戏列表的主题是否要与动作类一致？ • 运动射击类游戏详细信息网页的抓取主题是否与动作类的一致？ 图2 放大) 上面所述的提示框就是要操作员做这个决策。不同决策，可能产生 如图 3 所示 4 种不同的网 络爬虫路线图。 • 图3A，表示游戏列表页和游戏详细信息页都用一致的数据抓取主题 • 图3B，表示游戏列表页用不同的数据抓取主题，而游戏详细信息页使用相同的主题 • 图3C，表示游戏列表页用相同的数据抓取主题，而游戏详细信息页使用不同的主题 • 图3D，表示用不同的游戏抓取主题 图3 放大) 命名主题的 目的一方面是给定题网络爬虫规定路线图，另一方面是为了数据集成软件能够 区别处理抓取的网页数据。所以，原则上，不同语义的网页应该用不同的主题名，例 如， 采用图 3D 的方式。但是，语义的理解本身也是一个分类问题，如果不想区别对待动作类手 机游戏和射击类游戏，语义可以是“游戏”，那么就可以采用图 3A，此时，网页数据抓取 结果程序就不要试图区别对待手机动作类游戏还是射击类游戏。 一般来说，没有理由采用图 3B，一开始分开，后来又混合在一起，没有理由这样处理。图 3C 可以采用，当抓取列表数据时混在一起抓，因为只是为了抓取 后续主题的超链接，区别 对待意义不大，但是抓取手机游戏详细数据时区别对待，抓取结果处理程序可以按类别进行 不同处理，这是一种高级技巧，不一定总是成 行，要根据实际情况，看网页上是否有区别 标志，参见下一节。 我们不妨采用基本原则，每一类手机游戏用不同主题，即图3D 。进行下面的步骤 1. 在 Theme Editor 工作台上命名主题：demo_game_list_sheji 2. 在 Clue Editor 工作台上命名 Info 类线索 （用于