一个低价机票获取系统的设计.pdfVIP

1 绪论 1.2.2 背景 如今，飞机，作为一种日益普遍的出行方式，已经被大众接受。为了方便 客出行，各大航空公司相应地推出网上订票，电话订票等服务。为了尽可能多赚 钱，经常调整机票价格来吸引旅客购买。据我统计，一日之内有一个航班价格前 后调整了 7 次，而且调整幅度较大。机票价格不仅与座位余量，是否节假日有关， 也与天气等其他因素有关。 针对纷繁复杂的航班信息，有很多代理平台整合了各大航空公司的机票信息， 为人们订票提供方便快捷的服务，但同时还会收上一笔手续费，不同的平台手续 费也不尽相同。 如果旅客出行比较紧急，一般不会考虑价格，只要有票能走上 就好。然而，在行程可以提前预知时，我们就会提前几个月进行订票操作，这时 出于省钱的角度，我们往往会想买到最低价格的飞机票。 1.2.3 意义 作为旅客，当然想在能买到机票的基础上尽量节省一部分开支，然而，因为 航班众多，信息过于复杂，单纯靠人工筛选，逐个寻找每个航线在近几个月内， 在不同平台上的价格，会费时费力，而且很难寻找到最划算的机票价格，甚至有 可能错过合适的机票。若有个系统可以自动帮助旅客盯着各大平台的订票系统， 并告诉旅客买哪天哪个平台的哪个航班票价是最划算的，能省去旅客不少的麻烦， 节省了大量的筛选时间。 其次，本研究对于民航监管部门也有很重要的意义。每天各家航空公司的航 班信息数量太多，有的航空公司为了抢夺客户打价格战，用低廉的票价吸引客户， 侵犯其他航空公司的利益，但由于人力有限可能不会及时监管和处理。本文的研 究将会给相关的监管部门进行思路上启发，能对他们构建一个机票价格实时监控 系统起到帮助作用。 最后，本研究对于各大民航公司和机票代理网站也有参考意义。民航部门可 以根据市场变化实时地调整价格数据，使利润最大化。各大代理网站也可以根据 1 其他平台的数据调整自身机票售卖的价格，从而吸引顾客购买，实现销售量上的 突破。 1.3 国内外基本研究概况 1.3.1 总体概况 随着网络信息的爆炸性增长，使用自动化工具来查找所需的信息，跟踪分析 其使用模式已经变得十分必要。例如，如果用户希望在网上找到信息，则必须知 道文件的确切地址，或者耐心地从导航页面找到链接所需的目的地。信息检索 （IR）是从信息资源获取信息的活动。搜索引擎能从互联网上提取有价值的信息。 搜索引擎由两个基本部分组成 —— 一部分是网络爬虫，它在万维网（WWW）中 查找，下载和解析内容;　另一部分是数据挖掘工具，它从页面中提取关键词， 按重要性排列文档并应答用户的查询。网络爬虫是一个程序，它通过跟踪网页的 链接，收集超文本标记语言（HTML）页面。这个过程被称为网络爬行。 集中式网页爬虫被用来收集网页，通过优先搜索爬虫边界和管理超链接探索 过程来满足一些性能。我们可以将重点网络爬虫作为基础爬虫，涵盖了很多方法， 比如基于关键词的方法，基于示例文档的方法，基于本体的方法，基于链接语义 的方法，基于数据挖掘的方法等其他方法。 90 年代初，当时 Google 搜索到的页面也仅是整体网页数量的 60%。这之中， 爬虫在获取页面资源中起到很大的作用。聚焦类爬虫，往往具有准确抓取性，它 是按一定顺序收集与页面有关的内容，剔除与内容无关的资源。 对于垂直搜索引擎，快速过滤无关内容是决定所使用的爬虫准确性的关键。 因此，选择合适的爬虫策略，是提高检索速度的关键。搜索算法的不断改进和成 熟，使爬虫发展变得越来越智能化。尤其是 1999 年 Rennic 等人将机器学习方法 引入到搜索策略中，大大提高了搜索的性能。 1.3.2 国外技术发展 国外机票网站一般把超级搜索技术作为获取票价的主要方式。通过比较各大 网站票价的数据，将票价输出。国际上 2006 年就广泛使用超级搜索技术进行爬 取，比较知名的机票查找网站有：Siderstep, Mobissimo, Kayak 等等。但因为 2 价格是实时变化的，这种超级搜索不能反映出这种变化的趋势。 国外网络爬虫技术发展飞速，为我们研究爬取机票提供了很多帮助。 Gunjan 和 Snehlata 提出了一种基于本体的互联网爬虫算法，该算法仅检索 相关网站，并为抓取提供了最佳估计路径，有助于提高爬虫的性能。 该算法的 主要目的是