基于HttpClient的Android客户端的设计与实现.docVIP

基于HttpClient的Android客户端的设计与实现 　　摘 要： 移动设备的普及和移动互联网的高速发展让人们开始依赖通过移动设备获取信息，但普通页面在移动端的体验很难满足用户的需求。为此研究了HttpClient和Jsoup等技术，分析了一般网站的登录原理，成功实现了对一般网站的模拟登录和页面信息的提取，在此基础上实现的系统可以在目标网站中获取用户所需的信息，并将这些信息整合应用到Android平台，从而设计出用户体验更佳的网站Android客户端。 　　关键词： HttpClient； Jsoup； Android； 模拟登录 　　中图分类号：TP311 文献标志码：A 文章编号：1006-8228（2014）03-30-03 　　0 引言 　　客户端（Client）或称为用户端，是指与服务器相对应，为客户提供本地服务的程序。而Android系统上90%的客户端软件具有一个共性：为了改善网页在Android系统上体验不佳而生。这类软件最突出的特点是：先有网站再有客户端。由于网络技术发展的多样性，手机浏览器往往无法跟随它的步伐，为改善用户体验，网站客户端软件应运而生。 　　由于一般网站不提供服务端的开放平台，我们无法调用所提供的API接口来开发，所以需要对页面信息进行处理分析。在对网页信息进行处理分析时，不可能采用浏览器人工阅览的方法，因此需要自己编写分析处理程序，提取出有用的信息，为进一步分析做准备。由于原始HTML页面的数据格式并不适合进行处理[1]，本研究将结合HttpClient与Jsoup对HTML页面进行抓取解析。 　　1 开发工具与环境的介绍 　　1.1 HttpClient 　　网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。类似于使用程序模拟IE浏览器的功能，把URL作为HTTP请求的内容发送到服务器端，然后读取服务器端的相应资源[2]。虽然包中已经提供了访问HTTP协议的基本功能，但是对于大部分应用程序来说还不够丰富和灵活。 　　HttpClient[3]是Apache Jakarta Common下的子项目，用来提供高效的、最新的、功能丰富的、支持HTTP协议的客户端编程工具包，并且支持HTTP协议最新的版本和建议。HttpClient能够处理HTTP连接中的各种问题，使用十分方便，只需导入HttpClient.jar包，就可以模拟IE浏览器来获取网页内容。 　　1.2 Jsoup 　　Jsoup分析网页结构和内容的功能远远强大于HtmlParser，无论是获取整个页面的文本，还是分析特定内容的网页结构，都十分方便。Jsoup数据获取有两大方法：①通过分析dom模型的网页标签和元素；②select元素选择器，类似Jquery方式。 　　1.3 Android 　　Android是一种基于Linux的自由及开放源代码的操作系统，主要适用于移动设备，如智能手机和平板电脑，由Google公司和开放手机联盟领导及开发。2011年第一季度，Android在全球的市场份额首次超过塞班系统，跃居全球第一。2012年11月的数据显示，Android占据全球智能手机操作系统市场76%的份额，中国市场占有率为90%。在2013年09月24日Android操作系统迎来5岁生日时，全球采用这款系统现有设备数量已经达到10亿台。 　　2 网站客户端开发的设计 　　2.1 获取数据的原理 　　图1是一个简单的示意图，告诉我们，数据是由网页从数据库中取出，要为这个系统做客户端，就应该按照该数据获取的原理去改造它，如图2所示。 　　[网页] [数据] 　　图1 网页从数据库中提取数据 　　[安卓客户端][网页] [数据] 　　图2 客户端间接访问数据库 　　通过这样间接的方法来访问数据库，只要网页能看到的内容，我们的客户端都能获取到，而UI是由用户自行制作，可以使用户体验上一个台阶。 　　2.2 HttpClient模拟登录原理 　　现如今不论是网站还是论坛，又或是一般的信息管理系统，登录功能都是必不可少的。因此我们若想要访问所需要的网站并从中获取数据，登录是无法跳过的一个环节[4]。 　　因为HTTP协议是无状态的，也就是连接的有效期只限于当前请求，请求内容结束后连接就关闭了。在这种情况下为了保存用户的登录信息必须使用Cookie机制[5]。以JSP/Servlet为例，当浏览器请求一个JSP或者是Servlet页面时，应用服务器会返回一个参数，名为jsessionid（因不同应用服务器而异），其值是一个较长的惟一字符串的Cookie，这个字符串也就是当前访问该站点的会话标识。浏览器每在访问该站点的其他页面时都要带上jsessionid这样的C