3基于搜索引擎的大数据分析_水.pptxVIP

基于搜索引擎的 大数据分析; 数据统计与展示;ELK日志分析架构;ELK是什么？; 数据统计与展示;Elasticsearch简介;Elasticsearch中的一些基本概念： Cluster 集群 多个相同集群名的节点的集合 Node 节点 存储数据、参与集群的索引和搜索的服务器 Shards replicas 分片和副本 索引数据分多个块存储，并可配置数据的备份 具体的含义和内容请参考百度百科- elasticsearch;Elasticsearch与关系型数据库一些概念对比：;Elasticsearch的安装非常简单： 1. 安装java1.7以上的版本 2. 下载elasticsearch：https://www.elastic.co/downloads/elasticsearch 3. 解压进入bin目录：运行elasticsearch.bat，在linux中运行./elasticsearch 4. 在浏览器输入http://localhost:9200，返回节点信息。 Elasticsearch的入门请参考：ElasticSearch 简单入门; Elasticsearch提供多种的客户端，包括java、js、perl等。除了客户端之外也可以通过http的方式访问其提供的restful接口做数据的CURD操作。 一、插入数据 curl -XPUT http://localhost:9201/twitter/tweet/1 -d { user : kimchy, post_date : 2009-11-15T14:12:12, message : trying out Elasticsearch} note：index =》twitter，type =》tweet，id =》1 curl -XPOST http://localhost:9201/twitter/tweet -d { user : kimchy, post_date : 2009-11-15T14:12:12, message : trying out Elasticsearch} note：不指定id;二、查询数据 curl -XGET http://localhost:9201/twitter/tweet/1 返回结果： { _index : twitter, _type : tweet, _id : 1, _version : 1, found: true, _source : { user : kimchy, postDate : 2009-11-15T14:12:12, message : trying out Elasticsearch } };三、删除数据 curl -XDELETE http://localhost:9201/twitter/tweet/1 返回结果： { found : true, _index : twitter, _type : tweet, _id : 1, _version : 2 } 这里指定了index、type、id，删除单条数据，也可以不指定id 、type等。除此之外，还可以增加查询条件，将符合条件的数据删除。;四、更新数据 ES中更新数据可以整个文档更新，也可以部分更新（本质上也是全文档更新），还可以通过脚本方式修改。 curl -XPOST localhost:9200/test/type1/1/_update -d { doc : { name : new_name } }‘ curl -XPOST localhost:9200/test/type1/1/_update -d { script : ctx._source.counter += count, params : { count : 4 } };五、批量操作 ES中提供批量操作的接口，如下例子批量插入数据： curl -XPOST localhost:9201/cars/transactions/_bulk -d { index: {}} { price : 10000, color : red, make : honda, sold : 2014-10-28 } { index: {}} { price : 20000, color : red, make : honda, sold : 2014-11-05 } { index: {}} { price : 30000, color : green, make : ford, sold : 2014-05-18 } ;六、mapping操作 在前面插入数据的例子中并没有对