Esper培训文档.pptx

Esper技术培训睿启科技MDS-Client组:王刘刚Mail:wangpeiqi2010@ 内容事件和事件处理Esper简介及架构输入、输出适配器Esper API二次开发一、事件和事件处理什么是事件？事件的基本特征事件举例简单事件处理(SEP): Simple Event Processing事件流处理(ESP):Event Stream Processing复合事件处理(CEP):Complex Event Processing1.1 事件是什么？事件(Event)是有意义的状态变化 a significant change in state例如：股票价格的变化密码变更最后一次服务的响应时间10kV配网故障的一次告警事件在系统中的表述XML、POJO、Map(Key-value)等1.2 事件的基本特征不只是“发生什么事情”发生事情的不可变记录事件要素：标识、发生时间、有意义的属性事件间可能存在某种关联：时间顺序、因果关系、聚合关系、依赖关系等1.3 事件举例移动社交—(如：旁街网)位置信息用户标识用户位置所在社区信息变更用例根据用户位置变更，定向推送所在区域的服务信息：商城、饭店、电影院、银行、公交站等信息统计和分析用户的日常行为规律1.4 简单事件处理 基于单个事件单个事件触发并响应通常采用JMSQueue:点对点Topic：发布和订阅1.5 事件流处理基于”流”的处理单个事件不会触发“反映”需要分析事件流各种滑动窗口基于时间基于事件数量1.6 复合事件处理CEP什么是复合事件处理？ 先看一些生活化的例子。其实你每天都在做人肉CEP，只是你不知道而已。所谓人肉CEP，就是通过各种感知器官，将感觉汇集到大脑，经过综合判断得到一个更具有意义的事件。在这个事件被判定出来之后，你可能会想要为此采取必要行动。 个人版： 皮肤感觉温度下降是一个基础事件（Base?Event）或称简单事件（Simple?Event）。耳朵听到远方传来的雷声、眼睛看到闪电，都是基础事件。集合以上基础事件，得到一个复合事件：快要下雨了。于是，你考虑到需要：收衣服或者出门要带伞。 企业版： 身为公司领导，你看到员工经常有一堆事没做完，居然还在上班时间上网偷菜。于是你得到一个复合事件，就是：这是一个不负责任的员工。你的处理方式就是将他辞退。 家庭版: 外面的饭店又再涨价，而且常常出去吃饭，有时候一不小心经常吃出”怪物”，每天听新闻又在说地沟油、苏丹红…等饮食安全问题，通过这些事件后。你考虑需要，每天上班带饭比较安全。 看了这些例子，现在应该能了解CEP系统的大致作用了：先捕获各种细微的事件（基础事件），然后通过分析整理，找出更有意义的事件（复合事件），最后决定采取什么行动。其中事件的分析整理以找出更有意义的事件，正是CEP的核心，也是最困难的地方。 看了这些例子，现在应该能了解CEP系统的大致作用了：先捕获各种细微的事件（基础事件），然后通过分析整理，找出更有意义的事件（复合事件），最后决定采取什么行动。其中事件的分析整理以找出更有意义的事件，正是CEP的核心，也是最困难的地方。1.6 复合事件处理复合事件：大量由其他事件触发的事件基于事件流的处理需要对多个事件(流)做复杂的分析分析、发生模式过滤聚合相关事件关联事件关联因果关联空间关联3.1 事件在CEP中的位置事件处理总线事件缓存 规则驱动状态引擎状态模型事件源基础规则规则引擎事件流处理流查询流程查询事件消费方特殊算法\操作分析参数神经网络等大量的实时数据作为事件源接入事件处理总线，CEP引擎通过指定的规则，处理这些实时数据和缓存的历史数据，并通过事件处理总线将有意义的事件提供给事件消费方。1.1 在电力CEP应用场景中理解事件事件源1 事件源2 事件源3 事件源4 事件源5对于有意义的事件，需要启动相应的业务流程处理复杂事件处理总线(CEP BUS)：将电网企业的所有实时信息数据作为事件接入到复杂事件处理总线上处理有意义的事件BPM复杂事件处理器(CEP Agent/ Processor)：是复杂事件处理的一个功能单元，可以拆分事件和合并事件，也可以根据规则发现事件，在处理事件时，可以有任意多个处理器组合处理事件事件发现后，交给业务处理单元，复杂事件处理(ECP)，完成事件发现、事件处理、结束处理一套流程发现有意义事件：复杂事件处理引擎根据电网业务规则，在不同事件源中找出相关的组合事件。这种出现在不同的事件源中，而相互又有一定关系的组合事件，定义为有意义事件复杂事件处理引擎(CEP Engine)：复杂事件处理的核心，运行复杂事件处理器。主要任务是组合或分解事件，根据规则最终发现有意义的事件二、Esper技术简介IT领域的CEP现状商业CEP产品Esper简介Esper架构业界CEP应用2.1 I