Trident高级抽象元语与TF-IDF算法详解.pptx

高级抽象元语Trident

高级抽象元语Trident—课程概要Trident概述词频-逆文件频率法编程实战

高级抽象元语TridentTrident概述

Trident概述本套课程主要讲解Storm实时处理系统中另一个重要的概念—Trident。通过Trident对Storm进行编程，我们可以从更高视角来审视整套实时处理系统的实现，同时简化我们编写的代码。我们将会在本套课程中讲解Trident的抽象元语和实战中即将使用到的一种搜索算法—TF-IDF算法，即词频-逆文件频率法。

Trident概述—什么是TridentTrident是为基于Storm元语进行实时计算的用户提供的一类高级的抽象元语。能够同时满足高吞吐量（每秒百万级的消息）与低处理延时延续了事务型Topology的exactly-once语义类比高级批处理工具Pig或Cascading

Trident概述—Trident操作Trident中包含以下操作：joinaggregationgroupingfunctionfilter

高级抽象元语Trident词频-逆文件频率法

词频-逆文件频率法—基本概念TF-IDF，即词频-逆文件频率法。是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF-