大数据关键技术探讨与研究.ppt

大数据关键技术探讨与研究 网络爬虫和语义分析------大数据的重要组成模块 2.1组合理论 组合理论：整个句子意义是句子中每个部分的意义和部分与部分之间的组合方式的函数。 实际应用中，组合理论常常定义成一个严格的规则，即某一个字成分的意义必须是一个函数，这个函数能够把其他所有字成分的意义映射成新产生成分的意义。 优点：易于扩展和维护 存在的难题： (1)句法结构和逻辑形式结构之间存在结构上的不一致性 (2)习惯用语的存在 2.2 λ表达式与语义解释 λ表达式： 2.2 λ表达式与语义解释(续1) 为什么要引入λ演算？ 复杂的一元谓词没有好的方法表达，而λ演算可以为此提供一种形式化方法 在语义解释的过程满足组合性的情况下，我们可以给任意的语法成分赋予某种语义结构，例如动词短语VP，先考虑简单的情况，VP由不及物动词构成，比如在句子中“Jack laughed”，可以这么认为，“laughed”的意义是一元谓词，对于任何在过去某个时间大笑的对象都成立。但是对于复杂的句子例如“Jack kissed Sue”及其逻辑形式(KISS1 k1 (NAME jl “Jack”)(NAME sl “Sue”))，动词短语“kissed Sue”是什么意思？ 2.2 λ表达式与语义解释(续2) 用上面的方法来解释，“kissed Sue”是一个一元谓词，对于任何“kiss Sue”的对象都为真，这种解释明显是不够的，跟句子的逻辑形式也不符合。于是我们就引入了λ演算，它可以为此提供一种形式化的方法。下面的λ表达式 (λ x (KISS1 k1 x(NAME sl “Sue”)))可以表示是一个后面只跟一个变量的谓词。将x看成变量，对于任何对象O，此谓词都为真。因此，如果用O替换表达式中的x，就会得到一个真命题。和其他谓词一样，可以用一个λ表达式和一个参数来构造命题。在逻辑形式语言中，下面是一个命题： ((λ x (KISS1 k1 x (NAME s1“Sue”)))(NAME jl “Jack”)) 这个命题为真，当且仅当(NAME j1 “Jack”)满足谓词(λ x(KISS1 kl x(NAME s1 “Sue”)))；而后者为真，当且仅当下式为真：(KISS1 kl (NAME jl “Jack”)(NAME s1 “Sue”))。这样，这个问题就解决了。 2.2 λ表达式与语义解释(续3) λ表达式应用于语义解释中的优点： (1)可以用来解释复杂的语法现象 (2)可以很好的解释名词短语的介词短语修饰成分 3.1 带语义解释的简单语法和辞典 3.1 带语义解释的简单语法和辞典(续1) 包含SEM特征的小词典示例： a (art AGR 3s SEM INDEF1) decide (v SEM DECIDES1 VFORM base SUBCAT_none) decide (v SEM DECIDES-ON1 VFORM base SUBCAT_pp:on) dog (n SEM DOG1 AGR 3s) fish (n SEM FISH1 AGR 3s) fish (n SEM(PLUR FISH1)AGR 3p) has (aux VFORM pres AGR 3s SUBCAT pastprt SEM PERF) in (p PFORM {LOC MOT} SEM IN-LOC1) Jill (name AGR 3s SEM “Jill”) man (n SEM MAN1 AGR 3s) men (n SEM (PLUR MAN1) AGR 3p) saw (v SEM SEES VFORM past SUBCAT_np AGR ?a) see (v SEM SEES1 VFORM base SUBCAT _np IRREG-PAST+EN-PASTPRT+) the (art SEM THE AGR{3s 3p}) 3.1 带语义解释的简单语法和辞典(续2) 带SEM特征的简单语法： S SEM (?semvp ?semnp) → (NP SEM ?semnp)(VP SEM ?semvp) (VP VAR ?v SEM (λ a2 (?semv ?v a2))) → (V[_none] SEM ?semv) (VP VAR ?v SEM (λ a3 (?semv ?v a3 ?semnp))) → (V[_np] SEM ?semv) (NP SEM ?semnp) (NP WH - VAR ?v SEM (PRO ?v ?sempro)) → (PRO SEM ?sempro) (NP VAR ?v SEM (NAME ?v ?semname)) →