Methoden der Sprachverarbeitung Informatik 语音处理的计算方法。.pptVIP

Statistische Verfahren zur Bestimmung von Kollokationen LV Sprachverarbeitung WS 02/03 H. Schweppe Literatur: C. Manning, H. Schütze,Foundations of Statistical NL Processing, ch. 5 ff, MIT Press, 2002 The notion of collocation may be confusing to readers without a background in linguistics (C.M.) Kollokationen Allgemein: Sprachliche Ausdrücke, die aus zwei oder mehr W?rtern bestehen und einen Inhalt ausdrücken. Beispiele: starker Tobak, steife Brise, Big Blue, internationale Spitze Nicht substituierbare Bestandteile: starker Mann - kr?ftiger Mann, aber:starker Tobak – kr?ftiger Tobak ? Im Deutschen oft Komposita: Weltstandard vs. international best practice Gro?e ?hnlichkeit zu terminologische Phrase,Terminus Technicus, Namen Kollokationen Typische Eigenschaften Nicht kompositionell Neue Schuhe versus Neuer Markt Nicht substituierbar white wine , yellow wine Nicht modifizierbar Neuer dynamischer Markt aber dynamischer Neuer Markt ( Adj, Nomen) Erweiterte Definition schlie?t ein: Eigennamen Terminologische Ausdrücke (test set, program specification) Assoziative Kollokationen (Krankenhaus – Schwester) Verb / Substantiv – Kollokationen (Entscheidung treffen) Kontext und Anwendungen Keine Bedeutung in strukturalistischer Linguistik à la Chomsky Anwendungen: Spracherzeugung … also auch maschinelle übersetzung stiff breeze = starke Brise?? steifer Wind?? Korpus-Linguistik (besonders W?rterbücher) Parsen Terminologie Extraktion (in technischer Literatur) Projektbeginn : Projektbeginn ist am...,  Projekt beginnt am... Frequenzanalyse Einfachstes Verfahren: Worthistogramm erstellen die W?rter, die h?ufig gemeinsam (z.B. in einem Satz, in der Nachbarschaft vorkommen), bilden Kollokation Unbrauchbar: C(w1,w2) w1 w2 80871 of the … 15494 to be ….11428 New York Frequenzanalyse Wesentliche Verbesserung durch einfache Syntaxmuster (Justeson, Katz, 1995) Voraussetzung: W?rter sind markiert (tag) Must