Text Mining bung文本挖掘和220塞.pptVIP

Text Mining - übung Patrick J?hnichen, Antje Schlaf Ablauf übungen finden im zweiw?chigen Rhythmus statt N?chste Termine: 07.11., 28.11., 12.12., 09.01., 30.01. Termine und Themen stehen rechtzeitig auf der ASV Homepage Termin bestehen aus zwei Teilen 50 Minuten: Zwei Vortr?ge von Studierenden 20 Minuten Vortrag / 5 Minuten Diskussion Themenvergabe immer für den n?chsten Termin 40 Minuten: übung Fragen zur Vorlesung Wiederholung des Stoffes Beispielrechnungen Themen n?chste Woche Büchler, Ge?ner, Eckart, Heyer: Unsupervised Detection and Visualization of Textual Reuse on Ancient Greek Texts Brin: Extracting Patterns and Relations from the World Wide Web Resource Projekt Deutscher Wortschatz wortschatz.uni-leipzig.de Zugriff auf Webservices W?rter des Tages Corpora rmatik.uni-leipzig.de Zugriff auf Wortstatistiken, Kookkurrenzen, Kookkurrenzgraphen Tools nltk (Natural Language Processing Toolkit) Python Bibliothek Verschiedene Korpora verfügbar Informationen unter Dokumentation und Beispiele Mallet (Machine Learning for Language Toolkit) Java package Fokus auf Machine Learning Anwendungen z.B. Dokumentklassifikation, NER, Topicmodelle Informationen unter Text Mining Begriffsdefinition Bündel von Analyseverfahren, die die algorithmusassistierte Entdeckung von Bedeutungsstrukturen aus un- oder schwachstrukturierten Textdaten erm?glichen soll (Wikipedia) Was wollen wir wissen/machen/heraus bekommen? Analyse gro?er Dokumentkorpora Extraktion von bekanntem Wissen (also Namen, Daten, Relationen) Extraktion von unbekanntem Wissen (etwa thematische Einordnung von Dokumenten, Synonym- und Polysemerkennung, Themenfindung) Taxonomie- / Ontologieextraktion Grundlegendes Vorgehen Grundlegendes Vorgehen Preprocessing Extraktion des eigentlichen Textes Anlegen von W?rterbüchern Entfernen von Stopw?rtern Termentfernung (Mindestfrequenz) Entfernung von Punktuation Filtering Extraktion von Metadaten (z.B. Autor des Textes, Erscheinungsort- und Datum, Sprache, etc.) Stemm