einf眉hrungstatistische verfahren der automatischen indexieru.ppt

? Spree/Automatische Inhaltserschlie?ung Einführung: Statistische Verfahren der automatischen Indexierung Leistung linguistischer und w?rterbuchbasierter Verfahren K?nnen Indexeintr?ge zusammenführen verkleinern Index und erh?hen Recall Stoppwortliste Grundform/Stammform verbessern Volltextretrieval, indem sie dabei helfen, nur sinntragende Worte zu indexieren (Thesaurusabgleich) k?nnen Deskriptoren vergeben, die nicht im Text vorkommen, indem sie Worte nach bestimmten Vorschriften auf einen Thesaurus/W?rterliste abbilden: nach dem Modell: wenn im Text maschinell steht, ersetze im Index durch den Eintrag automatisch“ Grenzen linguistischer Verfahren liefern keinen Anhaltspunkt, wie Deskriptoren bestimmt werden, die besonders repr?sentativ für einen Text sind behandeln die Bedeutung aller W?rter gleich, haben keine Regel / Modell, um Wertigkeit von Dokumenten für das Retrieval zu gewichten (kein Ranking m?glich) jedes Dokument wird für sich allein betrachtet und keine Beziehung zur Gesamtheit aller Dokumente im Speicher hergestellt Grundannahmen der statistischen Verfahren der Indexierung Nicht alle Worte eines Dokuments sind als Indexterme geeignet Es muss eine Auswahl getroffen werden Nicht alle ausgew?hlten Indexterme sind gleich relevant Es muss eine Gewichtung der Indexterme vorgenommen werden L?sung: Worth?ufigkeiten auswerten Statistische Eigenschaften von Texten: Wenige Worte treten sehr h?ufig auf die 2 h?ufigsten W?rter k?nnen 10% eines Textes ausmachen, die 6 h?ufigsten W?rter machen 20% des Textes aus, die h?ufigsten 50 W?rter machen 50% aus Beispiel: in Textsammlung von über 300.000 Dokumenten macht the = 5.9% des Textes aus und of =3.1% Viele Worte sind selten Texte lassen sich nach der Verteilung der Worth?ufigkeit unterscheiden Kann die Statistik helfen? 1. Sehr h?ufige W?rter 2. W?rter, die nur einmal im Text vorkommen 3. Wie geht man mit unterschiedlich langen Texten um? Weitere Probleme L?sung: Berechnung der Inversen Dokumenth?ufigkeit Ko