Text Mining及Data Mining之实务与应用--文本挖掘与决策支援.pptxVIP

Text Mining及 Data Mining之實務與應用--文本挖掘與決策支援蔣以仁謝邦昌 臺灣輔仁大學應用統計所暨統計資訊系教授廈門大學計畫統計系講座教授兼博導、首都經貿大學統計學院講座教授兼博導中華資料採礦協會、中央財經大學統計學院講座教授兼博導mailto:stat1001@.twstat1001@.tw.tw/WWW.CDMS.ORG.TW文本挖掘理論概述文本挖掘的獨特之處 有結構化資訊，也有大量非結構化電腦無法理解自然語言符號的意義，需要編碼（indexing）如何查明文檔X和事務V的關係？——研究詞庫（word terms）內部的慣用詞和文檔X的關係如何研究事物A和B的關係——研究文檔X（i）中慣用詞之間的關係文本挖掘與決策支援認知 規律專家專業判斷專家解讀 相關領域 知識分析實際問題判斷 預測資料檢索，整理與呈現基礎規律新手文獻中所累積之知識產生知識應用知識文本資訊的特點與用途不確定性(概率)透視未來熱點趨勢資訊精華萃取物公關事項的決斷知識經驗積累 相關領域的教育實證案例推論EBR CBRCase-basedReasoningEvidence-basedReasoning實例分析案例研究文獻實證案例學習實證佐證相似案例Experience SearchConcept Search個案分析實證案例學習的障礙問題結構及概念不易定義不易真正獲得所需，太多雜訊無法精確定義描述所需，致使資料的獲取不夠詳盡知識的分享也因需求不同而未能真正針對問題並切合所需CleansingValidationCompletionExtractingGatheringCleaningTransferringOrganizingLoadingTask DefinitionAnd GoalDataKDDataSelectionPreprocessTransformDMDataWarehousePreprocessedDataTargetDataUsableDataPatternOutputDataOLAPDataReportsDataDatabaseETLQueryStatisticsAIVisualizationPresentationData Transfer資料採礦流程文本探勘流程PreprocessExtractingGatheringCleansingTransferringOrganizingLoadingLanguageFeatureExtractionLexicalAnalysisSemanticEvaluationSemanticAnalysisDataTask DefinitionAnd GoalKnowledgeDocumentClustering/CategorizationDataMiningSelectionDocumentRepositoryPreprocessedDataTextDatabaseKnowledgeBasedVisualizationDataBrowsingDataDataDatabaseTools文件多國語言中(簡繁體字)英日德俄… 指引式檔分類統計斷詞前 置 處 理詞庫式斷詞專家斷詞既有詞彙擷取新生詞彙擷取關鍵字匯篩選及排名(Ranking)領域相關經驗法則詞彙索引automatically extract structured information, from unstructured machine-readable documents.概念式分類/分群圖形模式概念式搜尋關聯與相依分析(Association Dependent Analysis)信息截取(InformationExtraction)文件自動分類(相似) 貝氏機制資訊分享專家校正拒絕 分數 資料向量化排序否分數??是接受 定義向量初值Ontology特徵向量 臨界值? 臨界值設定評量評估函數 文件差異化臨界值調整特徵粹取關聯校正 依關聯調整 相似類歸注：資料向量化m個慣用詞，n個文檔，組成m×n階矩陣，元素為文檔和慣用詞之間的聯繫程度。當此矩陣階數過高時，會採用一些降維方法。特徵抽取與特徵選擇特徵抽取與特徵選擇 大家會發現，和資料集的分類步驟相比文本挖掘的步驟多了“特徵抽取和特徵選擇”。文本的特徵是由它的詞根、字、詞、句等反映出來的。不像資料集，其特徵是通過各個變數的統計量的數值表現出來的。以下的語言單位都可以用來計算特徵： Character，字：中??Word，詞：中國??Phrase，短語：中國人民銀行??Concept，概念：Blog，部落格，web2.0??同義詞：開心 高興 興奮??N-gram，N元組：中國 國人 人民 民銀 銀行文本特徵的建立定義：文本特徵指的是關於文本的中繼資料。分類：描述性