personal branding roadmap template - 文本数据管理与分析.pdf

文本数据管理与分析 文本存储与检索 邱锡鹏 复旦大学 /xpqiu 重要性  人类需要不断地获取、积累、交换知识  知识主要以文本形式存在  最早可以追溯到古代的书籍编目  两个关键问题  存储  检索 邱锡鹏(复旦大学) 文本数据管理与分析 https://textprocessing.github.io/ 2 早期的文本存储与检索 随着知识积累的急剧 膨胀，需要新的存储 与检索方式 邱锡鹏(复旦大学) 文本数据管理与分析 https://textprocessing.github.io/ 3 计算机出现以后  1948年C. N. Mooers在其MIT硕士论文中第 一次使用了“Information Retrieval”这个术 语。  1960－70年代在建立文摘检索系统中  布尔模型(Boolean Model)  向量空间模型(Vector Space Model)  概率检索模型(Probabilistic Model)  1980年代出现商用数据库检索系统 4 邱锡鹏(复旦大学) 文本数据管理与分析 https://textprocessing.github.io/ 4 互联网出现以后  1986年Internet正式形成  1990s第一个网络搜索工具：1990年加拿大蒙 特利尔大学开发的FTP搜索工具Archie 。  WEB搜索引擎  1994年美国CMU 开发的Lycos 。  1995斯坦福大学博士生创立Yahoo 。  1998斯坦福大学博士生创立的Google  PageRank  2001年李彦宏创立百度  竞价排名 5 邱锡鹏(复旦大学) 文本数据管理与分析 https://textprocessing.github.io/ 5 现代文本存储与检索 邱锡鹏(复旦大学) 文本数据管理与分析 https://textprocessing.github.io/ 6 信息检索  信息检索  将信息按一定的 方式组织和存储起来  根据用户的需要查找相关信息  包括  结构化信息检索  „数据库检索  非结构化信息检索  „图像检索  „视频检索  音乐检索  „文本检索 邱锡鹏(复旦大学) 文本数据管理与分析 https://textprocessing.github.io/ 7 文本检索 系统结构 查询 相似度计算 排序 结果 文档 邱锡鹏(复旦大学) 文本数据管理与分析 https://textprocessing.github.io/ 8 核心问题  匹配问题  文本相似度计算（参考 上一章内容）  效率问题  文档索引 邱锡鹏(复旦大学) 文本数据管理与分析 https://textprocessing.github.io/ 9 组织与存储 索引（indexing ） 邱锡鹏(复旦大学) 文本数据管理与分析 https://textprocessing.github.io/ 1