第03课：乐思网络信息采集系统.pdf

乐思信息采集系统 乐思信息采集系统 针对任意网页自动采集精确内容 针对任意网页自动采集精确内容 全球海量信息资源为您随心所用 全球海量信息资源为您随心所用 深圳市乐思软件技术有限公司 网络淘金 网络淘金 Google采集全球因特网网页数据库，成就 • 采集全球因特网网页数据库，成就 Google • 800亿美金市值的奇迹 800亿美金市值的奇迹 • 你想从因特网的公开信息中采集以下数据 • 你想从因特网的公开信息中采集以下数据 库从而获取企业情报与提高销售业绩吗？ 库从而获取企业情报与提高销售业绩吗？ 企业名录，产品资料… 企业名录，产品资料… 行业新闻，供求信息… 行业新闻，供求信息… 实时行情，论坛帖子… 实时行情，论坛帖子… 网络博客，科研数据… 网络博客，科研数据… 关键问题 关键问题 • 大量数据分散地在各个网站中以不规则形式 • 大量数据分散地在各个网站中以不规则形式 显示 显示 • 而你需要的不是纷繁复杂的网页形式，而是 • 而你需要的不是纷繁复杂的网页形式，而是 一个集成的纯净的精确的数据库 一个集成的纯净的精确的数据库 • 以此支持你的网站，营销，研究，数据挖 • 以此支持你的网站，营销，研究，数据挖 掘，CRM，ERP，竞争情报系统 掘，CRM，ERP，竞争情报系统 能从这信息海洋中 能从这信息海洋中 淘出金沙，铸成金子吗？ 淘出金沙，铸成金子吗？ 乐思信息采集系统 乐思信息采集系统 让梦想成为可能！ 让梦想成为可能！ 工作原理 工作原理 从大量网页 批量采集数据 到数据库中 Google做不到的，我们可以！ Google做不到的，我们可以！ • Google采集的仅是因特网海洋中表层的网 • Google采集的仅是因特网海洋中表层的网 页 页 • 乐思信息采集系统却可以做到Google做不 • 乐思信息采集系统却可以做到Google做不 到的，采集隐藏在登录框与查询表单后面 到的，采集隐藏在登录框与查询表单后面 的深网网页中的精确字段内容，保存记录 的深网网页中的精确字段内容，保存记录 到数据库中 到数据库中 强大的定制能力 强大的定制能力 • 可针对任意网页采集，而非事先设定，让 • 可针对任意网页采集，而非事先设定，让 你的数据源源不绝，随时更新 你的数据源源不绝，随时更新 • 针对任意数据格式，预设多种抽取方法， • 针对任意数据格式，预设多种抽取方法， 供你选用 供你选用 主要功能 主要功能 • 根据用户自定义的任务配置，批量而精确 • 根据用户自定义的任务配置，批量而精确 地抽取因特网目标网页中半结构化与非结 地抽取因特网目标网页中半结构化与非结 构化数据，转化为为结构化的记录，保存 构化数据，转化为为结构化的记录，保存 在本地数据库中，用于内部使用或外网发 在本地数据库中，用于内部使用或外网发 布。 布。 从网页采集整合精确内容以便利用 从网页采集整合精确内容以便利用 信息采集 快、准、狠 信息采集 快、准、狠 • 快：每小时可采集几万到几百万条记录