金融投资大数据实践分享.pdf

金融投资大数据实践分享 龙白滔 博士 2014年12月14日 目录 • 金融大数据vs （消费）互联网大数据 • 金融数据生产 • 金融大数据存储 • 金融大数据分析和挖掘 • 在线交互式金融编程分析研究平台 金融大数据 vs （消费）互联网大数据 （消费）互联网 金融 研究对象 比较偏重研究个体的行为 比较偏重研究群体行为和趋势 体征 数据相关性 与个体强相关的数据比较 与群体行为强相关的数据比较难获 容易获得（例如浏览器 得，数据噪音大 cookie ），数据噪音小 算法复杂度 因为数据质量高，所以算 因为数据噪音大，因此对算法要求 法可以相对较简单 很高 数据容量 大 更大，互联网大数据+ 金融专门的 大数据（例如行情数据、行业数据、 分析师报告等） 数据类型 多种结构化和非结构化数 更多，互联网的数据类型+ 金融特 据 别的数据类型，例如时间序列数据 数据速度 一般数据处理速度要求不 对数据处理速度要求比较高，例如 高 量化交易、动态风险定价、反信用 卡欺诈、实时新闻分析和处理等 目录 • 金融大数据vs （消费）互联网大数据 • 金融数据生产 • 金融大数据存储 • 金融大数据分析和挖掘 • 在线交互式金融编程分析研究平台 金融数据生产 数据抽取和 数据质量检 数据采集 解析 查 •分布式爬虫系统 • 自动抽取OFFICE、 •支持多vendor数据 •基于主题关注度的 PDF等文档中的数 质量平台 数据采集 字、文字、表格、 •添加自动数据质量 •优化每日增量爬取 公式等 校验 策略 •利用OCR和图片处 •人工校验结果作为 • 实现代理机制 理技术抽取图像数 反馈输入到机器学 •支持动态网站爬取 据 习模型，进一步提 •行业分类：国泰君 升自动化处理的质 安和证监会的分类 量