原创力文档- 1、本文档共26页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
查看更多
基于数据湖的数据准备
演讲人：柴成亮
DTC2024年数据技术嘉年华（公开）PPT
单位：北京理工大学
目录
CONTENTS▶背景、研究意义与挑战
任务感知的相关数据发现
DTC2024年数据技术嘉年华（公开）PPT
人机协作的数据准备策略
数据高效的模型效率优化
背景介绍：数据湖(DataLake)
●基本概念：数据湖是一种在存储系统中以自然格式存储数据的方法,对企
业中的所有原始数据进行统一存储，用于报告、可视化、数据科学和机器
学习等各种任务。
数据仓库数据湖
DTC2024年数据技术嘉年华（公开）PPT
数据格式专有格式开放格式
结构化、半结构
数据类型主要是结构化数据
化和非结构化
DataPrep.数据质量高质量低质量
性能高低
扩展性高扩展性高扩展性低成本
场景支持BI/SQLDI/SQL/DS/ML
背景介绍：数据准备(DataPreparation)
●数据准备：多源异质数据的发现、融合、清洗与标注，以便进行精准的
数据分析
Forbes:Datascientistsspendaround
80%oftheirtimeonpreparingand
managingdataforanalysis.
DTC2024年数据技术嘉年华（公开）PPT
“为了进行数据分析，数据科学家通常“推动大数据采集、清洗、存储…等技
要花费80%的精力来准备数据”术创新，培育数据采集、标注、存储…
等全生命周期产业体系”
MichaelStonebraker:Data
scientistsspendmorethan90%time
ondatadiscovery,datacleaningand
integrationbeforeanalysis.
“数据科学家通常在数据发现、清洗与“促进社会事业数据融合和资源整合，
融合上花费超
文档评论（0）