)大数据环境下数学建模.pdf

仅供教师教学 参考，禁止上 传互联网！ 2014/7/26 信息工程大学韩中庚 1 大数据环境下的数据建模方法 1. 大数据环境与数据建模概述 1. 大数据环境与数据建模概述 2. 大数据的建模分析方法 2. 大数据的建模分析方法 3.数据处理与数据建模方法 3.数据处理与数据建模方法 4. 数学建模竞赛的赛题分析 4. 数学建模竞赛的赛题分析 5. 数学建模竞赛的实践过程 5. 数学建模竞赛的实践过程 6. 数学建模的指导与实践方法 6. 数学建模的指导与实践方法 2014/7/26 信息工程大学韩中庚 2 一、大数据环境与数据建模概述 1. 大数据的传说 一个数据体量特别大，数据类别特别多的 数据集，且无法用传统数据库工具对其进行管 理和处理。通常情况数据量为10TB以上，从海 量数据到巨量数据。 • 关于大数据最重要的问题是如何使用？ • 最大的挑战在于哪些技术能更好地使用大数 据？ • 大数据的应用水平如何？ 2014/7/26 信息工程大学韩中庚 3 一、大数据环境与数据建模概述 2.大数据的基本特征 （1 ）数据体量巨大，从TB级别到PB级别。 （2 ）数据类型繁多，数据来自多种数据源，突 破了通常的结构化数据范畴，包括半结构化和非 结构化数据。如网络日志、视频、语音、图片、 地理信息、人员信息、商业信息等。 （3 ）数据的真实性高、但价值密度低。如连续 不间断的监控视频，可能有用的数据仅有几秒 钟。 （4 ）处理速度快，1秒定律，即实现实时处理。 2014/7/26 信息工程大学韩中庚 4 一、大数据环境与数据建模概述 3.大数据的发展与应用过程 （1 ）20 世纪 80年代开始数学热，数学热促使 了数学模型发展，但经典的数学模型对带有观 测误差的数据处理能力有限； （2 ）90年代出现了信息热，信息等价于数 据，然而当时的信息处理技术从计算能力、适 应能力和容错能力等难以达到使用的标准。 （3 ）从90年代中期，统计学成为大众消费数 据的热点，使得统计学家从象牙塔走到了现实 世界，从而出现了统计建模。 2014/7/26 信息工程大学韩中庚 5 一、大数据环境与数据建模概述 3.大数据的发展与应用过程 （4 ）进入21世纪，网络密布、数据激增，统计 建模在一定程度上为数据分析提供了一套可扩 展、可深化，高质高效地揭示有价值信息的方 法。 （5 ）近几年来，大数据体量不断增加、类型复 杂，统计建模方法已不能全胜任。需要更多针 对大数据分析的数据建模方法。 （6 ）关于大数据分析（数据采集、数据处理、 数据建模、数据应用）方法现已成为新热点。 2014/7/26 信息工程大学韩中庚 6 一、大数据环境与数据建模概述 4.大数据分析的研究方向 由于大数据来源复杂、体量巨大、价值潜伏、处 理速度快等特点，要求利用计算机和数学技术予 以实现（数据工程 ）。大数据分析的研究方向： （1 ）数据的表示与预处理方法，主要强调采 集、存取、加工，使其规范化和可视化的方法。