数据可视化基础数据科学.pptx

数据可视化基础数据科学;内容提纲; 大数据用来定义那些大小超出常用软件工具在可承受的运行时间内进行数据捕获、管理和处理的能力的数据集。 ;2009年，美国国家标准技术研究所(NIST)帮助发表了一 篇题为“控制数据的力量”的报告，对 大数据研发计划的开展有许多影响。 2011年，总统科技顾问委员会(PCAST) 提出增加美国在大数据研发方面投入的 建议，同时成立大数据高层指导小组。 2012年3月29日奥巴马政府公布了“大数据研发计划” (Big Data Research and Development Initiative） ;国防部(DoD) 自然语言处理(Machine Reading) 视觉智能(Mind’s Eye) 安全云(Mission Oriented Resilient Clouds) 对加密数据的编程计算(PROCEED) 对视频和图像的检索和分析工具(VIRAT) CINDER计划 Insight计划;国土安全部(DHS) 可视化数据分析(CVADA) 能源部?(DOE) ASCR计划，提供数据管理，可视??和数据分析的社区，包括数字化保存和社区访问 生物和环境研究计划(BER) 系统生物学知识库(Kbase) 美国核数据计划(USNDP) NASA 全球地球观测系统(GEOSS) 行星数据系统(PDS);卫生和人类服务部(HHS) 生物传感2.0 计划 癌症成像存档(TCIA) 癌症基因组图谱(TCGA) 传染病代理研究模型(MIDAS) 人口研究数据共享(DSDR) 计算神经科学的合作研究(CRCNS) 食品药品监督管理局(FDA) 虚拟实验室环境(VLE)计划 国家安全局(NSA) 情报共同体(IC)计划;美国国家自然基金委(NSF) 开发、整合一套一体化的数据工具和先进的基础设施方案以支持科学和教育。 美国国家卫生研究院(NIH) The Structural Genomics Initiative，通过发现，分析和传播蛋白质的三维结构，RNA和其他生物大分子结构，展现生物的多样性，以促进在生物学，农业和医药的基本认识和应用。; 2011年由国防部高级研究计划局(DARPA)提出。 投资：3500万美元。 该项目旨在发现和防止内部威胁。系统预期输出对象是反间谍机构。 同时可以用于解决大规模数据集的异常检测和特征化，用于商业融资等其他领域。 核心技术由乔治亚理工学院高性能计算团队研发。 ;解决目前情报，监视和侦察系统的不足，进行自动化和人机集成推理，使得能够提前对时间敏感的更大潜在威胁进行分析 开发新的方法来检测军事计算机网络与网络间谍活动; 国防部高级研究计划局(DARPA)今年提出开始XDATA计划。 将在四年里拟投资每年2500万美元。 开发用于分析大量的半结构化和非结构化数据的计算技术和软件工具。 提出的挑战: 开发可扩展的算法处理分布式数据中不完整存储的数据。 研发有效的人机交互工具促进在各种各样的任务中快速分析并反馈最重要的视觉信息。 ;高级科学计算研究办公室(ASCR)提出。 DAX是一个为推动百万兆级计算所需的数据分析和可视化算法提供细粒度并发支持的工具包。 基本单元是实现一个网格里元素行为的函数。 每个函数只能访问传递和调用的元素，避免了内存冲突从而实现无限数量的线程并发。 执行器遍历网格所有元素，调用一个或多个函数处理无差别功能的元素并收集每个元素的值。 ; 病人报告结果测量信息系统 2002年5月，国家卫生研究所召开多个会议为21世纪的医学研究制定了发展路线并提出了NIH共同基金。 为支持重要项目之一的慢性疾病病人临床研究动态评估，由NIH共同基金提出了合作项目PROMIS。 PROMIS是一个高度可靠，有效，灵活，准确，反应病人健康状况的评估工具系统。 核心资源是评估中心：提供工具和数据库，以帮助研究人员收集，存储，分析病人的健康状况有关的数据。 ; NASA提出的地球科学数据和信息系统研制计划 主要目标： 处理、存储与分发地球科学卫星数据。 提供用于方便管理地球科学数据的工具。 促进地球科学数据的跨学科使用。 通过国际之间地球观测数据的共享和整合，推动地球系统科学，满足气候和环境变化的挑战。 有12个数据中心，14个科学研究处理系统以及26个合作伙伴为项目提供支持。;美国“大数据计划”特点 应用单位提出，应用单位主导 有非常明确的应用需求，要求解决实际问题 应用单位完全掌握大数据资源 高校参与关键技术研究 我国高校面临的挑战 不掌握大数据来源 很难得到真正的实际需求 无能力建设试验环境 不能提供足够的人力资源;;数据准备-复杂化;数据准备-语法和语义错误;数据准备-扩展性问题;数据准备-扩展性问题;数据表现;