Teradata分析.docVIP

Teradata优势 ，能否打数据并发 　以下是部分Teradata客户数据仓库管理的内容，可说明Teradata系统的强大处理能： 　　多达千亿行数据的数据库表格 　　每天数据加载超过30亿条记录 　　每天捕获3000万笔客户交易 　　每天为消费者在线提供150万种个性化产品和服务 　　每小时处理100万次数据库查询 　　每天响应1万个并发数据仓库用户 　　业务查询响应时间仅为40-50毫秒 Teradata巨表数据存放机制好像是每个节点均匀分布表中一部分数据，当查询的时候每个节点并行查询，结果汇总到某个节点反馈给查询者Teradata的多维并行处理机制。 图8-16 Teradata内部并行处理机制说明 这里假设系统配置有4个虚拟处理器(VPROC)，某个复杂查询被优化器分解成了7个步骤，图中SUPPLIERS、PARTS、PARTSUPP等为数据库中表的名字。在每个步骤执行时，4个VPROC同时处理与各自相关的数据块，例如搜索SUPPLIERS表，该表的记录是通过HASH算法均匀分布在四个VPROC各自负责的磁盘中的，搜索时4个VPROC将同时进行，把相关的记录搜索出来，这就是所谓的查询并行。 例子： 例如：使用NCR 5300服务器，2个节点，存储为2TB，RAID1，在业务高峰期，系统并发查询用户在个以上，最高到个，此时系统响应速度缓慢业务查询响应时间，峰值过后速度就加快了。主要进行的操作就是表之间的关联查询，4张表，每张6-7千万条记录，ETL加载的数据量不算太大。Teradata内外部集建立原则 针对实际的应用，采用内外部集市可以有效的发挥起各自的优势： 松耦合原则 介于要将整个系统划分为数据和应用层 ，相互存在很多密切关联，在设计库表时要充分考虑数据和应用的相互影响，做到应用不影响到数据的处理，数据处理不直接针对应用的松耦合技术架构 任务明确原则 数据处理层和应用层在处理具体业务时，必然存在既可以在数据层处理有可以在应用层处理的问题，需要在设计时充分讨论业务需求，做到责任明确，任务单一，各负其责。 3、teradata比较oracle的优缺点 Teradata是专为数据仓库OLAP设计的，主要用来进行数据的综合分析和处理， Oracle更多的适合联机事务处理的OLTP应用 ，针对DW 数据仓库从以下几个角度：数据管理能力(Data Management)Teradata中只有一种基于HASH算法的数据分配机制，当要插入一条记录时，根据主索引计算出相应的AMP，该条记录即通过此AMP存到其对应的磁盘上。由于主索引值的不同，一个表的各条记录将通过各AMP均匀地分布到各个磁盘上。分配过程完全自动进行，不需要DBA干预，这一点和其它OLTP DBMS有很大的区别。Teradata的HASHING算法经过长期的发展，已经十分完善。它采用了一个类似矩阵的HASH MAP，将计算出来的HASH值通过此矩阵的映射与AMP进行联系。这样，当重新配置AMP数时，只需要变动HASH MAP，速度非常快。 对于OLTP系统而言，其查询的特点是预先知道要回答什么样的问题，因此，DBA会根据业务问题的特点把数据按照相应的规律进行分配，例如把数据按照时间的不同分配到不同的硬盘上。这种由DBA手工进行的数据分配机制对OLTP系统而言是有意义的，也确实能提高系统性能。但对数据仓库系统来说，其查询往往比较复杂而且具有不确定性，不同的业务部门可能会提出各种不同的问题，如果再按照一种规律进行数据的分配，则有可能对某些问题系统的响应速度很快，而对另外一些问题的反应则很慢。 在Teradata数据库中，通过选择合适的主索引就可以保证数据在各磁盘上的自动均匀分配，使得其并行处理性能得以充分的发挥，特别适合于数据仓库环境下各种不确定的、动态的业务问题。另一方面，所有记录的插入、更新都按同样的HASHING算法进行，使得各磁盘上的数据总是混合存储而且是均衡的，不存在“有序”或者“无序”的概念，因而也就不存在数据库的重组问题(Reorganization)。对于传统的OLTP RDBMS而言，投产运行一段时间后系统性能常常因某种原因(如不断追加记录后造成数据存储不平衡)下降，这时就要考虑对数据库的重组。这是一项非常耗时而且需要经验丰富DBA参与的工作。在Teradata中，由于不存在数据库重组这类的工作，使得其管理十分简单。 2、系统管理能力(Data??AdministrationTeradata 数据库提供了一整套齐全的工具和功能，可对数据库操作、管理和维护进行控制，您只需通过一个普通的 Windows 用户界面——Teradata 管理器——即可使用这些工具和功能，包括： Teradata 备份、存档和恢复解决方案，结合了行业领