greenlum数据库笔记.docVIP

greenplum数据库笔记 greenplum笔记 一般地，greenplum的每个segment节点对应一个网口NIC，一个物理CPU，一个磁盘控制器，以便同机器的多个segment之间互不影响。 greenplum的备份，提供了gp_dump做并行备份，master和segment节点同时执行备份操作，另外gp_crondump会定期执行备份操作； 支持PostgreSQL的pg_dump和pg_dumpall命令，但是其将所有的数据写成一个文件保存在master上，使用受限。 （在白皮书的第21章节备份与恢复有详细描述） 在master节点的$MASTER_DATA_DIRECTORY目录下，pg_hba.conf文件保存了主机远程访问策略；postgresql.conf文件配置了数据库运行的参数。 greenplum数据库的启动gpstart，关闭gpstop，重启gpstop -r，强制关闭gpstop -f ，修改参数后不重启DB加载参数gpstop -u ，仅启动mastergpstart -m； 在master节点修改postgresql.conf文件，想所有segment同时修改postgresql.conf文件的操作是： gpssh -f ~/seg_hosts echo parameter=value | cat - /gpdata/p*/*/postgresql.conf -------------------------------------------------------------------------------------------------------------- 用greenplum实现mapreduce： INPUT部分将输入拆分成（key，value）对儿，送给MAP部分；MAP部分将其生成新的（key，output_list）对儿， 然后送给reduce部分；由reduce部分安照key分组运算得到结果。 比如INPUT的输入时text文件，输出是（NULL，行），MAP的输出是（单词，个数）， REDUCE的输出是（单词，汇总个数）。 输入的数据可以是多种文件格式的文件以及数据库中的数据，MAP和REDUCE部分的函数自定义， REDUCE也可以用内置的函数，OUTPUT可以写入数据库、标准输出或文件。注意，在编程时，INPUT的结果只有列的概念，而没有key的概念， 以行为单位发送给每个MAP，在MAP中定义的输出的key才是真正的key，REDUCE正是靠这个key执行操作的， 当然REDUCE也可以声明KEYS都包括哪些入参。 详细的，INPUT函数的源的关键词可以是FILE/GPFDIST/TABLE/QUERY/EXEC，如果没指定COLUMNS，那么默认认为整个文件只有一列。 MAP函数的输入和输出都是key/value形式的text类型，除非指定PARAMETERS和RETURNS声明，LANGUAGE声明了用perl还是python语言， 如果一次MAP函数会有多个返回值就用yield，否则要声明MODE为SINGLE， 返回注意yield的用法（执行到此返回，下次执行函数时从yield的下一句开始执行，可用来循环追加数据列表）。 另外，gpmapreduce命令可以通过-k参数指定key值，作为map的入参key。 REDUCE有一些内置函数，比如IDENTITY/SUM/AVG/COUNT/MIN/MAX，这些内置函数的入参名称是key和value。 REDUCE实现与MAP实现相比略微复杂，因为它需要考虑将多条返回记录合并， 因此需要在REDUCE函数里面定义一次迁移（TRANSITION）函数，还需要定义FINALIZE函数，初始化参数INITIALIZE， 以及可选的合并函数CONSOLIDATE。每个REDUCE的输入对应一个迁移，为了记录当前迁移的位置，迁移函数需要定义变量state， 由INITIALIZE赋初值，每次TRANSITION的返回值就是下一次TRANSITION的state输入，进行按key分类的每个key下所有输入的迁移， 当最后一条输入在迁移中处理完后，将state值传递给FINALIZE函数，触发FINALIZE工作，返回多个结果。 REDUCE的参数一般还是key/value，而传给迁移函数的参数一般是state/value。 可选函数CONSOLIDATE的作用是将多个state合并为一个。REDUCE的输出不仅可以是标准输出，还可以是数据库表TABLE或文件FILE。 要是往数