认证数据工程师SlipStream实验.pdfVIP

SlipStream实验

通过kafka传递数据，产生流数据，通过SlipStream，传递数据到orc表中！

1.在kafka的bin目录下创建topic（broker一般使用集群中的所有节点，zookeeper的节点

配置要结合集群中的zookeeper来指定）

#cd/usr/lib/kafka/bin

#./kafka-topics.sh--create--zookeepertdh-101:2181,tdh-102:2181,tdh-103:2181--topicbxu--

partition1--replication-factor1

2.列出当前集群中已存在的topic

#./kafka-topics.sh--list--zookeepertdh-101:2181,tdh-101:2181,tdh-101:2181

3.创建一个普通流

通过beeline连接stream，beeline-ujdbc:hive2://02:10010/default

createstreambxu

(ipstring