Hadoop性能管理与监控.pptx

Hadoop性能管理与监控;1;Hadoop集群性能因子;Hadoop集群性能指标;Map output records Map output bytes Map output materialized bytes Input split bytes Combine input records Combine output records Reduce input groups Reduce shuffle bytes Reduce input records Reduce output records;Spilled Records Shuffled Maps Failed Shuffles Merged Map outputs GC time elapsed (ms) CPU time spent (ms) Physical memory (bytes) snapshot Virtual memory (bytes) snapshot Total committed heap usage (bytes);Hadoop集群性能指标;HDFS: Number of bytesreade HDFS的读取的字节数。 HDFS: Number of bytes wite HDFS的写入的字节数。 HDFS: Number of read operations. HDFS的读操作的次数。 HDFS: Number of large read opcratios, HDFS的大量读的操作次数。 HDFS: Number of writle oprnatins HDFS的写操作的次数。 ;File loput Format Counters:Bytes Read。 Job执行过程中，Map端从HDFS读取的输入的split 源文件内容大个，不包括Map的spli元数据；如果是压缩的文件则是未经解压的文件大小。 File Output Format Counters：Byes Witern 。 Job 执行完毕后把结果写入到HDFS,该值是结果文件的大小；如果是压缩的文件则是未经解压的文件大小。 JVM内存使用。 堆内存Heap Memory：代码运行使用内存。 非堆内存Non Heap Memory：JVM自身运行使用内存 ;磁盘空间使用。 Configured Capacity：GB，所有的磁盘空间。 DFS Used：MB，当前HDFS的使用空间。 Non DFS Used：GB，非HDFS所使用的磁盘空间。 DFS Remaining：GB，HDFS可使用的磁盘空间。 Files and directories：文件和目录数量。 HDFS文件信息。 Size：大小 Replication：副本数 Block Size：块大小;1;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;1;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;