第24课:使用MAT动态分析Spark应用程序初体验
/* 王家林老师授课http://weibo.com/ilovepains 每天晚上20:00YY频道现场授课频道
68917580*/
1 如何使用mat直接分析运行中的spark程序 2 用mat直接分析运行中的spark程序初体验
MAT动态连接ecliplse连不上, Acquire a heap dump from a locally running Java process.是空白的;
动态连不了,只好想办法,静态来查看spark的运行情况,人工造出一个OnOutOfMemoryError,生成IMFheap2.bin,就可以查看spark相关的内容了
WordCount 运行结果:
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
16/05/29 17:37:04 INFO SparkContext: Running Spark version 1.6.0
16/05/29 17:37:07 INFO SecurityManager: Changing view acls to: admin
......
and : 10
command, : 2
./dev/run-tests : 1
sample : 1
16/05/29 17:37:30 INFO Executor: Finished task 0.0 in stage 1.0 (TID 1). 1165 bytes result sent to driver
16/05