hadoop 和 spark 集群的安装

$`LRB$BRLK{%IL_`0H1]A6L

}GK~2)LK@9%F}0[F9TYKQ~F

image

 

bin/spark-shell --master spark://hadoop1:7077

image

 

遇到的问题;

1.公司不能随便添加IP,

解决问题:用虚拟机 host-only 模式 组建局域网

相关环境:
物理机:win2003
虚拟机:
hadoop1:192.168.56.101
hadoop2:192.168.56.102
hadoop3:192.168.56.103

 

2.datanode起不来

查看日志

java.io.IOException: Incompatible clusterIDs in /app/hadoop/hadoop220/mydata/data: namenode clusterID = CID-f51f1198-bb8f-42cf-a67d-609439602e74; datanode clusterID = CID-e2d1252a-9c8d-4e45-9437-e4200f02fd5f

datanode  和namenode的 id不一致

解决问题: 删除 datanode对应的元数据目录。

 

3.Spark Standalone HA 部署

export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=FILESYSTEM -D
spark.deploy.recoveryDirectory=/app/hadoop/spark100/recovery"

解决问题:直接copy的多了一个换行符,删除换行符

您可以选择一种方式赞助本站