1.spark的安装和部署
运行模式
• 本地模式
• Standalone模式
• Mesoes模式
• yarn模式
1.1. 本地模式
安装jdk
安装scala
tar -zxf scala-2.11.6.tgz
spark版本只到 1.6.1,对应scala版本为 2.10.x
配置文件
/etc/profile
export JAVA_HOME= /usr/lib/jvm/java-1.7.0-openjdk-1.7.0.45.x86_/jre
export SCALA_HOME=/home/yy/scala
export SPARK_HOME=/home/yy/spark-1.2.0-bin-hadoop2.4
export PATH=$PATH:$JAVA_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin
conf/spark-env.sh配置
-- 调试启动方式
sh -x ./sbin/start-master.sh
SPARK_MASTER_IP=192.168.1.212
SPARK_MASTER_PORT=7077
SPARK_WORKER_CORES=3
export MASTER=spark://${SPARK_MASTER_IP}:${SPARK_MASTER_PORT}
export SPARK_MASTER_IP=192.168.1.212
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=1G
export SPARK_WORKER_PORT=8888
export MASTER=spark://${SPARK_MASTER_IP}:${SPARK_MASTER_PORT}
修改 conf/slaves.template 为conf/slaves
启动master
/opt/soft/spark/sbin/start-master.sh
本地模式运行例子
/opt/soft/spark/bin/spark-submit --master local[*] --class org.apache.spark.examples.SparkPi
/opt/soft/spark/lib/spark-examples-1.6.1-hadoop2.6.0.jar
3.
2
部署中遇到的bug
bug1启动master时报错
failed to launch org.apache.spark.deploy.master.Master:
at java.net.InetAddress.getLocalHost(InetAddress.java:1469)
windows下直接执行spark-shell
报错Could not locate executable null\\bin\\winutils.exe
初步怀疑是hadoop没有安装导致
参考url:
虚拟机上搭建spark集群
http://blog.csdn.net/wjcquking/article/details/45286755
todo now,本地运行spark-shell
重新下载运行spark-shell,本地模式本应该不依赖hadoop的
http://spark.apache.org/downloads.html
当前存在的问题,直接执行saprk-shell都不能成功
因篇幅问题不能全部显示,请点此查看更多更全内容
Copyright © 2019- efsc.cn 版权所有 赣ICP备2024042792号-1
违法及侵权请联系:TEL:199 1889 7713 E-MAIL:2724546146@qq.com
本站由北京市万商天勤律师事务所王兴未律师提供法律服务