spark使用文档

1.spark的安装和部署

运行模式

• 本地模式

• Standalone模式

• Mesoes模式

• yarn模式

1.1. 本地模式

安装jdk

安装scala

tar -zxf scala-2.11.6.tgz

spark版本只到 1.6.1，对应scala版本为 2.10.x

配置文件

/etc/profile

export JAVA_HOME= /usr/lib/jvm/java-1.7.0-openjdk-1.7.0.45.x86_/jre

export SCALA_HOME=/home/yy/scala

export SPARK_HOME=/home/yy/spark-1.2.0-bin-hadoop2.4

export PATH=$PATH:$JAVA_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin

conf/spark-env.sh配置

-- 调试启动方式

sh -x ./sbin/start-master.sh

SPARK_MASTER_IP=192.168.1.212

SPARK_MASTER_PORT=7077

SPARK_WORKER_CORES=3

export MASTER=spark://${SPARK_MASTER_IP}:${SPARK_MASTER_PORT}

export SPARK_MASTER_IP=192.168.1.212

export SPARK_MASTER_PORT=7077

export SPARK_WORKER_CORES=1

export SPARK_WORKER_INSTANCES=1

export SPARK_WORKER_MEMORY=1G

export SPARK_WORKER_PORT=8888

export MASTER=spark://${SPARK_MASTER_IP}:${SPARK_MASTER_PORT}

修改 conf/slaves.template 为conf/slaves

启动master

/opt/soft/spark/sbin/start-master.sh

本地模式运行例子

/opt/soft/spark/bin/spark-submit --master local[*] --class org.apache.spark.examples.SparkPi

/opt/soft/spark/lib/spark-examples-1.6.1-hadoop2.6.0.jar

3.

2

部署中遇到的bug

bug1启动master时报错

failed to launch org.apache.spark.deploy.master.Master:

at java.net.InetAddress.getLocalHost(InetAddress.java:1469)

windows下直接执行spark-shell

报错Could not locate executable null\\bin\\winutils.exe

初步怀疑是hadoop没有安装导致

参考url:

虚拟机上搭建spark集群

http://blog.csdn.net/wjcquking/article/details/45286755

todo now,本地运行spark-shell

重新下载运行spark-shell,本地模式本应该不依赖hadoop的

http://spark.apache.org/downloads.html

当前存在的问题，直接执行saprk-shell都不能成功