大数据随记 —— Spark 基本安装及相关配置-繁依Fanyi

大数据系列文章： 目录

文章目录

• • • 〇、安装前准备
    • 一、Spark 安装
    • • 1、配置 Spark 环境变量
      • 2、修改 Spark 配置文件
      • • a、配置 workers（slaves）
        • b、配置 spark-env.sh
        • c、拷贝 Spark 到其它节点
      • 3、测试
    • 二、Spark Maven 项目配置

〇、安装前准备

• Spark 安装包 （注意选择合适的安装包）
  • 下载|Apache Spark
  • spark-3.3.0-bin-hadoop3.tgz

一、Spark 安装

1、配置 Spark 环境变量

① 进入安装包所在目录

cd /opt/software 

② 解压安装包

tar -zxvf spark-3.1.3-bin-hadoop2.7.tgz

③ 移动相关文件到指定目录

mv spark-3.1.3-bin-hadoop2.7 /opt/module

④ 打开 profile 文件

sudo vi /etc/profile

⑤ 配置 Spark 环境变量

#SPARK_HOME

export SPARK_HOME=/opt/module/spark-3.1.3-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin

⑥ 环境变量生效

source /etc/profile

2、修改 Spark 配置文件

进入 Spark 的 conf 目录。

a、配置 workers（slaves）

① 拷贝 workers

cp workers.template workers

② 在 workers 中添加以下节点

master
node1
node2

注意删掉 localhost。

b、配置 spark-env.sh

① 拷贝 spark-env.sh

cp spark-env.sh.template spark-env.sh

② 修改 spark-env.sh 文件，添加 JAVA_HOME 环境变量和集群对应的 master 节点

export JAVA_HOME=/root/share/jdk1.8.0_171

SPARK_MASTER_HOST=master
SPARK_MASTER_PORT=7077

c、拷贝 Spark 到其它节点

scp -r /opt/module/spark-3.1.3-bin-hadoop2.7/ node1:/opt/module/spark-3.1.3-bin-hadoop2.7/


scp -r /opt/module/spark-3.1.3-bin-hadoop2.7/ node2:/opt/module/spark-3.1.3-bin-hadoop2.7/

3、测试

输入 http://master:8080/，或者 主节点ip:8080 进入Master 资源监控 Web UI 界面。

二、Spark Maven 项目配置

一般选择好 Spark 版本后就会出现配置方法。

<dependencies>  
    <dependency>  
        <groupId>org.apache.sparkgroupId>  
        <artifactId>spark-core_2.12artifactId>  
        <version>3.3.0version>  
    dependency>  
dependencies>  

<build>  
    <plugins>  
          
        <plugin>  
            <groupId>net.alchim31.mavengroupId>  
            <artifactId>scala-maven-pluginartifactId>  
            <version>3.2.2version>  
            <executions>  
                <execution>  
                      
                    <goals>  
                        <goal>testCompilegoal>  
                    goals>  
                execution>  
            executions>  
        plugin>  
        <plugin>  
            <groupId>org.apache.maven.pluginsgroupId>  
            <artifactId>maven-assembly-pluginartifactId>  
            <version>3.1.0version>  
            <configuration>  
                <descriptorRefs>  
                    <descriptorRef>jar-with-dependenciesdescriptorRef>  
                descriptorRefs>  
            configuration>  
            <executions>  
                <execution>  
                    <id>make-assemblyid>  
                    <phase>packagephase>  
                    <goals>  
                        <goal>singlegoal>  
                    goals>  
                execution>  
            executions>  
        plugin>  
    plugins>  
build>