大数据随记 —— Spark 基本安装及相关配置-繁依Fanyi

大数据系列文章 目录

在这里插入图片描述

〇、安装前准备

一、Spark 安装

1、配置 Spark 环境变量

① 进入安装包所在目录

cd /opt/software 

② 解压安装包

tar -zxvf spark-3.1.3-bin-hadoop2.7.tgz

③ 移动相关文件到指定目录

mv spark-3.1.3-bin-hadoop2.7 /opt/module

④ 打开 profile 文件

sudo vi /etc/profile

⑤ 配置 Spark 环境变量

#SPARK_HOME

export SPARK_HOME=/opt/module/spark-3.1.3-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin

⑥ 环境变量生效

source /etc/profile
2、修改 Spark 配置文件

进入 Spark 的 conf 目录。

a、配置 workers(slaves)

① 拷贝 workers

cp workers.template workers

② 在 workers 中添加以下节点

master
node1
node2

注意删掉 localhost。
请添加图片描述

b、配置 spark-env.sh

① 拷贝 spark-env.sh

cp spark-env.sh.template spark-env.sh

② 修改 spark-env.sh 文件,添加 JAVA_HOME 环境变量和集群对应的 master 节点

export JAVA_HOME=/root/share/jdk1.8.0_171

SPARK_MASTER_HOST=master
SPARK_MASTER_PORT=7077
c、拷贝 Spark 到其它节点
scp -r /opt/module/spark-3.1.3-bin-hadoop2.7/ node1:/opt/module/spark-3.1.3-bin-hadoop2.7/


scp -r /opt/module/spark-3.1.3-bin-hadoop2.7/ node2:/opt/module/spark-3.1.3-bin-hadoop2.7/
3、测试

输入 http://master:8080/,或者 主节点ip:8080 进入Master 资源监控 Web UI 界面。
在这里插入图片描述

二、Spark Maven 项目配置

一般选择好 Spark 版本后就会出现配置方法。

在这里插入图片描述

<dependencies>  
    <dependency>  
        <groupId>org.apache.sparkgroupId>  
        <artifactId>spark-core_2.12artifactId>  
        <version>3.3.0version>  
    dependency>  
dependencies>  

<build>  
    <plugins>  
          
        <plugin>  
            <groupId>net.alchim31.mavengroupId>  
            <artifactId>scala-maven-pluginartifactId>  
            <version>3.2.2version>  
            <executions>  
                <execution>  
                      
                    <goals>  
                        <goal>testCompilegoal>  
                    goals>  
                execution>  
            executions>  
        plugin>  
        <plugin>  
            <groupId>org.apache.maven.pluginsgroupId>  
            <artifactId>maven-assembly-pluginartifactId>  
            <version>3.1.0version>  
            <configuration>  
                <descriptorRefs>  
                    <descriptorRef>jar-with-dependenciesdescriptorRef>  
                descriptorRefs>  
            configuration>  
            <executions>  
                <execution>  
                    <id>make-assemblyid>  
                    <phase>packagephase>  
                    <goals>  
                        <goal>singlegoal>  
                    goals>  
                execution>  
            executions>  
        plugin>  
    plugins>  
build>
© 版权声明
THE END
喜欢就支持一下吧
点赞11 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容