bash,sudo apt-get update,sudo apt-get install apache2,
`,安装完成后,可以通过访问http://localhost或者http://服务器IP地址来查看Apache的默认欢迎页面。
在开始之前,请确保您已经在搬瓦工服务器上安装了 Ubuntu 20.04 系统,并且已经配置好 SSH 连接。
我们需要更新系统并安装必要的软件包,打开终端,执行以下命令:
sudo apt updatesudo apt upgrade
Apache Spark 需要Java环境,因此我们需要先安装OpenJDK,执行以下命令:
sudo apt install openjdk11jdk
接下来,我们从官方网站下载Apache Spark的预编译版本,这里我们选择Apache Spark 3.1.2版本,执行以下命令:
wget https://downloads.apache.org/spark/spark3.1.2/spark3.1.2binhadoop3.2.tgz
将下载的文件解压到 /opt
目录下,并重命名为 spark
:
sudo tar xzvf spark3.1.2binhadoop3.2.tgz C /optsudo mv /opt/spark3.1.2binhadoop3.2 /opt/spark
为了方便使用Spark,我们需要配置环境变量,在 ~/.bashrc
文件末尾添加以下内容:
export SPARK_HOME=/opt/sparkexport PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
保存文件后,执行以下命令使配置生效:
source ~/.bashrc
现在,我们可以启动Spark了,执行以下命令启动Spark master:
startmaster.sh
执行以下命令启动Spark worker:
startworker.sh spark://localhost:7077
至此,Apache Spark已经在您的Ubuntu 20.04服务器上安装完成,您可以使用sparkshell
、sparksubmit
等命令进行开发和运行Spark应用程序。
Q1: 如何查看Spark Web UI?
A1: 在浏览器中输入http://<your_server_ip>:8080
,即可查看Spark Web UI。
Q2: 如何停止Spark?
A2: 执行以下命令停止Spark:
stopall.sh
如果您对本教程有任何疑问或建议,请随时留下您的评论。感谢您的观看,希望对您有所帮助,记得点赞、关注!