博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
一、spark单机安装
阅读量:7045 次
发布时间:2019-06-28

本文共 1053 字,大约阅读时间需要 3 分钟。

如果要全面的使用spark,你可能要安装如JDK,scala,hadoop等好些东西。可有时候我们只是为了简单地安装和测试来感受一下spark的使用,并不需要那么全面。对于这样的需要,我们其实只要安装好JDK,然后下载配置spark,两步即可。

本文选择:

1、centos

2、JDK1.8

3、spark2.3

一、JDK安装 

spark需要运行在Java环境中,所以我们需要安装JDK。

JDK安装配置参考:

二、spark安装

下载

我们到spark官网(),找到对应的spark的tar包地址:

我们新建一个目录存放spark的下载文件

mkdirs /usr/local/hadoop/spark

进入该目录,使用wget命令下载

wget https://archive.apache.org/dist/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz

配置

 下载完毕以后我们先解压

tar -zxvf spark-2.3.0-bin-hadoop2.7.tgz

你会得到一个文件夹

spark-2.3.0-bin-hadoop2.7

我们编辑/etc/profile文件,添加环境变量

并使之生效

source /etc/profile

我们启动spark-shell看看是否配置成功

spark-shell

你会进入shell面板

这样,我们即安装好了单机spark。如果你使用spark-shell提供的scala做操作的话(也就是不单独运行scala程序),其实就不需要安装scala。我们也不需要去集成到独立的hadoop中,所以也不用安装hadoop。

 三、spark-shell测试

上面的安装完成以后,你可能希望做一些很简单的操作,来感受一下spark。在此之前,我们先准备一份txt文件

我们在:/usr/local/hadoop/spark目录下创建一个txt文件,文件内容如下:

hello javahello hadoophello sparkhello scala

然后我们启动spark-shell(退出使用":quit"命令)

spark-shell

我们执行以下代码

首先我们使用sparkContext的textFile方法加载了我们刚刚创建的txt文件

然后,统计该文件的行数,以及我们查找了第一行的数据。

 

转载于:https://www.cnblogs.com/lay2017/p/10006935.html

你可能感兴趣的文章
hbase集群 常用维护命令
查看>>
deepinmind(转)
查看>>
滴滴顺风车设计总结(原创文章)
查看>>
android 10 事件
查看>>
练习10.9-2
查看>>
变化的区间树状数组,单点查询
查看>>
lastIndexOf方法——获取字符最后的索引
查看>>
一种文件捆绑型病毒研究
查看>>
二进制中1的个数
查看>>
opencv查找轮廓---cvFindContours && cvDrawCountours 用法及例子
查看>>
C# 之 服务端获取远程资源
查看>>
《大话操作系统——扎实project实践派》(8.2)(除了指令集.完)
查看>>
SAP 物料移动类型查询表
查看>>
Unity UGUI——Rect Transform包(Anchors)
查看>>
SNMP 实战1
查看>>
程序员 2015 年工作总结
查看>>
mac-android-虚机加速
查看>>
查看Linux系统版本的命令
查看>>
详解REMOTE_ADDR,HTTP_CLIENT_IP,HTTP_X_FORWARDED_FOR
查看>>
谷歌技术面试要点(Google面试)(14年5月20日交大专场)
查看>>