关于在你的虚拟机上搭建hadoop集群的详细教程

news/2024/7/9 22:31:57 标签: hadoop, 大数据, 集群

安装jdk

首先,需要安装jdk环境,因为hadoop是由Java编写。

rpm -ivh jdk-8u91-linux-x64.rpm

默认安装到这个位置:/usr/java/jdk1.8.0_91

hadoop_6">安装hadoop

将你的hadoop进行解压

tar –xvf hadoop-2.7.3.tar.gz

接着,要告诉hadoop java的位置。进入你hadoop的目录,

cd /usr/local/hadoop/etc/hadoop

修改hadoop-env.sh,在JAVA_HOME=后面填入jdk的路径
在这里插入图片描述

配置环境变量

hadoop加到环境变量,下面的路径要根据你hadoop解压的路径来。

export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin

更新环境变量使其生效

source /etc/profile

关闭防火墙

关闭虚拟机的防火墙,使得虚拟机之间可以互相连接

systemctl stop firewalld
systemctl disable firewalld

在这里插入图片描述

建立关联

我在VMware创建了4个虚拟机,一个为master,另外3个位slave1-3,然后master管理着其它虚拟机。
关系是这样的:master为namenode,存放文件名,slave1-3为datanode,存放元数据。你每次增加一份数据,就会进行分块并且进行备份,然后分配到所有datanode。
修改hadoop的core-site.xml文件,让其知道管理者的是谁。

cd /usr/local/hadoop/etc/hadoop/
vim core-site.xml

在这里插入图片描述
在configuration之间增加以下代码:

<property>
     <name>fs.defaultFS</name>
     <value>hdfs://master:9000</value>
</property>

在这里插入图片描述
接着,还需要修改系统host

vim /etc/hosts
192.168.52.10 master
192.168.52.20 slave1
192.168.52.30 slave2
192.168.52.40 slave3

将hdfs格式化

hdfs namenode -format

然后,我们就可以启动master的namedode

hadoop-daemon.sh start namenode

当你看到下面的提示信息时,就证明namenode启动成功了!
在这里插入图片描述
接着在slave1-3启动datanode

hadoop-daemon.sh start datanode

在这里插入图片描述
到这里,我们的hadoop环境基本上就配置完成了~

欢迎关注同名公众号:“我就算饿死也不做程序员”。
交个朋友,一起交流,一起学习,一起进步。在这里插入图片描述


http://www.niftyadmin.cn/n/1693624.html

相关文章

P4407 [JSOI2009]电子字典

传送门 我的哈希打挂了……然而大佬似乎用哈希可以过还跑得很快…… 删除&#xff0c;枚举删哪个字符&#xff0c;记删之后的哈希值存map 插入&#xff0c;相当于在单词里删字符&#xff0c;去对应的map里查找 更改&#xff0c;相当于两个都删掉同一个位置的字符然后相等 //min…

Linux中一些常用的终端命令

新建、删除 mkdir 目录名 &#xff08;新建一个文件夹&#xff0c;文件夹在Linux系统中叫做“目录”&#xff09; mkdir -p parent/son/ 递归创建目录&#xff0c;即上层目录不存在时自动帮你创建 touch 文件名 &#xff08;新建一个空文件&#xff09; rmdir 目录名 &#x…

IntelliJ IDEA:Scala、sbt、maven配置教程

一、IDEA配置scala插件 进入File——Settings——Plugins&#xff0c;在搜索框搜索scala&#xff0c;然后点击安装&#xff0c;等安装完毕&#xff0c;需要重启IDEA。 或者也可以手动安装&#xff0c;先去https://plugins.jetbrains.com/plugin/1347-scala下载你IDEA版本对应…

Vue 基础篇一

Vue框架介绍 之前大家学过HTML,CSS,JS,JQuery,Bootstrap,,现在我们要接触一个新的框架Vue Vue是一个构建数据驱动的web界面的渐进式框架 目标是通过尽可能简单的API实现响应式的数据绑定和组合的视图组件. 能够构建复杂的单页面应用.现在我们开始认识一下Vue // HTML 页面 <…

Windows下IDEA运行scala版本的spark程序(踩坑总结)

首先&#xff0c;说一下&#xff0c;一般spark程序肯定都是打包然后放到Linux服务器去运行的&#xff0c;但是我们为什么还需要在Windows下运行spark程序。当然有它的道理&#xff1a; 因为我们很多人都是习惯在Windows系统下编写代码的&#xff0c;所以&#xff0c;如果能在Wi…

iOS MKMapView 优化内存占用

1、相信很多小伙伴都在app内用过地图模块 &#xff0c;可能是第三方的&#xff08;如&#xff1a;百度&#xff0c;高德等&#xff09;&#xff0c;但是第三方的地图不如原生的界面清晰度高&#xff0c;也没有原生的界面渲染的速度快&#xff0c;这也从侧面反应出原生的mapview…

数据结构:单链表实现反转

实现思路&#xff1a; 如果链表只有一个或者没有节点&#xff0c;则无需反转原链表的第一个节点即为反转后的最后一个元素&#xff0c;需要将其固定&#xff0c;我们叫它final按原链表的顺序从第二个开始对所有节点node进行遍历&#xff0c;每次将final的next重新指向node的ne…

AI生成假指纹以假乱真,你的指纹识别还安全吗?

AI前线导读&#xff1a; 指纹&#xff0c;由于其具有终身不变性、唯一性和方便性&#xff0c;已几乎成为生物特征识别的代名词。指纹识别技术是一种生物识别技术&#xff0c;指纹识别系统是一套包括指纹图像获取、处理、特征提取和比对等模块的模式识别系统。但是你有没有想过&…