搭建hadoop单节点.docx

文档介绍：《云计算架构计算（Hadoop）》

Hadoop服务器集群搭建说明

2015 年 5 月 26 日

项目名称

构建 Hadoop 高可用集群

项目背景和目标

Ubuntu下搭建Hadoop单节点如何搭建自己的usdt节点服务，实现简单的本地服务。

操作系统和应用软件

系统：

软件：ssh、jdk-8u45-linux-x64、Hadoop-

团队成员及分工

名称

任务分工

单节点构建

单节点构建

单节点构建

单节点构建

起始时间

第十一周

预计完成时间

第十三周

申请答辩考试时间

第十四周

评论

基于Ubuntu操作系统搭建Hadoop集群

Hadoop 是由 Apache 基金会开发的分布式系统基础设施。 用户可以在不知道分发的底层细节的情况下开发分布式程序。 充分利用集群的高速计算和存储能力。

Hadoop实现了分布式文件系统（Hadoop Distributed），简称HDFS。 HDFS具有高容错的特点如何搭建自己的usdt节点服务，被设计为部署在低成本（low-cost）的硬件上； 并且它提供高吞吐量（high throughput）来访问应用数据，适合那些拥有大数据集（large data set）的应用。 HDFS放宽（relax）了POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。

Hadoop框架的核心设计是：HDFS和MapReduce。 HDFS为海量数据提供存储，MapReduce为海量数据提供计算

1、环境准备

:

VMware工作站11

:

SSH；

hadoop-;

jdk-8u45-linux-

2.软件安装

-

-8u45-linux-

3.配置过程

:

*****@stu:~$ vim /home/hadoop/.bashrc

*****@stu:~$ 源.bashrc

2.创建hadoop组和hadoop用户。

****@stu:/#groupadd Hadoop

*****@stu:/# useradd hadoop -g Hadoop

3.配置ssh无密钥登录

*****@stu:~/.ssh$ ssh-keygen

*****@stu:~/.ssh$ cat >> authorized_keys

*****@stu:~/.ssh$ chmod 600 authorized_keys

4、进入hadoop文件夹，修改配置文件：

① ****@stu:~/hadoop-$ vim 核心-

<配置>

<属性>

<名称></名称>

<value>hdfs://localhost:9000</value>

</属性>

<属性>

<名称></名称>

<值>/home/hadoop/hadoop</值>

</属性>

</配置>

②******@stu:~/hadoop-$ vim hdfs-

<配置>

<属性>

<名称></名称>

<值>1</值>

</属性>

</配置>

③ ****@stu:~/hadoop-$ vim mapred-

<配置>

<属性>

<名称></名称>

<value>本地主机:9001</value>

</属性>

</配置>

④ ****@stu:~/hadoop-$ vim hadoop-

# Java 实现