hadoop第三周作业 四道题

1 验证数据块冗余。首先设置复制多个数据块副本(>=2),然后使某个节点失效(例如关闭电源),检验数据的可用性,将实验过程抓图

master:

image

 

slave01:

image

 

slave02:

image

 

slave01节点失效后 检验数据的可用性:

    我把slave01虚拟机暂停: slave01 不能访问 还是能读取

image

 

我把俩个slave都关了: 就报错了

image

 

当我把slave02开启  又可以读取了

image

 

 

2 验证安全模式。首先想出办法使到系统转入安全模式,然后验证此时的数据是否可操作,将实验过程抓图

 

yangze@master:~/soft/hadoop-0.20.2$ bin/hadoop dfsadmin -safemode enter
Safe mode is ON
yangze@master:~/soft/hadoop-0.20.2$ bin/hadoop fs -put data/c.txt .
put: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create file/user/yangze/c.txt. Name node is in safe mode.
yangze@master:~/soft/hadoop-0.20.2$ bin/hadoop fs -rm a.txt
rm: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot delete /user/yangze/a.txt. Name node is in safe mode.
yangze@master:~/soft/hadoop-0.20.2$ bin/hadoop fs -cat a.txt
hello world
yangze@master:~/soft/hadoop-0.20.2$ bin/hadoop fs -ls
Found 2 items
-rw-r--r--   2 yangze supergroup         12 2013-03-08 10:13 /user/yangze/a.txt
-rw-r--r--   2 yangze supergroup         13 2013-03-08 10:13 /user/yangze/b.txt
yangze@master:~/soft/hadoop-0.20.2$ bin/hadoop dfsadmin -safemode leave
Safe mode is OFF
yangze@master:~/soft/hadoop-0.20.2$ bin/hadoop fs -put data/c.txt .
yangze@master:~/soft/hadoop-0.20.2$ bin/hadoop fs -ls
Found 3 items
-rw-r--r--   2 yangze supergroup         12 2013-03-08 10:13 /user/yangze/a.txt
-rw-r--r--   2 yangze supergroup         13 2013-03-08 10:13 /user/yangze/b.txt
-rw-r--r--   2 yangze supergroup          5 2013-03-08 11:19 /user/yangze/c.txt
yangze@master:~/soft/hadoop-0.20.2$

image

 

3 验证回收站功能。首先设置打开回收站功能,然后测试删除某些文件,观察回收站目录所在及其变化,然后进行恢复。将实验过程抓图

<property>
  <name>fs.trash.interval</name>
  <value>120</value>
  <description>Number of minutes between trash checkpoints.
        If zero, the trash feature is disabled.
  </description>
</property>

image

yangze@master:~/soft/hadoop-0.20.2$ bin/hadoop fs -put data/c.txt .
yangze@master:~/soft/hadoop-0.20.2$ bin/hadoop fs -ls
Found 3 items
-rw-r--r--   2 yangze supergroup         12 2013-03-08 10:13 /user/yangze/a.txt
-rw-r--r--   2 yangze supergroup         13 2013-03-08 10:13 /user/yangze/b.txt
-rw-r--r--   2 yangze supergroup          5 2013-03-08 11:19 /user/yangze/c.txt
yangze@master:~/soft/hadoop-0.20.2$ bin/hadoop fs -rm c.txt
Moved to trash: hdfs://master:9000/user/yangze/c.txt
yangze@master:~/soft/hadoop-0.20.2$ bin/hadoop fs -ls
Found 3 items
drwxr-xr-x   - yangze supergroup          0 2013-03-08 11:45 /user/yangze/.Trash
-rw-r--r--   2 yangze supergroup         12 2013-03-08 10:13 /user/yangze/a.txt
-rw-r--r--   2 yangze supergroup         13 2013-03-08 10:13 /user/yangze/b.txt
yangze@master:~/soft/hadoop-0.20.2$ bin/hadoop fs -mv ./.Trash/Current/user/yangze/c.txt .
yangze@master:~/soft/hadoop-0.20.2$ bin/hadoop fs -ls
Found 4 items
drwxr-xr-x   - yangze supergroup          0 2013-03-08 11:45 /user/yangze/.Trash
-rw-r--r--   2 yangze supergroup         12 2013-03-08 10:13 /user/yangze/a.txt
-rw-r--r--   2 yangze supergroup         13 2013-03-08 10:13 /user/yangze/b.txt
-rw-r--r--   2 yangze supergroup          5 2013-03-08 11:19 /user/yangze/c.txt
yangze@master:~/soft/hadoop-0.20.2$

image

 

4 验证加入一个新节点。首先部署一个新节点,然后将其加入集群(是否需要重启整个集群?),不断拷贝数据,观察新节点什么时候会被使用,将实验过程抓图

 

原来我已经有2个datanode节点,现在增加一台datanode。

copy一个虚拟机 更改IP为:192.168.70.138

在原来的配置文件slave增加新的datanode节点

复制这个slaves到原来已经存在的所有节点

将所有配置的hadoop目录复制到slave03

检查 ssh 能否 连接

 

启动新的datanode节点;

image

 

现在向集群导入文件并查看分布

bin/hadoop dfsadmin -report

 

: 192.168.70.138:50010
Decommission Status : Normal
Configured Capacity: 8103133184 (7.55 GB)
DFS Used: 24576 (24 KB)
Non DFS Used: 5603860480 (5.22 GB)
DFS Remaining: 2499248128(2.33 GB)
DFS Used%: 0%
DFS Remaining%: 30.84%
Last contact: Fri Mar 08 13:29:54 CST 2013

 

可以看到新节点已经纳入到集群进行管理

 

我导入2个200多兆的文件

image

image

 

bin/hadoop dfsadmin -report

image

 

有个问题 :

 

动态加节点 数据也倒进去了  但是 map/reduce下 怎么是2个呢?
HJ{JL(D$Z7A[6KPH@JQNL9B

image

解决办法:

 

不用格式化

只要重启jobtracker和tasktracker

$ bin/stop-mapred.sh

$ bin/start-mapred.sh

image

 

大功告成!

您可以选择一种方式赞助本站