新浦京81707con > 注册购买 > 如何实现High,备份方案

原标题:如何实现High,备份方案

浏览次数:160 时间:2019-11-07

需求:
福寿双全namenode元数据的备份,湮灭namenode单点宕机引致集群不可用的标题。

什么样是高可用性?

《高可用性的HDFS—Hadoop布满式文件系统深度实行》
主导消息
作者: 文艾 王磊
出版社:武大东军事和政院学出版社
ISBN:9787302282587
上架时间:二零一二-5-14
出版日期:2011 年二月
开本:16开
页码:371
版次:1-1
所属分类: Computer > 软件与程序设计 > 布满式系统规划

方案描述:
当namenode所在服务器宕机的时候,我们得以采取namenode备份的元数据火速重构新的namenode来投入使用。

高可用集群是指以削减服务中断时间为目标的服务器集群技巧。

 

1.  Hadoop自家提供了可应用secondarynamenode的备份数据来回复namenode的元数据的方案,但因为checkpoint(在每一趟checkpoint的时候secondarynamenode才会归拢并一同namenode的多少)的标题,secondarynamenode的备份数据并无法时刻保持与namenode同步,也正是说在namenode宕机的时候secondarynamenode恐怕会废弃风流浪漫段时间的数量,方今决定于checkpoint的周期。大家得以减小checkpoint的周期来压缩多少的错失量,但由于每一遍checkpoint很耗质量,并且这种方案也无法从根本上消亡多少错失的标题。所以意气风发旦急需上区别意这种数据的散失,这种方案可间接不予考虑。

高可用性HA(HighAvailability卡塔尔指的是因而尽量裁减因日常爱戴操作(安排卡塔尔国和突发的系统崩溃(非陈设卡塔 尔(英语:State of Qatar)所变成的停机时间,以拉长系统和动用的可用性。

越来越多详细情况》》》高可用性的HDFS—Hadoop遍布式文件系统深度施行
内容简单介绍
微机书籍
   《高可用性的hdfs—hadoop布满式文件系统深度推行》静心于hadoop分布式文件系统(hdfs卡塔 尔(阿拉伯语:قطر‎的主流ha解决方案,内容包罗:hdfs元 数据解析、hadoop元数据备份方案、hadoop backup node方案、avatarnode技术方案以致新型的ha建设方案cloudrea ha name node等。此中有关backup node方案及avatarnode方案的内容是本书入眼,特别是对avatarnode方案从运营机制到万分处理方案的手续进行了详实介绍,同不日常间还总括了各样十分情形下avatarnode的各个管理方案。
  《高可用性的hdfs—hadoop分布式文件系统深度实施》从代码动手并整合情景分析、案例表达对hdfs的元数据以致主流的hdfs ha应用方案的运营机制进行了深深解析,力求使读者在消除难点时成功成竹于胸,不仅仅知其然还知其所以然。
  本书光盘满含本书部分操作的录制教程以至独具源代码、脚本等开支文件。
  《高可用性的hdfs—hadoop布满式文件系统深度施行》读者首要为云总计有关领域的研究开发职员、云总括系统管理维护人士,也相符当做高校学士和高年级本科生的专门的事业课辅教授材。
目录
《高可用性的hdfs—hadoop分布式文件系统深度实践》
第1章 hdfs ha及缓慢解决方案 1
1.1 hdfs系统架构 2
1.2 ha定义 3
1.3 hdfs ha原因深入分析及应对艺术 4
1.3.1 可靠性 4
1.3.2 可维护性 5
1.4 现成hdfs ha实施方案 5
1.4.1 hadoop的元数据备份方案 6
1.4.2 hadoop的secondarynamenode方案 7
1.4.3 hadoop的checkpoint ode方案 7
1.4.4 hadoop的backupnode方案 8
1.4.5 drdb方案 9
1.4.6 facebook的avatarnode方案 10
1.5 方案优劣势相比较 10
第2章 hdfs元数据拆解深入分析 13
2.1 概述 14
2.2 内部存储器元数据结构 14
2.2.1 inode 15
2.2.2 block 16

2.  Hadoop提供的另大器晚成种方案就是NFS,生龙活虎种即时备份namenode元数据的方案,www.linuxidc.com 设置四个data目录(包涵NFS目录卡塔 尔(英语:State of Qatar),让namenode在持久化元数据的时候还要写入多个目录,这种方案较第意气风发种方案的优势是能幸免数据的错过(这里大家暂且不探究NFS自己会抛弃数据的大概性,毕竟这种几率十分的小相当小卡塔尔国。既然能够消亡数量错失的主题素材,表达那套方案在常理上是立竿见影的,以下是测量试验结果。

高可用性(HA卡塔 尔(阿拉伯语:قطر‎的作用:

.2.2.3 blockinfo和datanodedescriptor 17
2.2.4 小结 17
2.2.5 代码分析——元数据结构 18
2.3 磁盘元数据文件 24
2.4 format情景解析 27
2.5 元数据接收场景深入分析 45
第3章 hadoop的元数据备份方案 47
3.1 运营机制解析 48
3.1.1 namenode运维加载元数据情景分析 50
3.1.2 元数据更新及日志写入情景分析 64
3.1.3 checkpoint进程气象深入分析 73
3.1.4 元数据可靠性机制 109
3.1.5 元数据大器晚成致性机制 110
3.2 使用表达 110
第4章 hadoop的backup node方案 113
4.1 backup node概述 114
4.1.1 系统架构 115
4.1.2 使用准绳 115
4.1.3 优缺点 116
4.2 运营机制深入分析 116
4.2.1 运转流程 117
4.2.2 元数据操作情景深入分析 141
4.2.3 日志池(journal spool)机制 151
4.2.4 故障切换机制 156
4.3 实验方案表明 158
4.4 构建实验景况 158
4.4.1 网络拓扑 159
4.4.2 系统安装及安排 160
4.4.3 安装jdk 170
4.4.4 设想机集群架设 171
4.4.5 namenode安装及铺排 173
4.4.6 backup node安装及布置 173
4.4.7 data node安装及布局 174
4.4.8 clients设置及安插 175
4.5 十分应用方案 175
4.5.1 极度景况剖析 175
4.5.2 namenode配置 175
4.5.3 backup node配置 182
4.5.4 data node配置 185
4.5.5 namenode宕机切换试验 189
4.5.6 namenode宕机读写测量试验 196

测量检验情状:
虚拟机5台(1G内存,40G硬盘,Ubuntu操作系统,Hadoop-0.20.2,Zookeeper-3.3.2,Hbase-0.20.6卡塔 尔(英语:State of Qatar),生机勃勃台namenode,3台datanode,风流倜傥台NFS服务器(备用namenode卡塔尔。

1、软件故障监测与清除

第5章 avatarnode运维机制 205
5.1 方案表达 206
5.1.1 系统架构 206
5.1.2 思路深入分析 208
5.1.3 品质数据 209
5.2 元数据深入解析 209
5.2.1 类fsnamesystem 210
5.2.2 类fsdirectory 210
5.2.3 avatarnode的磁盘元数据文件 211
5.3 avatarnode primary运行进程 211
5.4 avatarnode standby运营进程 217
5.4.1 avatarnode的构造方法 217
5.4.2 standby线程的run()方法 218
5.4.3 ingest线程的run()方法 220
5.4.4 ingest线程的ingestfsedits ()方法 220
5.4.5 standby线程的docheckpoint()方法 221
5.5 顾客操作情景分析 223
5.5.1 创设目录情景剖析 223
5.5.2 成立文件情景深入分析 231
5.6 avatarnode standby故障切换进度 240
5.7 元数据黄金时代致性保险编写制定 242
5.7.1 元数据目录树消息 242
5.7.2 data node与block数据块映射音信 243
5.8 block更新同步难题 246
5.8.1 难点陈述 246
5.8.2 结论 246
5.8.3 源码深入分析 246
第6章 avatarnode使用 253
6.1 方案表明 254
6.1.1 网络拓扑 254
6.1.2 操作系统安装及布局 255
6.2 使用avatar打补丁版本 255
6.2.1 hadoop源码联机build 256
6.2.2 hadoop源码本地build 262
6.2.3 nfs服务器营造 264
6.2.4 avatar分发与安排 267
6.2.5 primary(namenode0卡塔 尔(阿拉伯语:قطر‎节点配置 269
6.2.7 data node节点配置 276
6.2.8 client节点安顿 278
6.2.9 创建目录 279
6.2.10 挂载nfs 280
6.2.11 启动ucarp 280
6.2.12 格式化 281
6.2.13 系统运营 281
6.2.14 检查 282
6.2.15 namenode失效切换写文件实验 283
6.2.16 namenode失效切换读文件实验 291
6.3 avatar facebook版本的应用 294
6.3.1 hadoop facebook版本安装 294
6.3.2 节点配置 295
6.3.3 启动hdfs 300
6.3.4 namenode失效切换 302
第7章 avatarnode相当解决方案 305
7.1 测量检验际遇 306
7.2 primary失效 306
7.2.1 解决方案 306
7.2.2 写操作实验步骤 307
7.2.3 改革写操作机制 313
7.2.4 读操作实验步骤 313
7.2.5 小结 317
7.3 standby失效 317
7.4 nfs失效(数据未损坏卡塔 尔(英语:State of Qatar) 317
7.4.1 应用方案 317
7.4.2 写操作实验步骤 318
7.4.3 读操作实验步骤 320
7.4.4 小结 322
7.5 nfs失效(数据已破坏卡塔尔国 323
7.5.1 施工方案 323
7.5.2 写操作实验步骤 324
7.5.3 读操作实验步骤 327
7.5.4 小结 330
7.6 primary先失效,nfs后失效(数据未损坏卡塔 尔(阿拉伯语:قطر‎ 331
7.6.1 解决方案 331
7.6.2 写操作实验步骤 331
7.6.3 读操作实验步骤 333
7.6.4 小结 334
7.7 primary先失效(数据未损坏卡塔尔国,nfs后失效(数据损坏) 335
7.7.1 技术方案 335
7.7.2 写操作实验步骤 335
7.7.3 读操作实验步骤 338
7.7.4 小结 339
7.8 nfs先失效(数据未损坏卡塔 尔(阿拉伯语:قطر‎,primary后失效 340
7.8.1 施工方案 340
7.8.2 写操作实验步骤 340
7.8.3 读操作实验步骤 342
7.8.4 小结 343
7.9 nfs先失效(数据损坏卡塔 尔(阿拉伯语:قطر‎,primary后失效(数据损坏卡塔尔国 344
7.9.1 解决方案 344
7.9.2 写操作实验步骤 344
7.9.3 读操作实验步骤 346
7.9.4 小结 348
7.10 实验结论 348
第8章 cloudera ha namenode使用 349
8.1 ha namenode说明 350
8.2 cdh4b1版本hdfs集群配置 351
8.2.1 设想机安装 351
8.2.2 nn1配置 351
8.2.3 dn1~dn3配置 355
8.2.4 hdfs集群营造 358
8.3 ha namenode配置 361
8.3.1 nn1配置 361
8.3.2 别的节点配置 365
8.4 ha namenode使用 367
8.4.1 启动ha hdfs集群 367
8.4.2 第1次failover 368
8.4.3 模拟写操作 368
8.4.4 模拟active name node失效,第2次failover 369
8.3.5 模拟新的standby namenode参与 370
8.5 小结 371
本图书来源:中原相互出版网

测量试验步骤:
1.安插好Hadoop,Zookeeper,Hbase集群景况及NFS服务器景况。在这里地NFS服务器的目录结构应该和datanode的目录结构同样,在namenode宕机的时候,NFS将用作备用namenode启用。(当然那只是当做测量试验用,实际生育条件应当有非常的NFS服务器和备用namenode卡塔 尔(阿拉伯语:قطر‎。
2.在namenode上设置dfs.name.dir的目录为本土目录和NFS目录
3.伊始集群并蕴蓄数据
4.关闭namenode所在机器(模拟namenode服务器宕机卡塔 尔(英语:State of Qatar)
5.关闭datanode服务器上相关线程,分发集群配置文件,拷贝NFS目录上的备份数据到新namenode的name目录,运维新集群(这里可用工具统一分发配置分件和关闭datanode线程卡塔尔国
6.测验新集群,数据未错失,集群符合规律使用
7.赶回步骤3
8.关闭NFS服务器(模拟NFS服务器故障卡塔 尔(英语:State of Qatar)
9.集群大脑瘫痪
10.重启NFS服务器
11.集群回复

2、备份和数据拥戴

难点及可行性解析:

3、管理站能够监视各站点的运市价况,能随即或定期报告系统运转意况,故障能即时报告和报告急察方,并有必不可缺的主宰手腕

1. namenode的IP映射及拜候问题,重新组织namenode也许形成客商端访谈IP差异等,能够在备用namenode投入使用的时候,配置其IP和原namenode风度翩翩致,也许接受VIP的方案。

4、实现错误隔开甚至主、备份服务器间的劳务切换

  1. NFS服务器宕机引致集群瘫痪,可安排NFS集群来保险NFS的可用性。
    3. 双重新整合织namenode的时延难点,无法作保故障发生时能立刻投入使用,对于急需立时使用的花色提出接纳namenode热备方案。

背景分析:

本文由新浦京81707con发布于注册购买,转载请注明出处:如何实现High,备份方案

关键词: 新浦京81707con 计算机图书

上一篇:澳门浦京娱乐在线快速笔记

下一篇:没有了