6.824分布式系统[3]-主从复制

准备工作

阅读:Fault-Tolerant Virtual Machines

为什么要阅读这篇文章

  • 了解分布式系统的容错机制

  • 本文是对于容错机制的比较特殊的实现,其并不是要设计一个应用程序级别的容错系统,而是一个系统级别的。需要处理CPU中断,能够为了实现一个容错的虚拟机系统(VM-FT),难度更大。

容错(Fault tolerance)

  • 容错是即使发生故障也会继续提供服务的能力
    一些理想的属性:

  • 可用性:尽管[某些故障]仍然可用

  • 一致性:正确性的保证,对于客户端来说就像是面对一台服务器

  • 对用户和软件透明(内部运行机制透明)

  • 高效

论文尝试解决哪些失败?

  • 断电等突然停止的错误

  • 网络丢包

  • 网络分区

核心思想

  • 容错的核心思想是建立副本,需要两个以上的服务器。

  • 每一个副本都维持相同的状态,如果一个服务器失败,其他服务器可以继续进行。

  • 需要思考的重要问题:

    • 什么状态需要去复制?

    • primary(主服务器)需要等待副本服务器复制完成吗?

    • 什么时候需要切换到副本服务器?

    • 切换到副本时是否可能发生异常?

    • 切换到副本时能否加速?


两种主要的方式

  • 状态转移

    • primary执行操作

    • primary将状态转移到副本

    • 状态转移虽然简单,但是状态可能很大,转移可能很慢

    • 论文中的虚拟机使用了复制状态机。


  • 复制状态机

    • 所有副本执行所有操作

    • 相同的开始状态

    • 相同的操作

    • 相同的顺序

    • 确定性的操作

    • 则具有相同的最终状态

    • 更有效率,但是更复杂


本论文的目标

  • 构建复制状态机

  • Primary和副本具有相同的初始状态(内存,磁盘文件)

  • primary通过日志通道(logging channel)传递给副本服务器

  • 使主从具有相同的指令、相同的输入、相同的执行

什么时候在主数据库上执行与备份上可能不同?

  • 来自外部的输入(网络)

  • 从存储服务器读取的数据

  • 定时器中断(Timing of interrupts)。 参考:wikibook

  • 一些特殊的指令:如cpu周期计数

  • 冲突

不一致的原因

  • 锁定服务器将lock授予客户端C1,拒绝来自C2的后续请求

  • 锁定服务器在一分钟后撤消lock

  • 假设C1持有lock并且,1分钟马上就要到时,c2请求锁。这时,Primary可能会在定时器1分钟发送中断之前立即看到C2的请求,拒绝其请求。副本可能会在定时器1分钟发送中断之后看到C2的请求,同意请求。

  • 因此:副本必须在指令流中的同一点以相同的顺序看到相同的事件。

解决定时器中断的解决方案

  • primary

    • FT 收到定时器中断信号

    • FT从CPU读取指令

    • FT在日志通道(logging channel)上发送 "在指令x处触发计时器中断”

    • FT给primary发送中断信号,然后恢复。


  • Backup

    • 忽略自己的定时器硬件

    • 在副本执行指令X之前,观察是否日志中有需要在这之前执行的日志。

    • FT告诉CPU在指令X处中断

    • FT模拟计时器中断,然后恢复。


解决磁盘、网络数据输入可能不一致的问题

FT拦截,只能够让primary能够访问硬件。

  • Primary:

  • FT通知硬件通过方式将数据存入FT的私有缓存中

  • 在某一时刻,硬件执行DMA,然后中断

  • FT收到中断信号

  • FT暂停primary

  • FT复制缓冲区数据到primary内存中。

  • FT为primary模拟中断,稍后恢复。

  • FT将数据和指令发送到备份 Backup:

    • FT从日志流中获取数据和指令

    • FT告诉CPU在指令X处中断

    • FT在中断期间复制数据


缓冲区(bounce buffer)的目的就是为了在内存的同一个时间点执行相同的操作,读取相同的数据。

解决特殊的指令

  • Primary:

    • 如果primary执行了特殊的指令,FT会通知CPU中断

    • FT执行指令并记录结果

    • 将结果和指令发送到备份


  • Backup:

    • 副本在执行此指令时也会中断

    • 副本应用从primary中得到的值


Output Ruler

  • primary必须在副本收到此输出指令的日志后,才能够输出。

  • 此规则是必要的,因为我们的服务是为了在奔溃时让用户是无感知的。

  • 有了此规则,即便pimary奔溃了,副本也能够和primary一样,对于之前的请求返回相同的数据。

  • 假设primary收到请求I1 I2 I3 并输出, 这时primary奔溃,副本只能看到I1,I2。这时 一个之前收到I1,I2,I3的客户端由于切换到副本后,相同的请求就只能看到I1,I2。

  • 增加了延迟,限制了性能。

问 & 答

如果primary收到副本对于I3 ack确认后奔溃,会发生什么?

这时会切换到副本运行,而副本会执行I3命令,并返回给客户端。

如果primary在发出输出之后崩溃了怎么办?

  • 副本会立即接管。

  • 对于TCP传输:接收者将忽略重复的序列号。

  • 对于磁盘:副本将相同的数据写入相同的块。

如果网络分区,primary和副本都认为彼此失活?

  • 共享磁盘只允许唯一的一个primary。

为什么确定性的操作,在物理硬件上比虚拟机上更难?

虚拟机管理程序(hypervisor)模拟和控制硬件的许多操作,这些操作可能会导致primary和副本执行不同。例如定时中断(timing interrupts)

什么是虚拟机管理程序 (hypervisor) ?

  • 管理程序是虚拟机系统的一部分,和虚拟机监视器(VMM)一样。

  • 系统管理程序模拟计算机以及在其中运行的操作系统和程序。

  • 在本文中,primary和副本是运行在虚拟机中的guest操作系统。而FT是实现每个虚拟机管理程序的一部分。

GFS和VMware FT均提供容错功能,谁更好?

  • FT更底层强大,对内存,网络包和磁盘提供了一种容错能力。可以使用它为所有运行在其上的服务透明地提供容错功能。

  • GFS仅提供存储容错功能。 由于GFS专用于特定的简单服务(存储),因此其复制比FT更有效。 例如,GFS不需要使中断在所有副本上的完全相同的指令处发生。

  • GFS是应用程序级别的具有容错能力的大型应用程序之一。

缓冲区如何帮助避免冲突

网络数据包或请求的磁盘块到达primary并且要复制到primary的内存时,

  • 没有FT,相关硬件将数据复制到内存中,同时 软件正在执行。操作系统指令可以在DMA期间读取该内存。

  • 由于冲突,在某一时刻,可能无法看到DMA的数据。因此可能出现由于primary与副本的时间不同,一个能看到,一个不能看到这个数据。

表现

  • logging带宽

  • 直接反应磁盘读取率 + 网络输入率

  • 大约18 Mbit/s for my-sql

  • 比较慢,应用程序可以至少400 Mbps的速度读取磁盘

  • 用途

  • 关键但强度较低的服务,例如 名称服务器。

  • 适用于软件行为不常发生改变的服务。

高吞吐量服务的主从复制

  • 将应用程序主从状态机用于数据库等高吞吐量服。

  • 状态只是DB,而不是全部的内存和磁盘。

  • 事件是数据库命令(put或get),而不是数据包和中断。

  • 更少的细粒度同步,更少的开销。

  • GFS使用应用程序级复制,与lab2相似。

参考资料

*讲义
*FAQ


上一篇:ES学习(六)--shard和replica机制


下一篇:一分*最新官网邀请码55519996