数据库schema迁移数据最佳实践

（回填已存在 subscriptions 数据至新表）

在正在对外供给办事的数据库上找到所有须要迁徙的数据是回填操作中价值最大年夜的部分。经由过程萌芽数据库查找所有对象的方法将须要在临盆情况数据库上履行相当多的萌芽操作，这将消费很多时光。荣幸的是，可以将数据大年夜线上导入对临盆情况数据库完全无影响的离线流程中。我们创建实用于我们 Hadoop 集群的数据库快照，这让我们可以应用 MapReduce 以离线、分布式的方法快速处理数据。

我们应用 Scalding 来治理 MapReduce 功课。 Scalding 是用 Scala 编写的异常实用的看维可以很轻易地编写MapReduce作事迹10行代码即可实现一个简单的功课）。在这种情况下，应用 Scalding 赞助工程团队找出所有subscriptions 数据。具体步调如下：

编写一份 Scalding 功课，供给所有须要复制的 subscription ID 的列表。
经由过程一组过程并行履行来大年夜范围的复制 subscriptions 数据。
迁徙完成后，需再次运行 Scalding 功课，以确保所有 subscriptions 数据都已存在于 Subscriptions 表中。

第二步：改变所有读操作路径

到今朝为止，新旧数据表已是同步状况。下一步要做的是在新表长进行所有的读操作。

class Customer 
 
  def subscriptions 
 
    hard_assertion_failed("Accessing subscriptions array on customer") 
 
  end 
 
end

（今朝，所有的读操作在 Customers 表长进行，须要将这些操作转移到 Subscriptions 表上）

创建一张新的数据库表，作为迁徙的开端。第一步是开端复制新数据，同时写入新旧两处存储中。之后，再将缺掉的数据回填至新存储，已使两处存储具有雷同的数据

须要确保大年夜新表读数据是安然的，subscription 在新旧表中的数据应当是一致的。可以应用 GitHub 出品的 Scientist 来帮助验证读操作。Scientist 是一个 Ruby 库，它可以让我们在临盆情况运行实验，比对不合代码的运行结不雅并对不一致的结不雅发出警告。经由过程 Scientist ，可及时生成针对不一致结不雅的警告和指标。当实验代码中产生缺点，其余的应用法度榜样是不会受到任何影响的。