当前位置: 首页 > 业界动态 > 技术实现 > 本文


计算和存储的迁移




发布时间: 2012-7-2 13:54:01  

    在基于不可信节点的云计算系统中,我们不但要考虑计算与存储的整合,还必须在节点失效时考虑计算和存储的迁移。一般的云计算系统(如Hadoop)实现存储的迁移,但对计算和存储同时迁移则做的不够好,实现计算迁移的基础是数据块必须采用副本策略,这样计算迁移时才能重新找到所要处理的数据。一般来看信息通过网络进行迁移是比较慢的,而计算的迁移可以由系统很快完成,在有副本策略的系统中,只需要找到副本所在地,将计算迁移过去就完成了存储和计算的迁移工作,所以效率非常高。

    计算和存储的迁移操作如图9.7所示。

 

计算和存储的迁移

 

    机群监控系统不断对各节点的工作状态进行实时的监控,一旦发现有节点失效立即发出节点失效报警,通过管理节点比对当前的任务列表,如果恰好有一个计算任务在失效节点上则进行节点失效处理,由于我们在云计算系统的采用了数据块副本策略,管理节点会根据该节点数据块的副本存储情况按照失效处理策略找到一个存有当前处理数据块副本的节点,并在该节点上重新启动对该数据块的处理工作,完成存储和计算的同时迁移,这样就不会造成整个工作任务的重启。整个迁移过程由系统自动完成,用户不用干预。实现存储和计算迁移的基础是文件的数据块必须有分布式的副本存储策略,没有副本的数据块将无法完成迁移工作。这一迁移过程可以用图9.8来描述。
 

    图9.8演示了节点失效后计算和存储的迁移,在上面数据块的迁移过程中数据块并不会在节点间传递,所有不会占用数据传输时间,而计算的迁移可以很快的完成,因此整个迁移过程是一个很快的过程,采用这种方法后当节点失效时就不会像MPI一样造成整个任务的终止退出。这种迁移方法向用户屏蔽了节点的失效现象,从用户看来云计算系统是一个永不失效的大计算机。

   
    本文来源:51CTO

阅读:1231次
推荐阅读:

版权所有 © 2011-2016 南京云创大数据科技股份有限公司(股票代码:835305), 保留一切权利。(苏ICP备11060547号-1)  
云创大数据-领先的云存储、大数据、云计算产品供应商