当前位置: 首页 > 业界动态 > 技术实现 > 本文


Oracle数据仓库的实时数据采集




发布时间: 2012-9-26 10:37:19  
    在使用数据仓库软件时,最常见的约束之一是源系统数据批量提取处理时的可用时间窗口。通常,极其耗费资源的提取流程必须在非工作时间进行,而且仅限于访问关键的源系统。

    低影响实时数据整合软件可以释放系统的批处理时间。当提取组件使用非侵入式方法时,如通过读取数据库事务日志,只会捕捉发生变化的数据,不会对源系统产生影响。因此,数据提取流程可以在任意时段全天候执行,即使用户在线也可以。

    当以实时方式提取数据时,虽然必须改变数据采集流程中各个元素支持实时数据的方式,但是这些数据可以带来不一般的业务价值。而且,这些数据必须得到有效的保护,同时也很难针对这些不停变化的数据应用灾难恢复和备份技术。

    但是,在数据仓库中应用实时数据整合的技术也可以进一步保护数据。毕竟,实时移动数据的技术也可以实时操作数据,从而形成一个数据保护技术入口。但是,变化数据的速度和效率可能会受制于数据保护流程的延迟。

    这意味着,在转到整合数据仓库的主动数据采集模式时,首要考虑的问题之一是数据经过IT系统的流程和可能产生的延迟。换而言之,实时数据整合要求理解变化的数据,以及促进或妨碍这种变化的组件。

    显然,企业希望保护他们的数据。然而,随着数据容量需求的增长,存储技术也成为业务持续性依赖的重要业务资产。而且,随着实时分析成为业务流程的一部分,它也归入到业务持续性的范畴之中。实现数据安全性和持续性的最基本方法是硬件或软件复制,它会自动保存第二个关键数据副本。此外,自行创建或基于开源软件创建的备份方法也不存在。

    企业级数据管理应用主要涉及5个重要领域:灾难恢复、高可用性、备份、数据处理性能和更高级数据库移植。这促使IT不停地追寻先进技术,如实现数据整合及其相关基础架构元素。此外,这些战略投资能够提供符合预算的资源,在加快实时技术应用的同时,提高投资回报和修正实时数据整合项目的商业提案。

    然而,一定要将这些投入领域与实时数据整合系统的非现金元素相对应,这样有助于全面理解构成系统的组件,以及各种组织数据需求对这些组件的驱动作用。这些需求包括:

    •数据容量(数据规模与更新数量)

    •数据移动频率

    •转换需求

    •中断时间和业务持续性

    这些因素决定了产品的选择,以建立一个实时数据集成的高级架构。但是,在加入数据采集技术之后,“实时”这个术语就附加了不一样的含义。有一些技术关注于商业智能(BI)的“适时”概念。这个术语表示最终用户的不同智能应用需求,而且它也体现了不同用例的不同需求。

    但是,对于运营性数据仓库而言,这项技术不应该依赖于适时模式,而应该交付真正的实时功能,然后让业务用户选择访问数据的正确时间(适时)。然而,有一些公司可能会发现适时BI概念的价值,这里涉及到一个问题:“企业应该在什么时候使用实时数据整合技术?”

    在现实中,许多企业都使用来自多个供应商的混合IT架构(通常源于企业的传统历史)。在选择一个实时数据整合技术时,它一定要能够方便整合各种数据库和应用平台的信息。这是取得成功的最关键因素。

    整合平台是实时数据的基础,而跨产品兼容性也是它的核心功能之一。但是,找到一个能够组合这些元素、支持实时处理、不增加使用难度的平台也是一种挑战。

    Oracle推出的这种平台产品是GoldenGate,它支持Oracle数据库和其他同行产品。目前还有一些其他的实时平台,它们都必须在一些考虑应用实时数据整合的特定场景中进行检测:

    高可用性。GoldenGate能够将应用程序临时数据自动生成一个在线远程副本。这样,您的业务应用程序就可以在灾难恢复过程中进行故障处理,切换到二级存储,从而减少停机时间。

    在线迁移。生产系统的升级、迁移或维护通常都会造成停机。在理想情况下,实时数据整合平台可以实现零停机迁移,所以新系统可以在不停机的前提下接收所有旧系统数据。

    异质系统的整合。您的应用程序主要依靠Oracle、Microsoft SQL Server、Sybase、DB2系统。实时数据整合平台可以将它们运行在同一个平台上,只需要最小的整合就可以实现数据共享。

    增长企业的兼并、收购和IT整合。在设计最终的统一架构之前,必须使用一种变化数据捕捉技术,快速整合来自各个分公司和部门的数据。(顺便提醒一下,我们都知道不存在所谓的“最终架构”。)

    查询卸载。在多个数据集市之间共享重复数据存在一个有意思的副作用,即改进OLTP性能和可用性。多个服务器并发处理查询,可以更快速生成报表,从而提高执行速度。

    Oracle客户还提供了其他加强实时数据整合流程的选择。如果源数据和副本数据都基于相同的Oracle版本和数据模型,那么非常适合使用诸如Oracle主动数据防护(Oracle Active Data Guard)的产品。同时,如果副本极为相似,那么也可以使用Oracle实时应用集群(Oracle Real Application Clusters),实现透明的应用故障恢复。最后,由于基础架构即服务(Infrastructure as a Service, IaaS)模型在价格和弹性方面具有很大的市场优势,所以您可以在一个远程云上保存关键业务数据的二级副本。

    本文来源:IT专家网

 

    相关文章推荐:Oracle数据库的版本变迁及安装环境

分享到:
阅读:1306次
推荐阅读:

版权所有 © 2011-2016 南京云创大数据科技股份有限公司(股票代码:835305), 保留一切权利。(苏ICP备11060547号-1)  
云创大数据-领先的云存储、大数据、云计算产品供应商