从异构算力到AI治理,dBrain如何打通数据融合最后1公里?

2025-05-06 13:05
浏览:146

随着大模型时代的到来,在数字化转型加速的当下,人工智能领域主要面临着三大需求:

01

算力融合的需求

算力需求多元化与指数级增长,需要解决算力资源分布不均与效率问题,从而提高算力的利用率。

02

数据融合的需求

在大数据和人工智能的应用中,数据的准备工作占到80%以上的工作量,数据清洗和治理过程非常繁琐,需要消耗大量人力来应对数据多样性的挑战。

03

算法融合的需求

现实问题的复杂性和单一算法的局限性,只有整合多种算法,才能形成更高效率的工作流。

云创大数据的dBrain大数据融合智算平台,旨在打造一个全面、高效、智能的大数据融合智算平台。通过融合智算平台的低时延、高并发、高可靠的服务能力,服务于各业务部门。

1、打造异构算力服务平台

基于英伟达、国产通用处理芯片为底座,打造人工智能全栈自主创新方案,实现超强算力,最佳能效、开放易用、安全可信和统一训练推理框架。

2、用人工智能代替繁琐的人工

数据治理工作非常繁琐,需要应对不同来源、不同格式、存在冲突的数据的清洗校准工作,这种枯燥的工作对人来说是消耗,但借助大语言模型人工智能进行数据治理,可以节省大量时间和资源。

3、推进创新成果转化

打造“算力、数据、算法”一体化的融合智算平台,促进源头创新、孵化育成和成果转化。

下面,通过操作视频,我们来详细介绍一下平台的相关功能,看看是如何解决算力、数据与算法需求的问题,主要包括异构算力管控、可视化数据治理、AI数据治理、可视化系统构建、算法构建调度等功能。

01异构算力管控

异构算力管控是指对不同类型的计算资源进行统一管理和调度,以优化计算资源的利用效率和性能。在实际项目情况中,在利旧英伟达的GPU的同时,还要兼容现在的国产化GPU卡。目前,我们支持华为升腾系列的NPU卡,英伟达系列的GPU卡以及天数智芯寒武纪这些国产的GPU卡。也支持ARM架构、海光龙芯架构、X86机构的机器。

02可视化数据治理

可视化数据治理支持传统的ETL数据清洗和基于大模型的数据清洗,用户无需编写代码,即可通过直观的图形界面完成数据抽取、转换、清洗、全流程,实现跨异构数据源的整合与标准化管理。为了解决数据质量的问题,需要对项目的数据先进行整合。平台支持各种各样数据的导入,通过可视化的拖拽的方式重构数据治理流程,大幅降低技术门槛与操作复杂度。

03AI数据治理

AI数据治理是指通过AI的方式实现智能数据治理,将多源异构数据通过AI实现数据融合。我们先将数据按照优先级进行区分,AI会自动生成一张宽表,然后我们可以确认数据的血缘关系,AI会根据数据的优先级消除数据的冲突和歧义,完成数据的补全,从而解决传统数据治理的难点问题。若是有AI大模型无法准确判断的,也可以标识出来提醒人工确认。

 

04可视化系统构建

可视化系统的构建是指将复杂的数据信息通过图形化的方式直观展示出来,以便用户能够快速理解和分析数据。使用可视化拖拽的方式构建应用系统,系统支持柱状图、双轴图、折线图、散点图等图表,选好数据集来源形成可视化图表。平台还支持发布编辑好的可视化系统,方便其他用户的查看。

05算法构建调度

 

算法构建调度是指通过组合特定的算法来完成指定的工作的过程。平台提供预置的标准化功能、图表组件模块,结合直观的配置面板,支持灵活定义数据交互逻辑、界面布局及业务规则,无需编写代码即可完成系统应用构建,支持一键发布为独立应用,并自动生成标准化API接口,便于与其他平台无缝集成。

 

云创大数据的dBrain大数据融合智算平台,满足算力融合、数据融合以及算法融合的三大需求,该平台有效推动了数据智能与算法技术在智慧园区、智慧城市、公共安全及特殊行业等多元化场景中的创新应用与落地实施,为各领域的数字化转型进程注入了新的强劲动能。