成果名称: |
软件定义的图计算关键技术 |
完成单位: |
中山大学,深圳市百草科技有限公司,贵州数联铭品科技有限公司,爱刷(北京)科技股份有限公司,深圳清华大学研究院,浙江创邻科技有限公司,和宇健康科技股份有限公司,深圳市华傲数据技术有限公司 |
研究人员: |
郑子彬,赵斌,廖海峰,纪成军,郑纬民,张晨,唐国红,贾西贝,陈川,陈亮,吴嘉婧,陈武辉,陈志广,沈明华,蒋子规,何笑雨,李晓丽,程杰柱,李阳,李循律,尤耿超,罗忠鸿,乔喆,刘智夫,周凡吟,曾途,马杲灵,方舟,雷丰羽,赵利城,邓凯译,黄乐,杜钻锦,张毅,吴菁,周研,宋宏伟,吴河辉,李欢,石明恩,杨照能,姚泽山,康涛,游飞龙,石尧,刘有元,田源,韩文弢,曹焕琦,冯冠宇,于纪平,王元炜,钟闰鑫,李健文, |
介绍: |
一、课题来源与背景 《软件定义的图计算关键技术》(项目编号:2020B010165003)属于2019年度广东省重点领域研发计划“软件、芯片与计算”重大专项课题之一,致力于研究基于高性能计算平台的图数据表示、整合、动态多源异构图自动构建关键技术及软件定义方法;研究基于图神经网络及网络嵌入理论融合的多元图结构模型构建,解决大规模实时图计算中的聚类分析、关联分析及演化问题;研究面向高性能的多级最优图划分理论、动态任务调度模式及节点混合通讯机制,实现超大规模图实时并行处理;融合现代存储设备如 SSD、NVME 等,构建高性能、可扩展的软件定义图存储系统,支持实时在线的图查询语言,提供计算工具集与支撑环境,以及基于软件定义的多语言编程接口。围绕图计算典型应用场景,开发基于高性能动态多源异构图计算的应用示范。 二、技术原理及性能指标 本项目围绕图数据的高性能表示、整合与自动构建,多元图的数学模型构建及分析,超大规模图实时并行处理等技术原理,构建相应的图计算支撑平台及示范应用。项目完成时,在总体规模达到 10000 个节点,峰值计算性能达到 140.30PFlops 的高性能图计算支撑环境上,提供大规模图计算工具集与支撑环境,支撑千亿级节点的大规模图的高性能分析。图计算工具集可支撑的图数据规模达到 69.41 TB,节点规模达到 2.75 千亿,边数达到 5.50 万亿,Graph500 广度优先搜索(BFS)分数达到 5008.5 亿 TEPS,Graph500 单源最短路径(SSSP)分数达到 4475.5 亿 TEPS。 三、技术的创造性与先进性 本项目研发推出的高性能图计算支撑平台克服了大规模图计算算法面临的多项核心技术难题,面向超级计算机运行特点进行了深度优化,能够充分发挥超级计算机的超宽并行性能,大幅提升了图计算系统所能够支持的最大数据量和计算复杂度。该平台可支持 BFS/WCC/PageRank/K-Core 等核心图计算算法,计算规模可以扩展到 4 万个节点,扩展了国产超级计算机在大数据分析领域的应用能力,并且为用户提供更加迅捷的实验、优化超大规模图算法的运算环境。 本项目研发推出的基于高性能计算的超大规模网页排序系统克服了大规模网页排序算法面临的多项核心技术难题,面向超级计算机运行特点进行了深度优化,大幅提升了网页排序系统所能够支持的最大数据量,实现了网页数量规模、网页链接规模、运行时间上的突破。 本项目研发推出的基于分布式图数据库的零售信贷实时动态反欺诈系统可以利用网络关系模型,关联多方数据源,动态挖掘图数据,高度准确地发现欺诈环,实时识别隐蔽的欺诈行为,提前预防和阻止犯罪行为的发生。同时,还可以为有关部门追踪欺诈者提供相关信息情报和证据链。 本项目研发推出的基于多源异构大数据的企业信用计量与评估系统在对多源异构数据加工基础上,构建全国包含逾3亿节点、3亿边规模的工商、履任、投资、融资等信息的全息图,借助图计算等技术和方法从多源异构金融大数据复杂网络中“全息画像”工具提取 “风险基因”,将结构化和非结构化数据信息进行“数据融合”,描述企业动态成长演变 机制,建立动态直观的信用风险评估理论体系。 四、技术的成熟程度,适用范围和安全性 本项目目标成果全部已开发完成,适用于支撑各种大规模图计算应用,其功能、性能及安全性指标已通过测试,已交付多个用户在实际生产中示范应用,满足用户需求,项目的技术就绪度达到8级。 五、应用情况及存在的问题 本项目研发成果已交付多个用户在实际生产中示范应用,广泛应用于商业银行、制造业、环保工业等各行各业,满足用户需求,用户使用过程中未反映有严重应用问题。 六、历年获奖情况 1、赛迪网“2020年图数据库领域最具影响力企业”“2021年度最佳国产商业图数据库产品”; 2、2020全球政府优秀智慧城市合作伙伴奖; 3、2022年中国信创产业拳头奖——最佳数据库品牌; 4、2023中国国际金融展“金鼎奖”优秀技术创新奖; 5、中国人民银行旗下《金融电子化》突出贡献奖 |
登记号: |
|
登记日期: |
2024/9/24 |
研究起止时间: |
2019-12-01至2022-12-31 |
成果应用行业: |
信息传输、计算机服务和软件业 |
高新科技领域: |
电子信息 |
学科分类: |
|
鉴定单位: |
广东省科学技术厅 |
评价日期: |
2023/10/13 |
登记办理状态: |
公示中 |
|