亚博yabo官网登录煤航集团:为数据处理装上“超级大脑”

作者:鲁建伟 杜旭涛 信息来源:中国煤炭报 发布时间:2020-12-16 11:40:38浏览:18842

每天,除定期巡检服务器、接待来访客户等工作外,亚博yabo官网登录煤航集团煤航大数据中心工程师陈卫斌还有一项重要工作:在“大数据中心资源使用统计表”上登记,调配计算资源,以满足各项目的数据计算需求。

“目前项目已排到2020年12月底。”陈卫斌边登记边说。

数据计算是煤航大数据中心针对实景三维、地质灾害遥感识别、多元遥感影像的集成与整合等高密计算而提供的一项服务功能。批处理、速度快、算力大幅提升,如同给数据处理装上“超级大脑”。运行近5个月,经不断测试,煤航大数据中心计算功能完全满足超密数据计算需求。

建成地理空间大数据中心

伴随云计算、5G、人工智能等信息技术的不断发展,我国“数字化”“智慧化”进程加快,其对地理信息行业的生产效率及其产品丰富性的要求也越来越高。数据计算是数据处理的重要环节,提高地理空间数据的计算效率尤为迫切。

作为亚博yabo官网登录从事地理信息技术研发与应用的高科技企业,煤航大数据中心不断生产遥感、测绘等地理空间数据,并且每年以100万亿字节速度增长。

与大多数国有企业类似,煤航大数据中心曾存在“数据孤岛”现象,大部分数据分散在基层企业,数据处理由下属企业自行完成。煤航大数据中心航测工程分公司作为测绘数据主要生产单位,近年来承接的实景三维模型项目不断增多,其中涉及大量的倾斜航摄像片数据处理,对计算资源要求更高。

“以前数据处理都是在公司作业室完成,由一台主机分发给多个分机。”航测工程分公司三维中心主任赵帅表示,有时项目时间紧张,这种计算方式存在设备配置低、稳定性差、分机占用速度慢等问题,严重影响生产效率。

解决行业数据痛点成为当务之急。煤航大数据中心紧紧抓住“数字化”“新基建”等重大机遇,结合信息技术,建成地理空间大数据中心。

“我们建立服务器集群和‘数据湖’,实现资源统一调配和管理,打造敏捷高效的数据接收、存储、处理和分析平台,以实现设施资源的最大化集成利用。”煤航集团党委书记、董事长赖百炼介绍。最大限度地整合计算资源、存储资源和网络资源、提升算力,是煤航大数据中心功能之一。

数据处理效率提升3倍

煤航大数据中心建成后随即投入测试。测试结果显示,一个房地一体化项目的4万多张无人机倾斜影像,如果按照以往计算模式,大概需要12天才能完成。使用煤航大数据中心分配的计算资源,大概需要4天时间就能完成。数据处理效率至少提升了3倍。

该中心相关人员表示,煤航大数据中心架构稳定、容错能力强、效率高,能够满足现行三维实景生产的需求,运行效率能够达到业内较高水平。目前,该公司承接的项目中涉及高密数据的计算均由煤航大数据中心完成。

煤航大数据中心的超算功能对承接的地质灾害项目中的光学遥感、雷达遥感数据处理也发挥了重要作用。煤航遥感信息公司承担的“藏东南地区地质灾害隐患综合遥感识别与调查”项目涉及16万平方公里地质灾害早期识别,大约2000景SAR数据。

“该项目涉及数据量大,时间任务重,高性能数据计算成为重中之重。”该公司水工遥感所所长罗东海介绍,公司常规的计算机难以承担如此大面积的数据计算。

“以前都是先将数据裁剪成多个子区块进行处理,然后对处理后的值区块进行拼接,需要180天才能完成;借助大数据中心分配的计算资源,对这些数据进行批处理,同等条件下仅需60天就可以完成,数据处理效率提高了3倍,且几何精度优于传统方法。”通过项目验证,罗东海给出结论:批处理、运行速度快,多线程处理之间互不影响。

截至目前,煤航大数据中心已为航测、遥感、地信、智慧铁路、工程监理等企业的数据处理提供了计算服务,对实景三维、地质灾害遥感识别、多元遥感影像的集成与整合等高密数据具备高效处理能力。

“目前主要是分配计算资源,一旦遇上重大紧急项目,大数据中心可以集中软硬件资源,集中力量办大事,处理速度将比现在更快,效率也将更高。”陈卫斌对大数据中心超算优势充满信心。



上一篇:转型突破 精准发力 ——访中国... 下一篇:大地特勘队的十四天“地心营救”

联系我们 隐私与安全 法律声明 行业机构 举报邮箱 民企清欠信访 房租减免问题投诉

地址:北京市海淀区羊坊店东路21号中国煤地大厦100038 联系电话:010-63903775 010-63903982 邮箱:[email protected]

版权所有:亚博yabo官网登录  京ICP备05010121号  技术支持:yabo亚博登录信息技术有限公司

亚博yabo官网登录,yabo,yabo亚博登录