大数据:浩瀚纷繁 融合世界

与黑洞相关的大数据
发布日期: 2019-05-15 信息来源: 杨明丽

 

泛在电力物联网广泛应用大数据、云计算、物联网等信息技术和智能技术,是数字革命在能源电力领域迅速发展的必然产物。人们的生活、工作、学习中到处都是海量数据,无处不在的数据正发挥着巨大的能量,成为社会进步的重要驱动力。更多的数据应用和价值等待我们去探索。

北京时间410日晚,由全世界200多位科学家合作完成的重大天文学成果——人类首张黑洞照片,在全球多地同步发布。你知道吗?这张黑洞照片是由天文望远镜获得的大数据合成而来。

分布在全球各地的许多天文望远镜在同一时间按下快门,记录无线电数据。天文望远镜获取的数据量非常大,一晚上就能收集到2PBPB为十亿兆级)。如此庞大的数据难以用网络传输,必须装到硬盘里,而这些储存数据的硬盘足足有半吨重。之后,依靠机器学习算法,科学家们把数据拼到一起,构建出黑洞图像。

大数据时代

随着移动互联网和物联网技术的发展,数据正在以超出人们想象的速度快速增长。根据国际数据公司(IDC)统计,2014年全球数据总量为8ZB1ZB=1021B),预计2020年将达到44ZB。同期,我国数据总量为909EB1EB=1018B,万亿兆级),占全球数据总量的13%;预计到2020年,我国数据量将达到8060EB,占全球数据总量的18%。毫无疑问,我们已身处大数据时代。

在小数据时代,受限于信息获取和处理能力,只能随机抽样。而在大数据时代,信息获取成本大大降低,信息获取效率成倍提高,信息处理能力得到增强,原先被忽略的细节更容易被察觉到,不必考虑抽样的科学性,分析结果将更加准确。大数据时代改变了认识世界的方式,即寻找相关关系,而不是因果关系。大数据的相关关系分析法更准确更迅速,而且不易受偏见影响。

大数据技术体系

广义大数据技术体系包括:存储层、整合层、计算层、应用层,其中存储层包括列数据库、键值数据库、内存数据库、分布式文件系统,整合层包括流数据总线、大数据连接器、PIGHIVE,计算层包括并行数据处理、流式计算,应用层包括自然语言处理、图像识别、数据挖掘等。

电力大数据

随着智能电网和信息化建设,电力行业已积累了海量数据,在数据量、多样性、速度和价值方面具有大数据的特征。电力行业已进入大数据时代。电力大数据是通过传感器、智能设备、视频监控设备、音频通信设备、移动终端等各种数据采集渠道收集到的海量结构化、半结构化、非结构化的业务数据集合。

电力大数据是电力公司的新型资产,将为电力行业带来显著的价值和电力公司的核心竞争力;促进业务管理向着更精细、更高效的方向发展。大数据技术将推动电力公司信息技术平台的升级与改造,包括提升数据存储和及时处理的能力;补充在非结构化数据分析与利用的能力;增强对海量数据资源的价值挖掘能力。

青海新能源

大数据创新平台

国网青海省电力公司以新能源为切入点,20181月,建成国内首个数据汇集、存储、服务、运营一体的新能源大数据创新平台。平台的核心架构包括3个层面。

核心平台层是开展创新服务的基础支撑;在网络资源、计算资源等基础设施服务的基础上,提供以物联网技术为核心的数据采集服务。在物联接入部分,平台的数据接入速率可以达到每秒3600条左右,累积接入数据已经超过53亿条,每日接入的数据量超过80GB

服务层面,是创新平台的基本业务形态,基于开放的平台支撑,提供平台服务4个,应用服务21个。

生态层面,以海量数据和平台开放能力吸引更多的服务提供方。目前该平台已经聚集了来自全国不同地区的服务提供团队13个,接入新能源场站121座。

【专访】

张玉天博士,就职于中国电力科学研究院人工智能应用研究所大数据应用研究室,主要从事电力大数据相关研究,负责、参与多项国家电网有限公司科技项目、智慧能源小镇示范工程等。

《亮报》:从现阶段对大数据的挖掘和应用阶段来看,您认为,电力大数据的利用处于什么阶段?未来,电力大数据将会发挥哪些作用?

张玉天:国家电网有限公司于2014年开始加强大数据相关研究,目前已建成集中式和分布式混合架构的企业级电力大数据平台,在应用方面重点推进大数据在输变电智能化、智能配用电、源网荷协调优化、智能调度控制、企业经营管理和信息通信6大领域的支撑作用。总体来说,电力大数据的利用已经历探索起步阶段,拥有不错的数据和应用基础,正在伴随泛在电力物联网建设所带来的信息全面感知与业务新需求而蓬勃发展。

未来,大数据将在电网规划、投资建设、资产管理、公司运营等方面,对电网发展方式与经营模式的转变起到重要支撑作用。实现数据支撑的公司经营管理水平提升,用电客户服务能力提升,并为政府提供客观高效的数据服务。积极打造数据共享服务商业模式,加强对外提供数据服务,开发数字产品,提供分析服务,推动数据运营。

  信息来源:亮报

 

相关链接