热潮,将大数据技术与海洋信息系统相结合,发挥两者的优势,能更好地为我国海洋信息化服务。本文从大数据的概
念出发,探讨了大数据背景下海洋信息系统的发展方向,提出以海洋地理信息系统为平台,建立海洋大数据时空大数 据仓库,最后构建基于大数据的多环境多层次智能决策预警系统,为决策者提供依据。关键词 海洋地理信息系统;大数据;数字海洋;数据仓库 中图分类号P208; P74The Development of Marine Geographic Information System under the
Background of Big DataCHEN Peng1, WANG Shao-peng \", LI Yu-ting1, CHEN Kun1, LIU Yi-jie1(1. Key Lab of Virtual Geographic Environment under Ministry of Education, Nanjing Normal University,Nanjing 210023, China; 2. National Marine Data and Information Service, Tianjin 300171, China $Abstract The 21st century is an era of human development and utilization of the oceans. Marine resources are an important guarantee for sustainable development of China. Now we are in the upsurge of the development of big data technology. Combining big data technology with marine information system may give full play to their advantages and better serve the country's marine informatization. Starting from the concept of big data, this paper discusses the development direction of marine information system under the background of big data. It is proposed to build a large data warehouse based on marine geographic information system. Finally, a multi-environment and multi-level intelligent decision-making early warning system based on big data is constructed, which can provide a basis for decision makers.Keywords marine geographic information system; big data; digital ocean; data warehouse2015年10月国务院正式印发的《促进大数 据发展行动纲要》,是我国促进大数据发展的第 一份权威性、系统性文件,从国家大数据发展战
将在中国产生&可以预见大数据的发展对各行各
业的推进以及人们认识事物的方式都将产生深远 的影响,越来越多的国家、研究机构都认识到,
略全局的高度,提出了我国大数据发展的顶层设 计和总体部署,是指导我国未来大数据发展的纲
领性文件叭 国际数据资讯公司IDC预计2020 年全球数据量将达到35 ZB的体量叫 其中20%
收稿日期:2019-01-25项目支撑:国家重点研发计划(2018YFB0505500; 2018YFB0505502)|| 14海洋信2019年第2期||大数据蕴藏着巨大的价值和潜力&海洋地理信息系统(MGIS,Marine Geographic Information System)是以海底、海面、水 体、海岸带及海上大气等自然环境与人类活动为研究对象的海洋领域研究的工具和工作平台,对 多种海洋空间数据进行收集、存储、整合、处理
和管理,为平台使用者提供空间分析、模拟预
测、可视化表达以及决策辅助等服务#为更好适 应海洋数据爆炸式增长,实现海洋数据的实时共
享,MGIS已与web技术紧密结合,为用户提供 快速便捷的数据服务。大数据的认知方式有别于 传统思维,大数据是以“全面而非抽样” “效率而非精确” “相关而非因果”的理念解决问题$海洋信息化是国家信息化的重要组成部分叫充
分利用大数据,挖掘海洋大数据对国计民生的最
大价值,是海洋信息化战略努力的方向$而海洋
地理信息系统作为海洋数据管理、 处理分析和共
享的有力工具和平台,将大数据关键技术“分布 式存储”和“分布式处理”应用MGIS平台,打 造全时、 全信息、 高效率的海洋地理信息平台,
更好地为海洋信息化战略服务。1大数据时代各种类型传感器的应用,世界各大IT巨头
对大数据的深度开发,万物物联的时代即将到 来$随着物联网、互联网、云计算等技术的迅速
发展,人、机、物三元世界的高度融合[4],引发
了数量模指数级的增长,数据量积累到一定程度 其资源性愈加凸显,开发价值愈加大[5],大数据
已深入到生活的方方面面, 世界已进入大数据时
代,大数据被称为将引发生活、工作和思维变革
的一次革命问。1.1大数据的特点随着对大数据研究的深入,大数据不仅仅是
数据“大量化(Volume)”,而且包含了 “快速 化(Velocity)” “多样化(Variety)” 和“价值 化(Value)”等多种属性$大数据每年以50%的 速度增长,遵循大数据“摩尔定律”,大数据具
有多维性质,而不同维度之间有着天然的联系; 大数据类型多样,其中只有10%是结构化数据, 90%为是非结构化数据,非结构化数据与人类密 切相关;目前数据从生产到消耗的时间窗口非常
短,为了获得更多的决策支持,就要求大数据的
处理速度足够快; 大数据是全面而非抽样的, 全
信息记录,使得大数据具有价值密度低、但商业 综述研究价值高的特点$1.2大数据面临的挑战大数据的到来催生出新的科学范式,图灵奖
获得者Jim Gray博士将人类的科学研究史总结为
4种范式,即实验研究阶段、理论研究阶段、计
算研究阶段和数据驱动研究阶段[7]$可以看出,
大数据正在引发科学研究思维与方法的变革$虽
然大数据提出较早,但普遍进入大众视野是最近 10年才开始的,大数据技术已取得了较大的发 展,但也面临着以下几个方面的挑战。1.2.1 数据采集“大数据技术”顾名思义不难发现,数据是
其根本,数据采集是大数据技术的第一步$目前
通常采用的数据采集技术是利用ETL工具将多 源异构数据源中的关系数据、 平面数据文件等,
抽取到临时中间层后进行清洗、转换、集成,最
后加载到数据仓中,成为联机分析处理、数据挖
掘的基础, 实时采集的数据可作为流计算的输
入,进行实时处理分析$大数据多样化给数据的
转换、集成带来了挑战,如何正确地转换和完整
的集成是数据采集需要面临的问题$1.2.2 数据储存和管理传统的数据库追求高度的数据一致性和容错 性,扩展性不足,在面对非结构化和半结构化的
数据时,存储能力一般$利用分布式文件系统、 数据仓库、关系数据库、NoSQL数据库和数据 库等, 实现对结果化、 半结构化海量数据的存储
和管理$ 当前, 已有的存储技术的提升较数据量
的增长落后很多,设计合理的分层存储架构成为 大数据存储的关键叫 1.2.) 数据处理与分析目前大数据处理和分析所采取的关键技术 是利用分布式并行编程和计算框架,结合机器 学习和数据挖掘算法,实现对海量数据的处理
和分析$ 大数据的多样性、 多源异构性加大了 数据集成和处理的难度, 开展大数据不同类型
格式向标准化格式转化研究,建立大数据多源
融合体系$1.2.4数据隐私和安全在从大数据挖掘潜在的巨大商业价值和科学
研究价值的同时,需要关注数据隐私和数据安全
的问题$ 如何构建隐私数据保护体系和数据安全||海洋信息2019年第2期75 ||
海洋信息 MARINE INFORMATION体系,有效保护个人隐私和数据安全是人们更为 关心的问题。此外,还有需要面临的挑战,如打
破数据壁垒,实现数据共享;广泛的技术培训, 培养大数据人才;宣传大数据思维,用大数据思 维看待问题,正确认识数据驱动的方法。2大数据下海洋地理信息系统的
发展2.1海洋地理信息系统概述地理信息系统(GIS)是海岸带资源与环境 综合管理的方便有效的技术手段,基于海洋的特 点,如海水的流动性,海水深度明显的周期变化
有别于陆地,有较强的时间性,海洋地理信息系
统(MGIS)需要处理空间和时间同步的数据& 海洋环境的复杂多样,需要综合管理社会、经
济、资源、环境等多样性数据,要求MGIS具有
多功能性和智能化的特点。MGIS综合性地跨学 科融合了海洋学、遥感、测绘学、计算机科学、
信息科学、社会学、生态学以及灾害学等。目前
相关的研究者大多基于自身所在的学科背景,将
MGIS作为一种辅助分析或决策的工具来使用,
而将多学科多背景系统融合的研究则鲜有研究。
在大数据时代,MGIS将会迎来快速而创新性的 发展,使MGIS更广泛地适应海洋科学发展的特 点和构建“数字海洋”的信息系统先2.2海洋时空大数据仓库时空规律蕴含在数据之中,集成的数据越 多,发掘出规律的可能性越高&以往的学者认 为海洋数据包含海洋水文、海洋生态环境、海
洋气象气候、海洋化学、海洋经济、海洋物理 等方面㈣经典的大数据& 2010年前后以物联网、 云计算和大数据为标志,开启第三次信息化浪
潮,海洋大数据已经不再限于海洋自然科学数 据,与海洋相关的社会数据,如网络社交新媒
体等也应纳入海洋大数据的范畴& MGIS与大数 据技术相结合, 使海洋信息数据的建库和管理
向科学化、便捷化、实时化、智能化和应用社
会化的方向发展&数据是运用大数据技术的基础, 构建海洋
时空大数据仓库是MGIS在大数据时代发展的 基石&以大数据的采集和存储模式为基础,结
|| 16海洋信2019年第2期||
合MGIS数据的特点,将数据分为传统MGIS时
空数据集、多源传感器与遥感数据和多源泛在
时空信息资源3类&将时空数据以场景为基础, 构建多尺度图元镶嵌的几何模型,通过增量与
快照相结合的方式,表达缓慢变化的自然场景&
对于社会和自然变化较为剧烈的过程,如涉海
安全事故、风暴潮、海啸等突发事件,以离散
事件、 过程快照和流媒体等不同类型来进行表
达,使泛在时空信息聚合&通过时间、地点、
事件等关键要素,建立与自然表达场景的映射
与关联&海洋时空大数据仓库构建的组织关系
如图1所示&2.3基于大数据的多环境多层次智能决策预警
系统传统的MGIS应用已经十分广泛,主要用于
海洋功能区的管理和规划、海岸带的管理和规
划、 海洋环境的管理和保护、 海洋资源的开发管
理与保护、海洋环境的监测、评价与预报,海洋
防务数据的管理、分析和辅助决策等方面&技术
的革新有助于提高人们对问题的认知水平,从不
同的角度和层次看待问题,获得更好的解决问题
的途径&技术最终是要服务于应用,大数据技术
与海洋地理信息系统相结合的落脚点、未来的发
展方向将是构建多环境要素的多层次的实时的决
策预警系统&依据大数据的“相关而非因果”思
维, 在多样而全面的数据仓库中, 应用多环境模
态发现深度学习模型,快速而准确地找到规律,
预测事物的进一步发展,为决策者提供依据&为 建立该预警系统,首先,在MGIS平台上构建海 洋环境、 大气环境、 生态环境、 经济环境、 社会
环境等海洋时空大数据仓库, 以大数据云计算为
支撑,集成多源时空数据资源和集成,实现尺度
适应的高性能多模态数据访问机制;其次,使用
耦合时空多尺度过程模型与算法,建立时空模态
发现的高性能计算框架,挖掘出多环境变量多层 次时空响应关系; 最后构建实时高效的多源数据 采集和处理系统, 耦合多主题多因子海洋环境问
题时空预测的深度神经网络预测模型库,研究建
立典型情景与专家交互式情景设定双驱动的环境
预警链, 实现面向海洋环境问题的多层次智能决
策预警系统&基于大数据的多环境多层次智能决
策预警系统的框架如图2所示。综述研究缓变自然要素表达
场景化基础要素数据组织多尺度几何 图元镶嵌基于DOM模型的层 次化语义组织时空尺度适应的 快照式存储场景式数据 聚合管理函数/参数化 增量渐变表达海洋时空大数据
传统MG IS时空多源泛在 时空信息资源社会与自然过程表达
泛在时空过程信息聚合仓库
图1海洋时空大数据仓库海洋地理信息系统
图2基于大数据的多环境多层次智能决策预警系统||
2019 年第 2 期海洋信息 MARINE INFORMATION2.4大数据下海洋地理信息系统面临的挑战大数据时代,海洋地理信息系统主要面临 以下3个挑战。首先是思维的转变,当今海洋 学问题主流处理方式仍然是模型驱动,而数据
的极大丰富使人们可以不用模型和假设,实现
从模型驱动到数据驱动的思维转变, 以大数据
思维解决MGIS中遇到的新型问题,从复杂的 时空数据中挖掘出隐含的规律和知识。其次是
数据和技术的共享,海洋数据的敏感性和大数
据关键技术的垄断性是阻碍大数据发展的最大 障碍。最后是多学科复合型人才的培养,大数
据和云计算技术的提升,使全要素的数据驱动 成为可能,拥有多学科背景,具备跨学科综合
能力的人才更为急需。3结语结合大数据的概念和特点,探讨了海洋地理
信息系统未来可能的发展趋势,以海洋地理信息
系统为平台, 建立海洋时空大数据仓库, 以大数 据、云计算和深度学习算法为技术支撑,将基于
大数据的多环境多层次智能决策预警系统作为应
用的落脚点。最后认为思维转变、技术壁垒和人
才培养等3个方面是大数据和海洋地理信息系统
将要面临的问题。|| 18海洋信息2019年第2期||参考文献:[1]
中华人民共和国国务院.促进大数据发展行动纲要[J]. 成组技术与生产现代化,2015, 32(3) :51-5 8.[2] Gantz J, Reinsei D.The digital universe in 2020: Big da
ta, bigger digital shadows, and biggest growth in the far
east[J]. IDC iView: IDC Analyze the future, 2012, 2007
(2012): 1-16.[3] 许莉莉,汤海荣,张燕歌.海洋信息化标准体系研究[J].
中国质量与标准导报,2015, 1: 49-51.[4] 李国杰,程学旗.大数据研究:未来科技及经济社会发
展的重大战略领域——大数据的研究现状与科学思 考[J].中国科学院院刊,2012, 27(06): 647-657.[5] 邬贺铨.大数据思维[J].科学与社会,2014, 4(1): 1-13.[6] 维克托•迈尔一舍恩伯格,肯尼思•库克耶,ViktorMay-
er-Schonberger, et al.大数据时代:生活、工作与思维 的大变革*M].杭州:浙江人民出版社,2013: 151-152.[7]
Hey T, Tansley S, Tolle K. The Fourth Paradigm: Da-
ta-Intensive Scientific Discovery[J]. Proceedings of the IEEE, 2009, 99(8): 1334-1337.[8] 李国杰.大数据研究的科学价值[J].中国计算机学会
通信, 2012, 8(9): 8-15.[9] 王芳,朱跃华.海洋地理信息系统研究进展*J].科技导
报, 2007, 23: 69-73.[10] 宋德瑞,曹可,张建丽,等.大数据视域下的海洋信息
化建设构想*J].海洋开发与管理,2017, 34(09): 50-53.
因篇幅问题不能全部显示,请点此查看更多更全内容