第39卷第6期2014年6月武汉大学学报·信息科学版
GeomaticsandInformationScienceofWuhanUniversit y
Vol.39No.6
June2014
:/.whuis20140143DOI10.13203jg()文章编号:16718860201406065505---
大数据时代的空间分析
张晓祥1
江苏南京,1 河海大学地理信息科学与工程研究所,210098
摘 要:近年来,大数据越来越多地被用来描述正在到来的信息爆炸的时代,也引起了产学研政府部门的高度从G重视。首先综述了大数据和空间大数据的特点和最新发展。其次,IS基础理论方法的角度回顾和评述了空间分析、空间建模和空间优化等三个地理信息科学的核心议题。在此基础上,引申出空间理论方法背后隐含的空间哲学和空间思维。最后指出了大数据时代地理信息科学发展的机遇与挑战。关键词:大数据;空间分析;空间建模;空间优化;空间哲学中图法分类号:P208 文献标志码:A
元数据的手工提取和解译已经变得越来越不可
1 大数据与空间大数据
),大数据(简单来说就是指数据规模bidatag 巨大到无法通过人工进行处理和解读的数据。除了数据量大以外,大数据还有诸如数据处理速度数据来源和构成复杂以及数据真实感强烈迅速、
1]
。等特点,同时大数据还需要有很高的使用价值[
行,图论方法则可以利用动态图进行数据模型的同时,在大数据时代,越来内部比较和数据集成;
越要求数据和模型的语义注释要能够被人和机器所理解,空间语义研究可以使得时空数据库易于发布、提取、探索和整合;而本体方法则可以针对深入的行业应用建立各个应用行业领域中的不同尺度与粒度的对象、过程和关系,这是信息集成的基础。
在数据的真实感方面,实时快速的社会媒体(等志愿者地理信息(socialmedia)volunteered
,)以及物联网数据增eorahicinformationVGI ggp强了信息的现场感和真实感。在空间大数据上,除了政府、机构提供的数据以外,国外Facebook、微信等直接来自用户Twitter以及国内的微博、个体的社会媒体数据作为一类重要的与空间位置
]56-
。相关的信息也得到快速发展[
大数据出现的同时,一定程度上解决了过去长期存在的数据源短缺问题,从而使得以前一些因为数据短缺而无法进行的分析计算变得可行。近年来,急剧增长的地理空间数据已经成为大数据流空间大数据的发展将会有效化的重要组成部分,
解地理信息领域长期存在的数据瓶颈问题。
在空间数据处理速度上,伴随着高性能计算机等硬件技术的发展以及云计算和移动计算等软件技术的发展,GIS的高性能计算的发展主要分两种思路:①注重采用硬件加速方法进行复杂图
[]
形计算,如GPU图形处理技术2;②注重采用软
地理信息系统是一种非常有效的时空数据组织方法,空间和时间可用于基本的知识组织,并且这种组织方法容易消除信息歧义。良好建构的空间大数据无疑有着巨大的应用价值,空间大数据与云计算、移动计算、物联网、社会化媒体技术可以用于建立下一代地理空间信CberGIS结合,y
息基础设施,用于空间数据集成和空间知识传播。同时,这种数据基础设施还可按时按需提供空间信息和知识,通过高性能计算进行各类常规和应
]79-
。一些研究还基于空间大急任务的技术支撑[
件方法来实现复杂的计算分析功能,如赛博GIS
[1,3]
)。技术(CberGISy
在多源异构的数据集成上面,诸如图论()、))语义(和本体(等新rahsemanticsontologpgy的技术方法已经逐步应用于空间数据的自动提取
4]
,和集成[这些方法特别适合于非SQL的数据结
构,诸如Hadoop等可以对大数据进行分布式处
理的软件框架。大数据时代,常规的基于SQL的
收稿日期:20140226--
)。项目来源:国家自然科学基金资助项目(41201394,41201117
:第一作者:张晓祥,博士,副教授。主要从事空间分析与建模研究。E-mailxiaoxianhu.edu.cn@hg
656
武汉大学学报·信息科学版2014年6月
数据整合多样的地理信息资源建立了空间信息交——地理空间服务网,换与处理平台—聚焦于建立数据、信息和知识共享与交换的平台,进行异构信息资源的整合与互操作,实现空间数据、地理信息
10]
。和地学知识的网络共享与在线服务[
发空间分析软件产品来进行空间分析的标准化工在该版作。以GIS软件ArcGIS9.3版本为例,
本的软件工具箱中,就包括3地统计分D分析、析、空间统计等近20大类600多种空间分析操现在G作,IS已经可以非常方便地进行空间内插、空间采样、空间相关性分析和空间异质性分析等。在应用过程中,类似统计软件容易导致误用一样,空间分析软件同样会导致一些误用,一个经典的例子是在空间分析中要特别注明由于尺度问题导致的MAUroblem,P(modifiableareaunit p
13]
。可塑性面积单元)问题[
可以想象,未来还会有更多的空间分析功能会被开发成软件模块,以便自如地进行空间点、线、面、格网数据的分析和计算。大数据时代,空间分析的应用方式也会有很大改变。如面对PB级别的大数据,数据本身无法全部下载到本地进因此需要发展一种“数据不动软件行分析处理,
的处理方式进行在线空间分析。动”
2.2 空间建模
空间建模也称为空间过程建模。如果说空间(统计)分析是一种“黑箱”分析,那么空间建模则灰箱”分析,甚至是一种“白箱”分析。也是一种“
就是说,空间建模是在了解或者部分了解空间过程“机理”的基础上建立的数学模型或数值模型,这种“过程”很多时候也是一种物理过程。在进行物理过程的空间建模时,考虑到计算的复杂性,需即建模过程没有最优解,要考虑模型的精细程度,
只有近似解。GIS软件目前已经发展成为一个功能强大的软件包,但是经典GIS的一个显而易见的问题是“GIS缺乏专用的过程模型来控制系统
[16]
。调控以及演化”中地理对象的状态、
建模与优化2 空间分析、
,美国国家基金委充分认识到G1980sIS空间分析方法的巨大潜力及其与非空间分析的巨大差异,选择美国加州大学圣芭芭拉分校、纽约州立缅因大学建立了三个国家地理大学布法罗分校、
信息分析中心来进行地理信息系统的空间分析基础研究。当时,三个中心在全世界范围内招聘到区域科学方面的著名教授,由此展一批计量地理、
开了1980年代末至2000年的地理信息系统研究地理信息系统也由单纯的技术驱动的黄金时代,
11]
。H而上升为地理信息科学[aining教授认为,
)地理信息科学(GIScience=GIS系统软件+空
12]
。从中也可以看出地理信息科学的一间分析[
大特点就是空间分析,通过空间分析,GIS可以超最终发展成为越单纯的地图制图和数据库管理,可以进行分析决策的工具。
大数据时代,地理信息系统数据极大丰富,数电、气等“立等可取”的基据已经成为一种类似水、
础设施。研究人员也会发现,在GIS中集成空间分析程序将会有助于揭示空间分析的一些基本问作为应用的空间分析本身却越来越多题。但是,
13]
,地误用和滥用[因此有必要对空间分析本身进
行深入的剖析。空间分析主要研究空间格局、空空间行为、空间关系、空间过程,广义的空间位置、
间分析包括空间分析、空间建模、空间优化三部
14]
。分[
,美国加州大学圣巴巴拉分校的国家空1990s
于1间分析中心在Goodchild教授的领导下,991、1993、1996、2000年分别举办了4次GIS与环境
组织了多个行业领域的一大批建模国际研讨会,
重要专家进行GIS与各类专业空间过程建模的
集成研究,后面三次会议还专门编辑出版了专
]1719-
,在国际上推动了这个领域的研究。1著[990
2.1 空间分析
本节的空间分析是指狭义的空间分析,也称为空间数据分析和空间统计分析,其中最经典的
15]
。由就是统计方法在空间数据分析上的应用[
于空间数据通常不满足统计学上的样本独立性假设,因此空间分析与非空间分析之间存在显著差异,空间分析方法并不能简单地套用非空间分析方法。与非空间分析方法相比,空间分析有着显即空间信息还有位置、距离、方向、邻接著的特点,
性、尺度等多种特征。空间分析通常相对于非空间分析显得模糊而不够精确,不同的人可能会得到完全不同的空间分析结果。
为了改变空间分析的状况,研究人员通过研
s末,GIS对象-关系数据库技术和面向对象建模
的方法逐渐成熟,在新的关系数据库基础上进行复杂的专业模型的建模逐步提上日程,各种行业空间基本上都是基于G建模软件的开发大量涌现,IS进行专业模型的软件模块开发。以水利行业为例,丹麦M荷兰D美国Aike系列软件、elft3D、rcSWAT 等专业软件功能都是构建ESRIArcGIS软件的面 向对象扩展模块。
9卷第6期 第3张晓祥:大数据时代的空间分析
657
物理过程建模和空间建模理念的提出是GIS领域很重要的一个问题。现在提的时空GIS问题实际上是一种动态的时空G是相对于IS问题,以前的静态或准静态G规划领IS而言的。国土、其实很多时候是一种静态的域也做时空GIS,
但水、空气等流体的物理现象变化GIS时空问题,比较快,动态性强,原有的基于图层管理的时空构架难以适应这种空间建模的需要。空间过程模型有很多种类,除了常见的水、气的流动,还可以用于传染病的传播、技术扩散、空间交互建模以及随机模拟等研究。
过去,空间数据的收集工作量巨大,人们总是通过减少模型复杂度来尽量使用较少的参数和数据进行预测建模,这从一定程度上影响了模型的精度。大数据的出现为复杂空间过程建模的深入研究提供了可能,特别是对一些严重依赖背景信实时的数据获取和实时的建息的迭代计算模型,
大数模计算为这种问题提供了解决方法。另外,据还可以聚合展现空间对象在复杂模型中的具体行为,从微观尺度上弥补宏观模型构建上的错误和不足。
2.3 空间优化
如果说,空间分析可以描述空间位置、空间关系、空间距离、空间梯度、空间格局等解释性信息;空间建模可以进行对历史的精确反演、对未来的情境分析,那么空间优化则可以对目前的现状进调控和决策。行评价、
空间优化实际上与地理学有着千丝万缕的联系,在经典的经济地理学研究中,有着诸如von、农业区位论)Weber的Thunen地租关系理论(
、工业区位论)耗费最小化(ChristallerandLosch 的中心地理论等基础地理学理论。这些区位论研以解释和理解地究通常需要应用空间优化方法,
理格局,并设定最佳位置。空间优化建立在丰富特别是地理学的的学科传统和现实意义基础上,
计量革命以外,空间优化逐渐发展成为地理学的
14]
。一个重要分支[
际上把空间关系和空间属性作为限制条件加入原
20]
。以共同组成方程组求解[有的优化方程,
大数据时代,数据的精度越来越高,空间数据也越来越丰富,这对于复杂优化问题的求解是一个难得的机遇。优化问题的建模并不是一个简单的工作,尤其是在空间背景下的建模更为困难。对于一些问题,限制条件可以有多种,空间优化问题本身可能更为复杂。空间优化并不总能得到精确解,有时候近似解也是可以接受的,因而启发式算法在空间优化领域有着广泛的应用。在实际应用中,空间优化对于交通建模、位置建模、商业地理学、医学政治地理学、学区划分、土地利用规划、城地理学、
市规划、经济社会发展规划等有着重要的应用价值,可用于区域空间综合评价、资源空间优化配置、
]14,20
。突发事件优化管理以及空间决策支持等[
3 空间哲学和空间思维
3.1 空间哲学
美国加州大学圣芭芭拉分校地理系的Simo-nett教授提出的Simonett魔方对该校地理系的
21]
。崛起有重要意义[
Simonett教授特别注重以定量方法来研究
地理问题,打破过去地理系自然地理、人文地理的学科领域的限制来招聘教授,UCSB地理系当时招聘的每一个教授都必须要有进行学科交叉研究即必须在S的能力,imonett魔方里找到自己的三,维坐标(也即必须有地理学基础、专业X,Y,Z)建模能力和量化分析能力,缺一不可。魔方的一侧表示以空间分析、遥感、计算机制图学、地理信魔方的另息系统为核心的空间分析与建模技术;一侧表示各类专业建模领域,如海洋建模、水文学大气建模、植被/土壤建模、行为地理学、区建模、
域/城市建模、自然资源管理等;两者之间的连接数学建模、数值建模来实现。则通过统计建模、
哲学作为关于世界观的学说,是理论化、系统化的世界观,是自然知识、社会知识、思维知识的是世界观和方法论的统一。空间研概括和总结,
究同样需要坚持一定的空间哲学,Simonett魔方是经过实践检验的空间哲学,到目前为止还有重要的学术意义和研究价值。
大数据时代,空间数据的存储、管理问题得到了良好的解决,高性能计算也使用户感觉不到计算的存在。在空间应用研究中,需要特别注意把)握用空间明确的模型(satiallexlicitmodels pyp 来理解人与环境的交互,这从根本上说是一个哲
空间优化问题包括三个组成部分:目标、所要作出的决策、约束条件。这三者在某种程度上有时混杂在一起,或明确或隐含地反映感兴趣的地理问题,具体求解可以采用精确解或近似解。研需要满足一定的究目标通常与问题的背景相关,
限制条件,如要确保费用最小或收益最大等。各类应用问题的目标通常以一个或多个目标函数来表达。决策变量与决策本身密切相关,需要根据实际问题确定参加求解的决策变量。空间约束实
658
武汉大学学报·信息科学版2014年6月
学问题。在这种空间哲学中,对于自然界来说,就是用物理公式来描述自然过程;对于人类社会来说,就是懂得如何就地球资源的使用进行决策。但是这些自然界的规律与现实社会的运行方式对人类来说还有大量的未知领域。对于未知世界的探索,空间哲学的探讨和研究是首要的问题。3.2 空间思维
Simonett魔方实际上也是一种空间思考方式,也即无论是空间分析、空间建模还是空间优。在人类生活化,实际上贯穿着一种“空间思维”中,空间思维实际上是无处不在的,从幼儿园学习的简单的空间概念到大学里学习的抽象的空间表达,无不体现一种空间思维,这种空间思维突出地表现为空间知识、空间方法和空间工具的掌握和
22]
。从另一个意义上,空间思维实际上是基应用[
大数据的应用将显著促进地理信息技术的发展和应用,空间大数据更多地需要处理数据的空间性、时间性、流动性、多元性等多种因素混合导致的大数据的复杂性,未来在通过计算、可视化和分析等方法进行减少数据维度的研究仍充满挑作为地理信息科学自身,需要战。但更重要的是,
重视空间分析、空间建模和空间优化等基本理论需要坚持类似S方法,imonett魔方一样的空间哲学和空间思维。
参 考 文 献
[]:T1nselinL.FromSaceStattoCberGISwent A pyy
[]ofSatialDataAnalsisSoftwareJ.Inter-Years py:nationalReionalScienceReview,2012,35(2) g131157-
[]2anC,WuH,HuanQ,etal.UsinSatial Y gggp
PrincilestoOtimizeDistributedComutinfor pppg ]EnablinthePhsicalScienceDiscoveries[J.The gy :AcademoSciences,2011,108(14)National yf 54985503 -
[]3anSA.CberGISFrameworkfortheSnthesis W gyy
,G,aofCberinfrastructureISndSatialAnalsis ypy[]J.AnnalsotheAssociationoAmerican Geo ff g- ():rahers,2010,1003535557-p
[],4risaboaN R,LuacesM R,Places Setal.Ex B -
loitinGeorahicReferencesofDocumentsina pggp GeorahicalInformationRetrievalSstem Usinan gpyg ]asedIndex[J.Geoinormatica,2010,Ontolo-B gyf():143307331-
[]:T5oodchildM F.CitizensasSensorsheWorldof G
],VolunteeredGeorahJ.GeoJournal2007,69 gpy[():4211221-
[]6oodchildM F,GlennonJA.CrowdSourcinGeo G -g
:A rahicInformationforDisasterResonseRe -gpp[]searchFrontierJ.InternationalJournaloDi f g-():italEarth,201033231241 -
[]7hanT,TsouM H.DeveloinaGridnabled Z -Egpg
SatialWebPortalforInternetGIServicesandGeo -p
[]satialCberinfrastructureJ.InternationalJour- py
于地理数据和地理信息,运用空间分析、空间建模和空间优化等理论方法获取认识和改造现实世界智慧和能力。G的知识、IS技术的发展让空间思维越来越容易使用,GooleEarth的风靡实际上 g也是空间思维的胜利。
可以预计,大数据是未来十年空间分析研究空间分析将更多地依赖从复杂、多的新的驱动力,
变的数据流中实时获取,更多的空间分析也将依赖高性能计算变得实时和准实时。一些研究人员理论推导、计算仿甚至认为大数据是继试验研究、
[23]
,真后的“第四种科学范式”将显著加快和促进
工程领域的创新步伐。在这种情景之下,作科学、
为科学研究本质的“空间思维”将显得尤其重要。
4 结 语
以地理信息系统、遥感、全球定1990s以来,
位系统为代表的空间信息技术获得飞速发展。当前,应对全球变化和实现可持续发展已经成为当地理信息技术对于这两今世界的两大重要议题,
大议题的解决有着重要的应用前景。在全球变化和可持续发展研究中,涉及地理学、经济学、心理人类学、社会学等多个领域,人地关系也即人学、
与自然的关系是其中的核心。
全球变化和可持续发展是针对地球和局部的系统建模,地球本身作为一个开放的复杂巨系统,涉及要素众多,时空变化剧烈,建模过程非常复杂。地理信息科学的一大优势就是可以在分析过程中集成不同领域专家的智慧,通过定量的空间分析、建模和优化,以期让各个行业的专家达成共识,最终做出决策。
naloGeorahicalInormationScience,2009, f gpf():235605630-
[]8anC,RaskinR,GoodchildM F,etal.Geosa Y -gp
:P,PtialCberinfrastructureastresentandFuture y[],J.ComutersEnvironmentand UrbanSstems, py():2010,344264277-
[],W9rihtDJanS.TheEmerenceofSatialC W -gggpy
berinfrastructure[J].The NationalAcademo yf ():Sciences,2011,1081454885491 -
[]G,G,Wu,10onJianaenJinHuaietal.The gyggy
9卷第6期 第3张晓祥:大数据时代的空间分析
659
TechnoloonGeosatialServiceWebandItsDe -gyp ]veloment[J.JournaloGeomaticsScienceand pf (:龚健雅,耿晶,Technolo2013,304)353360(-gy,吴华意,等.地理信息资源网络服务技术及其发展[]():)J.测绘科学技术学报,2013,304353360-]G[11oodchildF M.GeorahicalInformationScience gp
[]J.InternationalJournaloGeorahicalInor- f gpf():mationScience,1992,613145 -
[]H:T12aininRP.SatialDataAnalsisheorand gpyy
M].Cambride:CambrideUniversitPractice[ ggy,Press2003
[,R13]Fotherinham ASoersonPA.GISandSatial ggp
[]AnalticalProblemsJ.InternationalJournaloGeo- yf ,():rahicalInormationSstems,199371319 -gpfy[]W[:14anJinfen.SatialAnalsisM].BeiinSci -gggpyjg
,(王劲峰.空间分析[encePress2006M].北京:科 )学出版社,2006
[]F,15otherinham ASBrunsdonC M,CharltonM.Quanti -g
:tativeGeorahPersectivesonSatialDataAnalsis gpyppy[:,,M].LondonSaePublicationLtdSae2000 gg[]T16orrensP M.ProcessModelsandNexteneration -g
]InformationTechnoloJ.GIS BestGeorahic gy[gp
[:mentalModelinwithGISM].OxfordOxfordU- g ,niversitPress1993:488y
[18]GoodchildM F,SteaertLT,ParksBO,etal. y
:andEnvironmentalModelinProressandReGIS -gg[:,searchIssuesM].HobokenJohn Wile&Sons y 1996:504
[]C19larkeKC,ParksBE,ParksBO,etal.Geo -
rahicInformationstemsndnvironmental S a Egpy:,M].NewJersePrenticeHallPressModelin yg[2001:306
[]T20onD,MurraA T.SatialOtimizationinGe -gypp
[]orahJ.AnnalsotheAssociationoAmerican gpyff ,():Georahers2012,102612901309 - gp
[]K21eithCC,BaumartSR.TheDeartmentofGe -gp
,orahattheUniversitofCaliforniaSantaBar -gpyy :H,Cbaraistorurriculum,andPedaoJ]. yggy[
YearbookotheAssociationoPaciicCoastGeo ff fg- rahers,2004,66:95113-p
[]G22oodchildM F,JanelleDG.TowardCriticalSa -p
tialThinkinintheSocialSciencesandHumanities g [],():J.GeoJournal2010,751313-
[]T23onH,StewartT,KristinT.TheFourthPara -y
[/dim:DataIntensiveScientificDiscoverEBOL].- gy:////research.microsoft.comenuscollaborahtt--p//,tionfourtharadim2009pg
Practices:Essason Georahand GIS,2009,31 ygpy ():26375-
[]G17oodchildM F,ParksBO,SteaertLT.Environ -y
SatialAnalsisintheEraofBiData pyg
1
ZHANG Xiaoxiang
,H,N1 InstituteofGeorahicalInformationScienceandEnineerinohaiUniversitanin210098,China gpggyjg
:,earsAbstractInrecentBiDatahasbeenincreasinlusedtoreferthecomineraofinformation yggyg
,,exlosion.Industracademiaresearchandovernmentsectorsallhaveaidmoreattentiontobi pygpgdata.Thisaerrovidesacomrehensivereviewonthecharacteristicsofandrecentadvancesinbi ppppg
,,,dataandsatialbidata.SecificallthreecoreconcetsinGISciencessatialanalsissatial pgpyppyp ,modelinandsatialotimizationareaddressedanddiscussedfromthetheoreticalandmethodoloi -ppgg
,calersectives.Furtherthesatialhilosohandsatialthinkinunderlinthesatialtheories pppppypgygp andmethodoloiesareinvestiated.Thisaerendswithadiscussionoftheoortunitiesandchal -ggpppplenesfortheGISciencesinaneraofbidata. gg
:;;;;Kewordsbidatasatialanalsissatialmodelinsatialotimizationsatialhilosoh gpypgpppppyy
:,,:AuthorZHANGXiaoxianPhD,associaterofessorsecializesinsatialanalsisandmodelin.Emailxiaoxianhu.edu.cn @hgpppygg:,NFoundationsuortTheNationalNaturalScienceFoundationofChinaos.41201394,41201117. pp