大数据时代的到来打破了数据的垄断,信息源的扩大化和丰富化是大数据时代的重要特点。在可以预见的未来,大数据将遍布城市各个角落,不管是人们的衣食住行,还是城市的运营管理,都将在大数据支撑下走向“智慧化”,而大数据将为智慧城市提供“智慧引擎”。
当前国内许多城市出现 房价持续攀升、中小企业融资难等严重问题,其中一个原因就是数据信息的不对称,导致投资对象过于单一,迫使大量流动资金只能流入房地产领域。同时,随着中 国城镇化建设的不断推进,城市综合管理能力严重滞后。在可以预见的未来,大数据将遍布城市各个角落,将广泛应用于医疗、金融、电子商务、物流和互联网等五 大产业领域。为了满足人们在城市生活的平安、健康、宜居、通畅等方面的需求,需要构建一个完整的信息系统,这个信息系统实际上是包括视频传感、物联网系 统、网络和整个决策系统的一个庞大的系统,这样的系统称之为“智慧城市”,据估计,智慧城市与大数据技术结合将带动数千亿元的经济收益。
一、 智慧城市推动大数据概念
据统计,目前我国常住 人口城市化率已达到50%,逐渐形成了以北上广深等特大城市为中心的,多层次、功能互补的城市群。国际上主流学者认为一个较为理想和稳定的城市人口占总人 口的比例应在75%左右,所以在未来较长时间内,中国城市化仍处在大规模加速过程中,据估计未来中国城市化进程还将延续30年。这一趋势伴随着城市化进程 和城市体系与空间分布的快速变化,除此之外,社会管理问题也越来越突出,例如候鸟式劳工迁移问题,交通效率快速下降,空气、淡水、食品安全等问题。如何将 日益丰富的各类信息资料,通过处理来积极地影响城市正常运行是一个主要问题。智慧城市结合大数据将是应对上述问题的现阶段最佳解决方案。
从智慧城市的体系结构 来看,由于智慧城市的基础在于物联网技术,因此智慧城市体系结构和物联网的体系结构相类似,也可分为感知层、传输层、平台层、应用层。智慧城市相对于数字 城市来说,最大的区别在于对感知层获取的信息进行了智慧的处理,因此也可以认为智慧城市是数字城市的升级版。由城市数字化到城市智慧化,关键是要实现对数 字信息的智慧处理,其核心是引入大数据处理技术。
何谓大数据?在一个城 市中,海量的数据无时无刻不在产生,网站搜索购物过程中搜索引擎公司会记录下你的搜索记录;驾车过程中,电子导航系统会自动定位并向你发出指示;去医院就 诊过程中各种仪器所记录的病例档案;手机通讯过程中留下的联系人、通话记录等信息,这些就是“大数据”。
二.智慧城市与大数据实践经验
智慧城市是在数字城市、平安城市等基础框架之上建立的全新实体,通过物联网将现实世界与数字世界进行有效融合,自动和实时地感知现实世界中人和物的各种状态和变化,由云计算中心处理其中海量和复杂的计算与控制,为城市管理和公众提供各种智能化的服务。
从国家政策来看,中国 “863计划”智慧城市项目总体技术体系架构在科技部863计划“智慧城市(一期)”项目的支持下,863计划智慧城市项目(一期)总体组提出了“六横两 纵”的智慧城市技术框架。“六横”层层递进,最下层的是城市的感知层,再是传输层,再上面依次分别是处理层、支撑服务层、应用服务层,最上面是智慧应用 层,贯穿全局的是安全保障体系以及标准与评测。
而要真正实现智慧城市,必须引入大数据技术,主要包含三大方面的需求,通过以下三个方面才能实现海量数据的搜集、处理、加工、分析,并真正作用于具体细分行业:
1. 大数据融合技术
我国智慧城市建设面临 的重大挑战之一,是城市系统之间由于标准问题无法有效集成,形成信息孤岛。因此,在大数据融合技术领域,一方面要加强大数据标准建设,另一方面要加强海量 异构数据建模与融合、海量异构数据列存储与索引等关键技术研发,为给予底层数据集成的信息共享提供标准和技术保障。
2. 大数据处理技术
大规模数据在智慧城市系统流动过程中,出于传输效率、数据质量与安全等因素的考虑,需要对大规模数据进行预处理。大数据处理技术往往需要与基于云计算的并行分布式技术相结合,这也是目前国际产业界普遍采用的技术方案。
3. 大数据分析和挖掘技术
大数据分析与挖掘技术为智慧城市治理提供了强大的决策支持能力。相比于大数据融合和处理技术,大数据分析与挖掘技术更为复杂,是国际学术界和产业界面临的极具挑战性的技术难题。
随着大数据技术的不断发展,以及行业用户对大数据技术的需求日渐明显,大数据行业应用遍地开花。笔者通过对海康威视在智慧城市大数据应用的探索,分享一些国内外的实际案例供读者借鉴。
1. 国内的智慧城市
2013年3月,北京市的“智慧朝阳服务网”正式上线。通过大数据技术的处理、分析手段,从支撑库提炼出数据后发送到服务管理系统,然后通过服务门户,包括微信、微博、移动应用、服务网站、机顶盒等多元化的方式与不同的用户群体进行沟通。
2. 国外的智慧城市
瑞典首都斯德哥尔摩市政府在通往市中心的道路上设置了18 个路边控制站,通过使用RFID 技 术以及利用激光、照相机和先进的自由车流路边系统,自动识别进入市中心的车辆,自动向在周一至周五(节假日除外)6 :30 到18 :30 之间进出市中心的注册车辆收税。通过收取“道路堵塞税”减少了车流,交通拥堵降低了25%,交通排队所需的时间下降50%,道路交通废气排放量减少了8% —14%,二氧化碳等温室气体排放量下降了40%。
3. 智慧医疗
英特尔协助用友医疗制 定了基于英特尔大数据解决方案的区域卫生数据中心建设目标,在锦州区域卫生数据中心形成了完整的大数据解决方案。经过反复测试和调优,这一区域卫生大数据 计算架构可以满足海量数据(一亿条以上记录数)的高并发检索和实时数据分析的性能要求,满足了“智慧”的大数据需求。
4. 智慧警务
通过充分利用云计算、物联网、大数据和视频智慧分析技术、GIS(地理信息系统)、GPS(全球定位系统)、移动通信网络、移动警务智能系统、数字集成等前沿科技,实现警务工作现代化、智能化、流程化、可视化。
5. 智慧交通
郑州建立智能公交系统,使公交车信息就在地图上显示出来:如最近的一辆公交车还有5 分钟到站,满员;下一辆公交车还有10 分钟到站,有空座,可以选择乘坐;下楼2 分钟,走到站台1 分钟,余下7 分钟,还有时间坐下喝杯热茶。
6. 智慧消防
广州建立智能消防系统,报警人只需拨打119,系统将立刻定位报警人当前位置,并调用位置所在区域监控摄像头,确定灾情地点和火势情况。
7. 智慧城市规划
在城市规划方面,通过对城市地理、气象等自然信息和经济、社会、文化、人口等人文社会信息进行挖掘,可以为城市规划提供强大的决策支持,强化城市管理服务的科学性和前瞻性。
三.安防行业的大数据如何应用
2012年7月21日,北京遭遇了一场61年不遇的特大暴雨。北京市区路段严重积水、交通中断、市政水利工程多处受伤、众多车辆被淹造成人员伤亡的场面仍在脑海中记忆犹新。灾难过后,城市管理者意识到城市的安防必须长远规划、着眼于长效根本的解决之道,亟待综合治理。
安防行业由于受到自身业务特点及行业内厂商研发方向的限制,大数据应用在安防行业的进展一直不够深入。但安防行业与大数据的契合度较高,尤其是安防的视频监控数据、智能交通数据关注度越来越高。例如海康威视将大数据应用于视频图像的采集、传输、存储、管理、展示和挖掘等方面,解决了海量数据的存储、调取和管理难题,从根本上提升了安防系统的管理效率,极大提升了平安城市解决方案的价值和体验。
在安防与防灾领域,通 过大数据的挖掘,也可以及时发现人为或自然灾害、恐怖事件,提高应急处理能力和安全防范能力等。除了对历史数据的挖掘采集,实时数据的挖掘也是未来的一种 趋势。通过对城市地理、气象等自然信息和经济、社会、文化、人口等人文社会信息的挖掘,可以为城市安防提供强大的决策支持,强化城市管理服务的科学性和前 瞻性。海康威视将大数据流式计算框架Spark应用于智能分析技术,极大地提高了实时性分析效率,为安防领域与大数据技术结合提出了方向。
此外,数据处理服务通 过智慧城市公共支撑平台对数据进行分析,从中挖掘价值,寻找关系。数据处理技术包括机器学习、数据挖掘和复杂事件处理等。传统的机器学习、数据挖掘在处理 面对海量、异构的智慧城市数据时效率低下,通过分布式计算框架改进,提升处理速度。根据数据处理要求的实时性与否,可分离线处理和在线处理。应急防灾类智 慧城市应用具有实时、在线处理的要求,数据处理服务要及时预测结果,为城市管理者提供决策支持。对于离线处理的数据,通常保存在分布式数据库和分布式文件 系统,均可基于Hadoop MapReduce等分布式计算框架分析该类数据,并可通过ApacheMahout等数据挖掘工具对数据进行深入研究。
对于需要在线实时处理 的数据,如流式数据,其数据处理的方法与离线数据区别很大。多个传感器按照小周期采集的数据、多个摄像头采集的视频数据等属于流式数据。流式数据与离线处 理的数据最大区别是数据处理要快,数据处理要及时。复杂事件处理(Complex Event Processing,CEP)技术是一种数据处理引擎,来捕捉不同来源的各种简单事件或事件流,根据预先定义的事件模型,实时、高效地发现海量事件之间 的关系或推断出更有意义的事件,提供决策依据。
四、 汲取国外经验,加大软件建设力度
欧美发达国家在智慧城市的建设上非常重视软件建设,只有掌握了数据,才能做出合理的分析,才能总结出公共安全的客观规律,真正提升应急管理能力,进而根除城市安防交通、灾害等一系列的问题。近几年国内在智慧城市的建设上只重视硬件建设,而忽视软件和信息系统建设。智慧城市的建设,需要软硬结合,我国应该汲取国外的先进经验,加大软件建设的力度,真正掌握建设智慧城市的主动权。
大数据时代的到来打破了数据的垄断,信息源的扩大化和丰富化是大数据时代的重要特点。在可以预见的未来,大数据将遍布城市各个角落,不管是人们的衣食住行,还是城市的运营管理,都将在大数据支撑下走向“智慧化”,而大数据将为智慧城市提供“智慧引擎”。
此外,应该明确智慧城 市是城镇化进程的下一个阶段,是城市信息化的新高度,是现代城市发展的远景。无线城市、数字城市、平安城市、感知城市是智慧城市的必要条件。诚信城市、绿 色城市、健康城市、人文城市是智慧城市应有之意,智慧城市产生大数据,大数据反过来支撑智慧城市。智慧城市与大数据技术相结合一定会有璀璨的明天!