请搜索ManBetX平台-万博体育客户端-狗万体育网站找到我们!

云计算

什么是大数据技术

文字:[大][中][小] 2019-05-17 11:05     浏览次数:    

  原题目:大数据若何改善社会管理:外洋“大数据社会福祉”活动的案例阐发和自创

  基金项目:国度社会科学基金严重项目“群体举动出现机理及危害辨识钻研”(编号:11教诲部人文社科基金正常项目“基于社交收集的老年人康健传布使用钻研”(编号:14YJC860029)

  作者:吴湛微,上海交通大学媒体与设想学院讲师;禹卫华,上海交通大学媒体与设想学院副传授,上海 200240

  本年,国务院印发《推进大数据成长步履纲领》明白指出大数据将成为提拔当局管理威力的新路子,提出:成立“用数据措辞、用数据决策、用数据办理、用数据立异”的办理机制,…,鞭策当局办理理念和社会管理模式的前进。

  与此同时,外洋学术界和当局办理部分近年来也倡议了一项“大数据社会福祉”(big data for social good)活动。与我国的方针类似,该活动也测验测验将大数据手艺与社会管理相连系,以数据驱动的体例应答当代社会中面对的一些庞大问题,促进社会福祉。在当局层面,华盛顿、伦敦、慕尼黑、纽约等做了不少摸索,顺利使用大数据为当局管理问题供给了支撑;在钻研层面,ACM、IEEE等国际学术结合体设立了专题集会会商大数据与社会管理的连系;在社会层面,企业、高校、公益组织等起头踊跃摸索使用模式。咱们以为总结这些初期摸索的经验将有助于我国各级当局更快更好地成长大数据社会管理。

  别的,咱们发此刻目前与大数据当局管理有关的钻研文献中,关于宏观层面和理论建构方面的钻研已有不少[1][2][3],但涉及微观层面能对具体操作供给自创的案例总结还不充实。因而,本文测验测验从案例钻研出发,总结大数据能够改善社会管理的一些使用范畴、模式和方式,以及实施历程中值得留意的一些问题,但愿能为大数据社会管理实践供给更多可现实操作的经验自创和立异思绪。

  咱们从公然材猜中普遍网络了261个案例,并通过三次筛选最终总结了41个案例。

  通过对案例集的元数据进行统计,咱们起首识别了目前外洋大数据社会管理的次要关心范畴,包罗:(1)社会平安(31.7%),次要涉及治安、消防、食物平安、交通和灾祸等,次要关心点是通过大数据实现平安事务的晚期发觉和介入、削减损害;(2)开放数据接口(17.1%),次要涉及通过可编程接口获取数据的方式,次要关心点是支撑更大都据产物和数据办事的开辟和使用;(3)都会扶植(14.6%),次要涉及街道、大众设备等选址规划和维护,次要关心点是通过大数据提高都会扶植的市民参与度和对劲度;(4)社会保障(12.2%),次要涉及为弱势人群供给协助,次要关心点是通过大数据发觉最必要协助的对象及整合能够供给协助的社会气力;(5)儿童与教诲(9.8%),次要涉及为儿童发展和教诲供给支撑,次要关心点是通过大数据更无效地分派教诲资本或定位坚苦学生协助其完成学业等;(6)就业与创业(7.3%),次要涉及为就业和创业供给支撑,次要关心点是使用大数据识别供需不均衡并踊跃加以指导,如填补“技术沟”等;(7)情况与可连续(7.3%),次要涉及低落能耗和污染,次要关心点是操纵传感器等数据识别和排查污染和耗能高发地域,以便晚期发觉和介入。

  除去作为底层办事的开放数据接口扶植之外,在使用方面,社会平安、都会扶植和社会保障问题遭到最多关心。总计约三分之二的顺利案例来自这些范畴,既申明这些问题急需处理,又显示了大数据能够在此中有所作为。

  通过对案例集的进一步阐发,咱们识别了外洋大数据社会管理的一些常用模式,能够作为自创。

  这一模式就是将已有的数据通过一个开放的收集平台免费供给给所有必要的人。开放数据不单能够给市民间接供给办事,万博体育客户端也可认为其他当局部分、科研机构以及公益组织供给进一步整合和操纵数据的机遇,从而给社会管理供给直接协助。因而,扶植开放平台曾经成为列国大数据社会管理的根本模式。按照开放数据统计核心(open data census)的统计[4],全世界已有97个国度或地域成立了开放数据平台,依照其评分中国目前排在57位,美国排在第8位,英国位列第1。从咱们网络的案例来看,美英采纳的体例都是各都会别离扶植大数据开放平台并由国度常设机构统筹各地数据成立同一检索平台。以美国为例,纽约市的DataBridge平台、洛杉矶市的LAOpenData平台等别离担任各自的开放数据,而美国总务署担任天基层面的数据统合平台data.gov扶植。这种以市为依靠、以国度常设机构统合的模式实行起来比力矫捷,但也有一些问题,就是各市和地域的数据平台扶植因经济程度和本地政策的差别而发生较大不同。在比来的美国开放数据评分中,洛杉矶、纽约和旧金山是排列前三的都会,评分险些是排名靠后的都会(如伯班克、休斯顿等)10倍以上。因而,也有一些钻研者提出这种“数据沟”(data gap)的征象是不是会导致地域差别进一步扩大。[5]本案牍例,无论是彻底由当局自主实施、仍是由钻研机构、非亏本组织或意愿者参与开辟,都利用了一种或多种开放平台数据源,此中17%的案例特地努力于开放数据平台的接口研发,ManBetX平台表现出开放平台对付推进数据操纵的主要价值。

  这一模式将原始大数据加工成能注释、预测社会征象的精辟数据,用于协助决策者控制更片面的消息或更无力的证据,从而加强决策的科学性。通过度析案例集,咱们发觉有两类根基方式被大量利用。

  第一类是联系关系,即普遍网络可能与待注释征象有关的大量数据然后筛选出联系关系度最高的一组数据或计较成一个目标,以此为根据辅助决策。比方,为果断哪些修建物容易产生火警,什么叫大数据分析纽约消防局筛选了消防、修建、治安、经济、都会扶植等多个部分的数据,从中找到60余个与火警产生联系关系最大的数据,并以此为根据计较了修建火警伤害指数。利用该指数,消防局调派视察职员对高危区域进行一样平常排查,无效低落了火警风险。别的,洛杉矶、旧金山等地操纵用电、用水、垃圾和赞扬等糊口数据与栖身举动的联系关系性来排查修建不法改装和群租举动,为治安和修建危害管理供给根据;芝加哥大众康健部分操纵餐厅的汗青记实、市民赞扬、贸易数据、周边情况等数据对餐厅的食物平安进行排查;伊利诺伊州利用医疗数据、妊妇群体的汗青数据和地域经济社会数据来联系关系最必要协助的年轻妊妇,提高社会福利并改善生育率,等等。

  第二类是预测,即按照现无数据预测将来可能产生的事务,并提前做好预案。比方,多地劳动部分按照就业、企业、经济和教诲数据阐发劳动技术的供需趋向,指导企业、就业者和教诲者提前规划和实施技术培训、弥补“技术沟”,以到达充实就业的目标。别的,波士顿教诲部分通过成就、赞扬、奖学金和学糊口动等数据来预测学生停学的可能性并提前干涉;芝加哥大众教诲部分按照学生、学校和西席数据,连系地域治安、室第、生齿和经济成长数据预测辖区各学校的招生人数,并提前划拨大众教诲经费;纽约将全市33万余栋修建物分为2400类并别离预测了火警产生环境和拟定针对性救火方案,无效提高了救火效率、低落了火警丧失,等等。

  在本案牍例集中,有59%的案例为大数据决策办事,此中28%利用了某种联系关系方式,18%利用了某种预测方式,13%同时利用了两种方式。

  社会管理总体上有益于社会福祉,但也不成避免会对一部门群体带来短期好处的丧失。大数听说服操纵数据的主观性,以对公然大数据的出现为根据,指导泛博市民自行从全体和持久的角度进行理性思虑和辩说,有益于得到更普遍的关心和支撑,改善当局管理的外部情况。比方费城利用一种称为Textizen的使用向市民的手机发送短信通知目前正在制订的政策律例、并送达查询造访问卷,查询造访成果被作为施政的根据以可视化体例在网站发布,以求凝结社会共鸣。别的,纽约市利用一种LBS使用让市民在舆图上提出提议,以确定大众自行车租赁站的设置地址,得到普遍支撑;佛蒙特州按照位相消息向市民推送粮食捐献政策和捐献点位置,说服市民捐献保质期内可能吃不完的食品,等等。

  大数据手艺也能够用于网络社会数据,比方通过社交收集,领会群众概念,或改善群众关系,并有益于说服。Kosinski等发觉仅通过社交网站(如facebook)的点赞数据即可猜测用户的春秋、性别、种族、政治概念、宗教立场等,从而能够按照这些数据有针对性地投放细心设想的说服消息。[6]雷同的方式已在美国大选中顺利使用。

  社会管理的政策设想和施行都必要大量的人力物力,一些使命可能极为细琐繁复,彻底依托当局气力往往难以完成或者效率不高。这一模式通过策动群众参与大数据扶植,操纵群体聪慧(wisdom of crowd)来填补当局资本的有余。群体聪慧能够从数据、手艺和人力资本等多个方面填补当局的有余,对大数据社会管理起到极大的支撑感化。比方,波士顿市经常下雪,消防栓很容易被雪埋住找不到而耽搁消防使命。因为消防栓浩繁,一样平常维护光靠消防局明显人手有余。因而波士顿消防局开辟了一个称为“认领消防栓”的使用,邀请住民认领一个室第左近的消防栓,协助除雪等一样平常维护,遭到住民的踊跃相应。雷同的案例有,什么是大数据技术英国借助群体聪慧维护门路和从属设备;纽约策动群体聪慧操纵大众空间设想情况艺术和扩大绿化;芝加哥操纵群体聪慧协助流离汉和孤寡白叟等。别的,多地当局以支撑数据竞赛、事情坊和夏令营等情势策动高校钻研机构、公益组织和有前提的个别志愿者基于开放大数据设想、开辟数据产物和使用,办事社会,均取得优良结果。

  在案例集中,大数据应用领域案例有多达82%的案例利用了某种情势的群体聪慧,74%的案例中利用了高校、行业组织等供给的开源软件。

  从上述总结来看,“大数据社会福祉”活动与《步履纲领》中提出的“用数据措辞、用数据决策、用数据办理、用数据立异”思绪不约而合。所涉及的案例能够视为对《步履纲领》实现方式和操作细节的无益弥补,因而拥有较强的自创价值。别的,通过比力咱们也发觉了一些容易轻忽的问题,值得在将来成长历程中赐与关心。

  因为天然和社会征象的庞大性和遍及接洽性,要精确形容和注释各类庞大征象,就必需尽可能汇集有关的数据,这就导致了数据不竭变大,从而发生了大数据。然而,数据变大并非大数据的最终目标而仅仅是两头产品,这是由于:过于复杂的数据无奈为人类间接利用,也就不成能对人类决策发生协助。因而,在数据变大的同时,还必需思量让大数据变小的方式,以便于决策者利用。通过钻研案例集,咱们总结了两种让大数据变小的常用方式。

  第一种是从对数据的加工入手,包罗对数据进行过滤、排序、压缩、计较等操作。颠末加工,有时以至能够用一个指数来表达海量数据的焦点意思。比方,谷歌将有数搜刮和人群勾当数据加工为一个风行病指数、纽约将大量修建和火警有关数据浓缩为一个火警伤害指数等都表现了这一思绪。只要将大数据加工到足够小,才能真正为决策者所用。

  第二种是从对数据的表达入手,次如果对数据进行可视化处置。以数字情势出现,人类一次只能理解一个数据;但以图像情势出现,人类一次能够理解良大都据。因而操纵人类认知威力的特点,采用可视化情势出现数据,也是让大数据变小的无效方式。在本文利用的案例集中,除去纯真的数据接口以外,有高达94%的案例利用了数据可视化。

  要用好大数据,数据变大(原始数据堆集)和数据变小(数据处置和数据可视化)实在缺一不成,但目前我国的大数据平台仍遍及逗留在能“大”不克不迭“小”的形态。

  截至10月15日,我国的上海、北京、贵州三大数据平台别离供给491类、303类和22类(大类,未细分)开放数据,均仅供给数据文件。而美国洛杉矶、纽约和旧金山三个数据平台别脱离放数据1187类、1250类和786类。单从数量来看,中外数据平台的原始数据相差并不大。但外洋数据平台遍及供给数据排序、过滤、计较等阐发模块和多种可视化东西,让大数据变小,便于理解和利用。比拟之下,国内平台仅供给原始“大数据”,正常公家很难无效使用,导致操纵率很是低。均匀用户拜候量的比拟也证了然这一环境:国内数据平台的均匀拜候量只要数百次,约为外洋同类平台的1/100到1/1000。

  除了数据平台以外,大数据更有价值的一壁是将数据深度加工后融入一样平常糊口,这就必要开辟多种多样的高可用性数据使用和办事。这些使用和办事能够添加数据平台的利用率,提高社会管理程度,改善人们的糊口,并缔造新的就业和成长机遇。按照北京、上海、贵州三个大数据平台官方网站显示,各自的使用数量别离为15个、75个和6个。作为比力,仅2015年纽约市举行的NYC BigApps角逐就搜集到452个使用。下载量的差距更大,最大可达数百倍。颠末咱们的阐发,国内使用大多利用单一数据下载量的差距更大,最大可达数百倍。需求阐发和界面设想也具有一些有余之处,形成可用性不高。别的,数据接口办事的差距也较大,如纽约市供给11种,而国内平台仅北京供给了1种。

  不处理好使用和办事的问题,重金制造的开放大数据平台很容易“空心化”,难以对社会管理和社会福祉发生应有的支撑。这个问题该当惹起注重。

  我国大数据平台缺乏使用的近况与未能踊跃操纵群体聪慧有很大关系。大数据平台扶植次如果手艺问题,能够通过一两个手艺过硬的企业来完成。但大数据在社会各范畴的使用则完美是另一回事,纯真依托个体企业不成能理解变幻无穷的社会问题和群众需求。因而外洋当局大数据管理历程中遍及测验测验引入社会群体的气力来协助网络数据、识别需求、开辟使用以更好地办事社会,即群体聪慧。目上次要有三种促进体例:

  第一种是当局本身倡议大数据使用竞赛。比方,美国当局为了激励利用data.gov的开放数据,特地成立了challenge.gov网站,连续公布数据竞赛,最高嘉奖达2000万美元。除此之外,美欧各都会也经常倡议数据使用竞赛。最早的一次是2009韶华盛顿市耗资5万美元组织确当局开放大数据APP开辟大赛,在30天内搜集到47款使用。这些使用厥后成长成为估值230万美元的各类软件产物。[7]

  第二种是操纵高校钻研机构学术劣势创服务情坊、组织夏令营。目前,哈佛大学、芝加哥大学、华盛顿大学等高校都经常组织“大数据社会福祉”事情坊和学术夏令营并供给专项资金支撑。这些事情坊和夏令营与地点地当局竞争,全社会搜集参与者,针对具体的社会管理问题设想开辟了很多顺利的数据产物,并普及了数据头脑和数据产物的设想开辟方式。

  第三种是号召行业组织和公益机构操纵开放大数据。比方,等互联网组织面向社会福祉倡议专题勾当并供给奖金;Datakind、Bayes Impact等非红利机构努力于鞭策大数据使用于改善糊口程度等,很好地填补了当局和企业未能实时关心的一些社会问题。

  这三种体例中,目前仅第一种在国内获得过使用,且规模较小,未能惹起社会关心。善用群体聪慧,能够通过小投入牵动大收益,值得予以注重。

  本文的钻研申明,我国的大数据社会管理还方才起步,什么是大数据手艺具有很大的提高空间。但我国各级当局的施行力很强,只需能将扶植殷勤和对顺利经验的自创连系起来,置信我国的大数据社会管理必然能获得倏地成长,并对提高全社会的福祉起到应有的鞭策感化。

  [1]于浩.大数据时代当局数据办理的机缘、应战与对策[J].中国行政办理,2015(3).

  [2]郭建锦, 郭建平.大数据布景下的国度管理威力扶植钻研[J].中国行政办理, 2015(3).

  [3]John Carlo Bertot,郑磊,徐慧娜,包琳达.大数据与开放数据的政策框架:问题、政策与提议[J]. 电子政务,2014(1).

返回上一步
打印此页