专家论大数据|专家:中国如何应对大数据时代的挑战

⑴ 正确运用避免陷入大数据的“陷阱”

正确运用避免陷入大数据的“陷阱” 通常,对于新的IT关键词必定会出现“反对派”。最近,“大数据”就成为被攻击的对象,诸如“大数据失败论”等论调也明显增加。 业界对大数据抱着极大的期待,这一点从大量的大数据研讨会和展示会风潮就足以证明。这些年来,除了云计算浪潮,缺乏热烈话题的IT业界而言,大数据是期待已久的大型关键词,也许大数据会成为恢复业界活力的强心剂。 与此同时,日本政府提出新的IT战略–“将行政数据向民间开发,以便不断创造新商务”。也就是说,如何有效利用数据,推动商业成功,业已成为国家战略的一环。 虽然笔者既不是强烈的赞成派也不是反对派,但通过以往的采访经验,对处理数据的难度有着清醒的认识。更何况涉及到大数据,其难度显而易见。 笔者周边很多人对大数据也有着各种不同的看法,提出各种问题。当然这些对于IT业界的读者而言,都是理所当然的事情,笔者说这些也许是班门弄斧了。但是,正是这些众所周知的道理通常也是非常重要不可忽视的。因此,下面笔者将重新提出大数据的“陷阱”,探讨如何才能避免运用大数据的失败。 是否真正需要大量的数据 首先,必须明确的一点是,是否真正需要大量的数据。 在一次活动中,一位统计分析的专家在谈到大数据时说:“本来统计分析学是如何通过少量的取样,去了解事务整体的学问。例如,电视的收视率调查就是一个典型的事例,这类调查就是通过极少的样本,来掌握日本全国的收视状况。如果目的明确,并不需要大量的数据。” 由于上述言论出自目前作为“数据科学家”备受瞩目的统计分析方面的专家之口,让笔者不禁大吃一惊。这就是说,只要有一定量的数据,无关数据数量,分析的结果并不会有很大的差别。如果果真如此,不禁让人产生怀疑,即到底大数据是为何而存在。 听到上述观点,使人感到大数据所面临的矛盾的应当不仅仅是笔者一人。本以为通过大数据分析,满怀期待能够发现以往没有认识到的新的东西,但有时其结果不过是已有所知的事实而已。如果企业为系统开发投入数十亿日元,得出的不过是证明资深职员“经验”的结论,这也未免让人难以接受。 正因为如此,就有必要重新考虑为何需要大数据这一问题。例如,企业需要明确通过将有交易往来的公司和社交媒体等本企业外的大量数据进行组合,是为达到何种目的等,即有必要事先制定大数据的目标。 数据的“质量”有无问题 第二点是由谁来维护大量的数据,即数据的“质量”如何能够得到保障。 笔者曾听说这样一件事。某企业的总经理每个月都会收到有交易往来的IT供应商的宣传(PR)杂志,但收件人的头衔不是“总经理”,而是他曾经兼任公司CIO时的头衔“常务董事”。虽然将头衔搞错,但还是都能收到,因此并没有太在意。但当这家IT供应商的总经理到公司进行礼节性拜访时,就提出了希望改一下头衔的想法。 而这家IT供应商的新的卖点是大数据,公司的总经理当场表示回去马上会进行修改。起初以为这点事情对于运营大数据业务的IT供应商而言不过是举手之劳,一定会进行纠正。但是,等到下一个月他收到的的PR杂志时,发现收件人的头衔仍然是“常务董事”。这位总经理通过两本PR杂志感到仿佛看到了大数据的现状,因此他非常失望地说:“归根到底IT供应商并没有维护顾客数据库”。 上述例子虽然是顾客数据,而不仅仅是顾客数据,说到大数据必然还需要处理很多各种各样的企业外部的数据。但是,这些数据是否是最新数据,其数据的精确度又如何等数据的“质量”就会非常重要。分析出处不明的数据将毫无意义。如果顾客数据不能随时进行维护,也就不会产生任何价值。不应当将当初以为是宝山的大数据,变成一座堆满垃圾的山。 是否忽视了现场职工的工作干劲 第三点就是企业不仅应当努力培养数据科学家,同时也需要提升现场职员的分析数据的能力。如果在店头等现场直接接触顾客的员工变得“擅长数字”,他们也能够常常通过数据考虑事情并进行判断,这样的企业必定会强大起来。 例如,有一家超市的店头销售员就从与顾客的对话中得到启发,通过购进新的商品或是改变商品陈列的方法,提升了销售额。又比如,在特快列车上负责销售的员工,发现似乎“可吸烟座位的咖啡畅销”,当他整理出不同列车的销售业绩,结果发现确实是如此。于是决定在吸烟车厢集中推销咖啡,结果咖啡的销售量明显增加。 当然,通过现场增加的销售额,也许和利用大数据获得的销售数字相比很小,而且其分析能力也远远不及数据科学家。但是即便如此,如果通过将这种方式横向拓展到其他现场,积累的数字也会非常可观。同时,最为重要的是,这种方式能够提升现场员工的工作动力。 实际上,某零售企业自从将其销售分析统一由总公司实施后,店头员工就失去干劲,甚至出现退职的员工。这说明只依靠上级的指令,则会降低现场的职业道德。因此,这家公司决定给予现场员工自由分析判断的职能,由此店头又重新恢复了活力。虽然大数据非常重要,但是如果将权限集中在某些部门,则会导致现场丧失工作干劲。 以上三点实际上不仅仅对大数据而言非常重要,而且同时适用于整个信息系统。大数据是IT业界期待已久的关键词,为使其成长壮大,就需要脚踏实地的努力,而不应被其华丽的部分所束缚摆弄。正因为如此,笔者认为提出的上述三点需要重新铭记心中。

⑵ 大数据时代带来更理性、更可靠的决策

大数据时代带来更理性、更可靠的决策_数据分析师考试

究竟是什么魔力,让“大数据”这一概念得到全球各国的普遍关注?到底什么是“大数据”?它能够在多大程度上改变我们的生活?在我们寻求对这些重要问题的解答时,牛津大学网络学院互联网研究所教授维克托·迈尔-舍恩伯格出现在我们的视野中;希望我们对他的采访,可以帮助读者们找到这些疑问的答案。

最近一段时间,“大数据”的热潮席卷全球,正如美国《福布斯》杂志所说的那样,如今,在浏览新闻网站或者参加行业会议时,想看不见或听不到“大数据”这个词几乎不可能。去年,美国6个联邦政府部门宣布将启动“大数据研发计划”,投资超过2亿美元以改进从海量和复杂的数据中获取知识的能力。同时,我国科技部发布的“‘十二五’国家科技计划信息技术领域2013年度备选项目征集指南”也把大数据研究列在首位。眼下召开的全国“两会”上,有全国人大代表提出要把发展“大数据”上升为国家战略。

究竟是什么魔力,让“大数据”这一概念得到全球各国的普遍关注?到底什么是“大数据”?它能够在多大程度上改变我们的生活?眼前对“大数据”的关注度是否已经过高了呢?在我们寻求对这些重要问题的解答时,英国牛津大学网络学院互连网研究所教授维克托·迈尔-舍恩伯格(Viktor Mayer-Schonberger)出现在我们的视野中,讨论“大数据”,他如果不是最合适的人选,也起码是合适人选之一。

20多年来,维克托一直致力于网络经济、信息与创新、信息监管、网络规范与战略管理的研究。还在“大数据”这一概念众说纷纭时,维克托就已进行了系统深入的研究,2010年,他在英国《经济学人》杂志上和数据编辑肯尼思·库克耶一起,发表了长达14页的大数据专题文章。称他为最早洞见大数据时代发展趋势的数据科学家之一,并不为过。

《经济学人》说,在大数据领域,维克托是最受人尊敬的全方位发言人之一;美国《科学》杂志说,若要发起一场关于这个问题的深入讨论,没有比他更好的发起者了。

除了理论研究以外,维克托还非常接近实战世界,早在上大学期间,他就先后成立了两家数据安全和制作反病毒软件的公司,而在他写就的《大数据时代》一书中,那些最前沿、最崭新的大数据应用案例,都得益于他多年来紧跟企业与商业应用的步伐。他的咨询客户中,不乏微软、惠普、IBM、亚马逊、脸书、推特、VISA等大数据先锋们。

目前,维克托还是欧盟互联网官方政策背后的重要制定者与参与者,尤为重要的是,他还任职过新加坡商务部、文莱国防部、科威特商务部等部门,特别熟悉亚洲信息产业的发展与战略布局。

希望我们通过电子邮件对维克托的采访,可以帮助读者们找到这些疑问的答案。

失去微观层面上的精确度,为的是获取宏观层面上的洞察力

文汇报:今天,“大数据”已经成为全球炙手可热的词汇,您是从何时开始关注它的?

迈尔-舍恩伯格:多年来,我一直致力于研究数据在信息经济的发展中所扮演的重要角色,我与肯尼思·库克耶(Kenneth Cukier,我的合著者)一起发布了一系列相关研究报告。大约三年前,在我自己组织的一次会议上,我俩都意识到“大数据”的存在已经不仅仅是一种炒作或者什么宏大的宣言了,而将实实在在地改变我们的工作、生活以及整个社会,于是,我们决定就此专题写一本书。

文汇报:那么在您看来,究竟什么是大数据时代?它和传统数据时代到底有什么差别?我们知道,像沃尔玛这样的公司早在多年前,就已经将大数据运用到了商业实践中。

迈尔-舍恩伯格:事实上,过去几个世纪以来,数据已经在科学家们制定决策的过程中扮演了一定的角色,而过去几十年间,这一做法又延伸到了一些公司的决策制定过程。但在大数据时代之前,数据是非常匮乏的,我们拥有的数据非常少。因此,我们的决策、我们构建的制度都是建立在这样一种数据匮乏的基础上。今天,一切变得非常不同,它体现在三个不同的方面,我们称之为“更多”、“更乱”和“相关性”。

文汇报:这三个特征也是您在《大数据时代》一书中非常强调的,它们甚至会颠覆我们过去的整个思维方式。您能否具体描述一下这到底是怎样的过程?

迈尔-舍恩伯格:好的。我所说的“更多”,是指围绕任何一个我们想要调查的特定问题,或者是需要我们回答的疑问,我们都可以比过去任何时候获取更多的数据。在大数据时代,我们可以利用海量的数据得到非常详尽的见解,这是传统方法所不能做到的。

可以这么说,大数据时代和传统数据时代的区别,就像分辨率在200万像素的旧数码照片,一下子提高到2400万像素那样。后者是一个非常非常大的文件,它可以提供更多细节。它可以让我们不断放大,看清楚小到颗粒状的细部,而具有较低分辨率的图像在这些细节方面就会非常模糊。

基因信息就是一个很好的例子。美国有一家叫23andMe的新公司提供个人的DNA测试分析,以发现一些疾病征兆。它的成本只有两三百美元,并提醒客户关注会发展成严重疾病的个人癖好。但是公司并不对每个客户的全基因组进行测序,而是针对已知特征的位点(经研究得知因某种疾病存在,而可能会出问题的DNA片段)进行比对。这意味着,当一个新的特征被研究发现时,23andMe公司就不得不再次对客户的DNA进行测序并建立更完整的档案。

苹果公司的史蒂夫·乔布斯尝试了非常不同的方法。他得了癌症后,就有了自己全部的基因密码,数十亿的碱基对测序。这花费了他超过10万美元的成本,但这可以让医生完整地洞察他的基因密码。每当药物由于乔布斯的癌症病变而失去有效性,他们就可以根据乔布斯特定的基因信息,寻找到有效的替代药物。遗憾的是,这也没有保住乔布斯的命,但是在这一过程中获得的数据,已经延长了他的生命。

由于技术创新,现在收集大量信息的成本变得越来越低。数年前,史蒂夫·乔布斯花费了六位数的金额才做到的事情,今天,不到1000美元就可以获得同样的服务了。

而“更乱”指的是,在小数据时代,因为数据是如此稀少,我们可以确保自己收集的每一个数据点都是非常准确的。相比较而言,大数据往往是凌乱和质量参差不齐的。但是,相比以高额代价来保证测量和收集少量数据的精确性,在大数据时代,我们将接受这种杂乱,因为我们通常需要的只是一个大方向,而不是努力了解一种现象的细枝末节。我们并不是要完全放弃精确性,我们只是放弃对精确性的热衷。我们失去微观层面上的精确度,为的是获取在宏观层面上的洞察力。

电脑翻译就是其中一个例子。1990年代,IBM的研究人员使用了一套非常精确的文件(加拿大议会记录的法语和英语版)来训练计算机。尽管计算机完全按照规则行事,但基于此的翻译质量却非常低。然后,谷歌在2006年开始介入这一领域,他们没有使用来自加拿大政府的几百万句标准翻译,而是使用随手可得的任何语言。他们在整个互联网上,利用数十亿页质量参差不齐的翻译,这些翻译不怎么标准——但是,这是一个小的权衡——他们能够使用的数据大大增加了,结果翻译质量反而提高了。与更少、更标准的数据相比,更多凌乱的资料完胜了。

“更多”和“更乱”组合到一起,产生了第三个特点,“相关性”,这也是大数据带给我们的最根本性的转变。我们的思维将从因果关系转向相关关系。至今为止的整个人类历史里,全世界的人们都在寻找事件发生的原因,探寻“为什么”。但我们对原因的执着探索往往带领我们走向错误的方向。所以,我们建议,在大数据时代,在许多情况下,我们可以仅仅寻找“是什么”,而不必完全理解“为什么”。例如,对于大数据的分析中,我们可以发现机器震动中一些非常微小的变化,这些变化表明机器将很快损坏。这使我们能够在部分机器零件报废前更换它们,这被称为“预测性维护”,它可以节省不少钱。但除了提高消费效率,“相关性”还可以做更多的事情。

比如对早产儿而言,即使他们长大成人,这些小宝宝仍旧是非常脆弱的,哪怕是遇上很小的感染。医生卡罗琳·麦格雷戈研究如何给这些婴儿最好的生存机会。使用大数据分析,每分钟可以搜集这些婴儿超过一千个数据点,麦格雷戈发现一个令人震惊的事实:每当这些早产儿出现非常稳定的标志时,他们的身体其实并不稳定,正在准备发病。有了这方面的知识,她就能在一个非常早期的阶段,确定婴儿是否需要药物治疗,从而挽救更多孩子的生命。

这是典型的大数据应用:医生麦格雷戈通过更全面的传感器,可以比以往搜集到更多的数据。她也接受,在这种情况下,并不是所有的数据都是准确的,从而也会导致她分析中存在不精确的可能。她把“为什么”这个问题放在一边,而用一种更务实的方式来提供帮助,她寻找“是什么”,这才是一个更好的预见感染的办法。

我们应该记住:大数据也可以挽救生命。

正确使用大数据,可以改善医疗、教育水平,促进人类发展

文汇报:大数据时代的到来,是否将会引领新一轮的产业革命?我们应该怎样客观地看待它的价值?

迈尔-舍恩伯格:大数据将会极大地改变社会生活的方方面面,但是它的价值能否等同于工业革命,这个问题目前还不好说。我个人猜想可能不能,原因是在19世纪初工业革命刚刚开始的时候,经济发展还处于非常低的水平上,所以相对来说,当时的人们从工业化过程中所能获得的生活水平的提升是非常巨大的,今天则非常不一样了。

我们真正想强调的是,大数据时代将推动我们从根本上改变企业的运作方式,以及我们在社会中的生活方式。大数据可以提高人类制定决策的能力,这种提高将是大幅度的。有了大数据,我们不是简单地提高经济效率,而是将挽救人类生命,延长我们自己的寿命。我们还将改善教育,促进发展。同样的道理,我们必须要小心。大数据同样也有“阴暗面”,正如我们在书中讨论的那样。如果应用错误,大数据也可能会化为一个强有力的武器。因此,我们必须确保正确使用大数据。

文汇报:您提到了大数据时代的“阴暗面”,它的到来会加深数字化鸿沟吗?

迈尔-舍恩伯格:大数据是一个强大的工具。因此,如果我们使用了错误的方式,它就可能会加深数字鸿沟。但是,如果我们用得好,相信大数据就可能会改善我们的生活,尤其是对那些不那么幸运的人而言。在这一点上,你可以把它想像成火、电或是抗生素等等。

文汇报:也就是说,您对大数据的价值认知,是基于一个更长时段的历史发展。

迈尔-舍恩伯格:如果以非常广阔的视角来看人类历史,我认为,人类一直想要理解世界。起初,许多人的“知识”是基于迷信和预感。知识的发展非常慢,人们需要非常深层次的思考,再通过实践进行检验,以确保知识是可用的。

但即使如此,我们的知识仍旧不是百分之百可靠的。例如,19世纪,路易·巴斯德一直在研究狂犬病疫苗,当时有一个被狗严重咬伤而染上狂犬病的小孩,父母担心孩子会死去,恳求巴斯德试试他的试验性疫苗。巴斯德照做了,孩子活了下来。随后的庆祝活动上,巴斯德以一个英雄的身份出现,他挽救了年轻孩子的性命。但是事实的确如此吗?今天,通过更深入的研究,我们知道,在被类似病狗咬到的儿童中,只有25%会感染狂犬病。所以75%的儿童哪怕使用了无效的疫苗,仍旧可以存活下来。这个故事告诉我们,我们以为自己生活在非常科学的世界中,但其实,我们拥有的数据非常少。一种新的治疗方法在被证明安全之前,需要做几十个甚至几百个医学实验来进行测试。但这仍旧太少,人们还是会受到伤害,因为我们依靠的数据太少。在大数据时代,我们可以告别数据匮乏,做出的决策将更理性,更基于事实,当然也更可靠。这是大数据时代带给我们的希望——更好的决策将会代替我们过往那些可疑的迷信和不可靠的人类预感。

文汇报:我们看到,麦肯锡公司2011年就发布报告推测,如果把大数据用于美国的医疗保健,一年可产生潜在价值3000亿美元,用于欧洲的公共管理可获得年度潜在价值2500亿欧元;服务提供商利用个人位置数据可获得潜在的消费者年度盈余6000亿美元;利用大数据分析,零售商可增加运营利润60%,制造业设备装配成本会减少50%。“数据创造价值”的预测已经非常振奋人心。在您看来,大数据是否只是一门价值不菲的生意?

迈尔-舍恩伯格:不,大数据可以做更多。医疗方面,我们前面已经提过,只是分析一些重要的征兆,早产婴儿的感染出现明显症状的数小时前,医生就可以预见其生病。

同样,通过大数据分析,我们也可以找出学校教科书中的哪一部分对学生而言效果最好,也可以找出效果不好的部分。到现在为止,我们只能按照人类的预感,即教师自己判断学生在理解特定课程时是否会有疑问;但在大数据时代,我们有实际的数据可以参考,例如数据显示,电子书籍的某些页面被看过许多遍,因为它让学生感觉费解,据此可以调整我们的教材。这将从根本上改变教育。

或者举公共政策为例:Inrix是为智能手机提供导航软件的公司,它还提供实时的交通数据。之所以能做到这一点,是因为每个用户本身都成为了交通流量状况的传感器,把位置和速度信息都发回Inrix公司。这样一来,就可以给行进在交通堵塞路段周围的客户提供良好服务。Inrix公司有一大堆人们的活动数据,这还将有助于城市规划者了解大家的通勤模式,人们从哪里出发去工作,然后返回,并建设基础设施,如道路和铁路。这是最有效的应用。节省钱的同时,也有利于整个社会的管理。

文汇报:大数据对于商业决策、学术研究乃至国家治理的作用是显而易见的;但是对日常生活中的普通人而言,他们一定会从中受益吗?为什么在大数据时代,还是有不少人主张远离过载的信息和数据、返璞归真回到传统的社群生活之中呢?个人生活空间一定得从“简单平面”转变到“多维存在”才有意义吗?

迈尔-舍恩伯格:千百年来,人类已经经历的世界,都是在少量数据的基础上产生很多想法的世界。海员们结束长途航行后回来,地图才会在这一次经验的基础上进行重新绘制。这显然不会很精确。经过试验和犯错的周而复始,人类发展得非常缓慢。但是,当我们只有非常少的数据时,这是理所当然的结果。今天,我们有这么多的数据,难怪人类会不堪重负。但是,现在大数据可以提供帮助。如果人类不太善于消化这些过多的信息,大数据分析可以帮助我们将信息进行过滤,并进一步可视化,使我们能够轻松地加以使用。

人们尚未普遍具备与大数据时代相匹配的思维和技能

文汇报:有专家认为,大数据的未来是数据的APP(加速并行处理)而非基础构架;也就是说,仅仅有数据平台和基础构架是无法创造长期价值的。对此您怎么看?

迈尔-舍恩伯格:我们认为,大数据时代将至少需要和过去时代一样多的人的独创性。同时,巨大的资源才是未来时代的金矿,那些拥有这些数据资源的人将获得的回报是不可想像的。

文汇报:大数据时代,数据都是透明的,我们如何在保护个人隐私、商业机密和国家安全之间取得平衡?您所谓的“互联网遗忘运动”会是最佳药方吗?

迈尔-舍恩伯格:大数据时代所面临的挑战是,我们发现了隐藏在数据背后的价值,所以,保留这些数据,然后一遍遍地重复使用数据,往往成为一种明智的选择。同时,现行的保护个人隐私的法律,特别在西方,针对的是一个传统数据的世界,而不是一个大数据世界。这就需要我们在保护隐私的规则方面作出调整。我们建议,可以通过调整相关保护规则来实现这一目标,正像你所提到的,我们可以在一定时间以后,选择遗忘这些数据。

文汇报:大数据时代是一个海量数据有待处理的时代,同时又是一个海量无用信息需要删除的时代。这是否就是您在《删除》一书中强调我们要有所取舍的原因所在?

迈尔-舍恩伯格:是。在某种程度上,大数据本身也可以加强隐私的保护。因为如果有一百万个数据点,一个单独的数据点就不再那么重要了,这和传统数据时代非常不一样。随着时间的推移,忘记其中一些数据,并不会破坏整个大数据的运行和使用。

文汇报:大数据现在在全球究竟发展到了什么阶段?处理大数据的技术是否已经在全世界范围内普及?

迈尔-舍恩伯格:管理和处理大数据的技术都已经存在了,而且并不是非常昂贵。但是,有一样东西目前仍旧非常缺乏,那就是我们的思维——以理解数据背后所隐藏的巨大价值,以及提取这种价值的专门技能。今天,全球范围内,人们还没有普遍具备这种思维和技能,但是我相信,在未来,这种情况会发生改变。我们预计,世界各地的许多大学将提供针对大数据分析的课程,来培训大数据时代所需要的技能。

文汇报:历次产业技术革命,中国似乎都是学习者和模仿者;和上几轮产业技术革命不同的是,大数据时代,中国几乎和欧美发达国家同时开始技术研发,中国人口又居世界首位,将会成为产生数据量最多的国家。您看好中国在新时代的发展前景吗?中国在大数据时代是否有创新和领先的可能?

迈尔-舍恩伯格:是的,我们对此非常乐观。中国很可能成为大数据这一领域的先驱。在大数据时代,中国有很多优势:中国人都受过良好的教育,特别是在数学和统计方面(这是非常重要的)。中国是一个巨大的多元化社会,这会创造大量机会来创造大数据这一资源,并建立大数据应用。同样的道理,对于大数据的蓬勃发展,我们还需要相匹配的思维方式,有尝试新事物和持续创新的愿望,以实证事实来作为我们决策的依据。因此,和许多其他社会一样,大数据时代的确也会给中国带来非常大的变化。

以上是小编为大家分享的关于大数据时代带来更理性、更可靠的决策的相关内容,更多信息可以关注环球青藤分享更多干货

⑶ 专家:中国如何应对大数据时代的挑战

从小数据到大数据“大数据”是一股新的技术浪潮,也是逐步形成的历史现象,其具体是指随着信息存贮量的增多,人类在实践中逐渐认识到,通过数据的开放、整合和分析,能发现新的知识、创造新的价值,从而为社会带来“大科技”、“大利润”、“大智能”和“大发展”等新的机遇。大数据概念的提出,可以追溯到1980年代,但其“数据”二字却和我们传统的理解有所不同。传统意义上的“数据”,是指“有根据的数字”,但在进入信息时代之后,“数据”二字的内涵在扩大,它不仅指代“数字”,还统称一切保存在电脑中的信息,包括文本、声音、视频等。更重要的是,随着信息技术的进步,其数量在爆炸,特别是新媒体出现之后,数据的收集、保存、维护、使用等任务,成为横跨各个领域的现象和挑战。大数据之“大”,并不在于其表面的“大容量”,而在于其潜在的“大价值”。有很多例子可以证明,由于新工具的出现,我们从以前的小数据当中也能发现大的价值。例如,美国把二十多年的犯罪数据和交通事故数据映射到同一张地图上后惊奇地发现,无论是交通事故和犯罪活动的高发地带,还是两者的频发时段,都有高度的重合性。这引发了美国公路安全部门与司法部门的联合执勤,通过共治数据“黑点”,交通事故率和犯罪率双双降了下来。再例如,最近有学者将白宫200多年总统洗衣服的记录电子化,然后进行分析,也得出了一些新的结论。这些数据,都是地道的小数据。这说明,小数据只要在纵向上有一定的时间积累,在横向上有细致的记录粒度,再和其他数据整合,就能产生大的价值。从这个角度来看,大数据也可以理解为针对某个对象在时空两个维度上的“全息”数据。这种“全息”,在大数据的时代还表现为“多源”,即有多个源头在从不同方向对同一个对象进行数据记录,数据之间互相印证。另外,从全球数据技术投入的资金分布来看,传统的小数据仍然占据绝对的重头。据国际数据集团(IDG)统计,2012年,全球对小数据分析工具的投资为349亿美元,而对大数据分析工具Hadoop的投资仅为1.3亿美元,不及前者的1%。IDG的结论是,传统的小数据软件满足了企业和组织95%的需求。目前行业发展的最新态势,是 “大”、“小”数据分析工具趋于一体化并在向“云”迁徙。

⑷ 纵论大数据时代公务员领导力提升之道

纵论大数据时代公务员领导力提升之道海量数据中,如何快速获取有价值的信息?利用大数据,可否跳出决策“科学化”陷阱?怎样的数据平台,可以实现社会治理“去危机”化? 昨日,中国新闻出版研究院党委书记、副院长黄晓新,省直机关工委党校校长邹德文,省委党校副校长张继久,华中师范大学公共管理学院院长卢新海,华中科技大学新闻学院电子与网络出版研究所所长陈少华,国家大数据专业委员会秘书长彭铁元等专家聚首东湖宾馆,纵论大数据时代公务员领导力提升之道。每个个体是数据源,公务员是资源的整合体“掌握了数据,就拥有了核心竞争力。”会议伊始,彭铁元亮明观点:对置身于大数据时代的公务员而言,他们已成为“资源的整合体”,对大数据信息采集、分析、研判、整合能力,是领导力的重要体现。据公开数据显示,截至2015年底,我国共有公务员人数716.7万人。公务员应该具备怎样的能力?《国家公务员通用能力标准框架(试行)》给出答案:政治鉴别能力、依法行政能力、公共服务能力、调查研究能力、学习能力、沟通协调能力、创新能力、应对突发事件能力、心理调适能力。“在实现国家治理能力现代化、‘两个一百年’奋斗目标和中华民族伟大复兴的中国梦的进程中,公务员起关键作用。公务员的素质能力,决定目标实现的方式、路径、效果。”专家们认为,在这个背景下,研究公务员领导力的提升,具有很强的科学性、实践性、针对性。确立问题导向,避免决策陷阱大数据中的数据量非常巨大,包含文本、图像、声音、视频等。如何获取有价值的信息?提供科学决策?“要学会在海量的数据中挖掘出关键的信息,找到各个数据之间的关联性。”卢新海表示,大数据带来的是一种思维方式的改变,不再是单一追求政策制定的因果关系,而是要注重各个关系中的链接与共享,它是一个开放的平台,政府部门能够针对不同的问题,很快捷地找到相关的案例,实现各部门之间的协调管理,提升公务员素养。“从问题导向出发,通过数据支撑,避免各种决策陷阱。”邹德文举例说,通过古今历史案例、数据分析,可有效避免三大兴衰陷阱:保罗·肯尼迪陷阱、修昔底德陷阱和奥尔森陷阱。着眼当下,也可通过案例支撑,有效避免“短期科学,长期不可取”的“科学化”、“拍脑袋”等决策陷阱。“利用大数据技术,还可实现社会危机治理‘去危机’化。”彭铁元举例说,对景区游客信息的采集分析,就可以清晰获取客流的构成与走向,可作出准确的预判与处突维稳,避免踩踏事件等旅游事故。运用众筹模式,建立“私人订制”案例库“能否建立一个数据库平台,对所有公职人员开放,针对不同层级、不同类型人员设置不同的案例库,实现公务员领导力的‘私人订制’?”黄晓新提出的观点,引发共鸣。专家们认为,要注意结合不同的地域特点,建立符合当地实际的数据库,注重实地调研,这样才能将研究成果真正运用到现实之中,实现其最大价值。“一定要接地气、务实管用。”张继久表示,要用案例来指导实际,将理论与实际结合起来,为科学决策作出参考,培养处理突发事件的能力,完成执行的“最后一公里”。陈少华建议,采取互联网的众筹思维,让每一个公务员参与进来提建议。同时,数据库要与时俱进,要边运用边建设,注重时效性。

⑸ 什么是大数据,大数据为什么重要,如何应用大数据

“大数据”简单理解为:

"大数据"是一个体量特别大,数据类别特别大的数据集,并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。大数据是一个抽象的概念,对当前无论是企业还是政府、高校等单位面临的数据无法存储、无法计算的状态。大数据,在于海量,单机无法快速处理,需要通过垂直扩展,即大内存高效能,水平扩展,即大磁盘大集群等来进行处理。

大数据为什么重要:

获取大数据后,用这些数据做:数据采集、数据存储、数据清洗、数据分析、数据可视化

大数据技术对这些含有意义的数据进行专业化处理,对企业而言,大数据可提高工作效率,降低企业成本,精准营销带来更多客户。对政府而言,可以利用大数进行统筹分析、提高管理效率、管理抓获犯罪分子等。对个人而言,可以利用大数据更了解自己等。

如何应用大数据:

大数据的应用对象可以简单的分为给人类提供辅助服务,以及为智能体提供决策服务。

大数据不仅包括企业内部应用系统的数据分析,还包括与行业、产业的深度融合。具体场景包括:互联网行业、政府行业、金融行业、传统企业中的地产、医疗、能源、制造、电信行业等等。通俗地讲“大数据就像互联网+,可以应用在各行各业",如电信、金融、教育、医疗、军事、电子商务甚至政府决策等。

⑹ “大数据”怎样改变生活

“大数据”怎样改变生活

大数据,现在越来越成为了一个很时髦的词汇。有人把大数据形容为未来世界的石油,有人宣称掌握大数据的人可以像上帝一样俯瞰整个世界,美国政府甚至已经把对大数据的研究上升为国家战略。日前,由中国科协举办的“科学家与媒体面对面——大数据离我们生活有多远”活动中,有关专家为我们介绍了大数据对未来生活的影响。

我们生活在一个充满“数据”的时代,这里的“数据”,并不仅仅指数字,理论上讲,一切可以以文件形式储存于计算机硬盘的东西,包括数字、文字、图像、声音、视频等,均可称为“数据”。我们打电话,使用微博、QQ、博客等社交工具,都是在不断增加着社会总体数据量。

据权威预测,未来每隔18个月,整个世界的数据总量就会翻倍。IBM的研究称,整个人类文明所获得的全部数据中,有90%是过去两年内产生的。

数据,除了它第一次被使用时提供的价值以外,那些积累下来的数据海洋并不是无用的废物,它还有着无穷无尽的“剩余价值”,关于这一点,人们已经有了越来越多的认识。事实上,大数据已经开始并将继续影响我们的生活,下面我们不妨试举几例。

精准广告投放已很普遍

很多女性可能有这样的经历,使用某浏览器在淘宝、京东等购物网站上购买过一本关于怀孕的书籍后,在之后十个月左右的时间里,你的浏览器两侧的广告栏里不断出现怀孕所需要的东西,如营养食品、对胎儿无影响的孕妇用药、胎心监测仪、体温计、血压计等产品广告,登录原来的购物网站,也会在首页向你推荐这类产品。而且,在十个月之后,你会发现,以上这些广告开始变成婴儿用品了。

你以前可能对浏览器广告非常讨厌,但对这类广告,你却欣然接受,因为它推荐的产品正是你所需要的。这实际上就是大数据应用的一个简单案例。你的浏览经历已经被浏览器和电商所记录,通过对用户浏览记录进行大数据分析,就可以推测出你目前是一种什么状态,今后又将经历哪些状态,于是,专为你定制的广告就在你需要的时候出现在你的眼前。

大数据最本质的应用就在于预测,即从海量数据中分析出一定的特征,进而预测未来可能会发生什么。实际上,上述例子仅仅是大数据应用的最初级阶段。因为它所涉及的数据的范围并不广泛,其分析原理也非常简单。而如前言所述,大数据有数据量大、数据多样性等特征,实际是将各个维度的数据进行综合分析进而进行一定的预测。当不同的数据流被整合到大型数据库中后,预测的广度和精度都会大规模的提高。例如,当一个数据库从不同的数据来源获得了你使用手机的时间和地点、信用卡购物、银行卡电子收费系统、使用QQ等聊天工具的对象、你的QQ好友关系图、你在新浪微博、腾讯微博的收听及被收听关系图谱、你交纳的水、电、燃气费等各方面的数据,数据分析师就能通过匹配获得你生活的不同侧面。通过大数据,数据分析可以发现各种各样的关联。通过分析,可以发现你多方面的需求,并不仅仅是诸如怀孕书籍和尿不湿之间的简单关联了。在数据足够“大”的情况下,你生活中几乎所有的需求都可能会被预测出来。例如,从数据分析出你可能会约会,于是会向你推荐衣服;从数据推测出你会出去旅游,于是向你推荐相关装备及旅行方式等。

医疗卫生体系会更加精密

通过分析大量用户的搜索记录,比如“咳嗽”、“发烧”等特定词条,谷歌公司能准确预测美国冬季流感传播趋势。和官方机构相比,谷歌能提前一两周预测流感爆发,预测结果与官方数据的相关性高达97%。2009年,在甲型H1N1流感爆发的几周前,谷歌的工程师们公开发表了一篇论文,不仅预测流感即将爆发,并且其预测还精确到美国特定的地区和州。这让人们感到十分震惊。准确预测流感疫情,说起来并不复杂,谷歌一直致力于对用户检索数据的分析。用户求医问药等搜索数据可谓海量,把这些数据再拿来与美国疾控中心往年记录的实际流感病例信息相比对,就帮助谷歌作出了准确预测。

在日本也有相似的应用,日本国内有一个网站,你只要打开这个网站用自己的社交网站账号登录,就可以在短时间内通过数万条社交网站记录找出可能感冒的人,并通过过去的感冒情况和今日的感冒情况进行分析,另外该程序还会结合气温和湿度的变化来预测将来感冒的流行情况,并制作一个“易感冒日历”。目前,此类服务正在日本陆续展开。

对个体而言,大数据可以为个人提供个性化的医疗服务。过去我们去看病,医生只能对我们的当下身体情况做出判断,而在大数据的帮助下,将来的诊疗可以对一个患者的累计历史数据进行分析,并结合遗传变异、对特定疾病的易感性和对特殊药物的反应等关系,实现个性化的医疗。还可以在患者发生疾病症状前,提供早期的检测和诊断。早期发现和治疗可以显著降低肺癌给卫生系统造成的负担,因为早期的手术费用是后期治疗费用的一半。

个性化教育可能真正实现

在传统教育模式下,分数就是一切,一个班上几十个人,使用同样的教材,同一个老师上课,课后布置同样的作业。然而,学生是千差万别的,在这个模式下,不可能真正做到“因材施教”。

举例来说,一个学生考试得了88分,这个分数仅仅是一个数字,它能代表什么呢?88分背后是家庭背景、努力程度、学习态度、智力水平等,把它们和88分联系在一起,这就成了“数据”。大数据因其数据来源的广度,有能力去关注每一个个体学生的微观表现——他在什么时候开始看书,在什么样的讲课方式下效果最好,在什么时候学习什么科目效果最好,在不同类型的题目上停留多久等等。这些数据对其他个体都没有意义,是高度个性化表现特征的体现。同时,这些数据的产生完全是过程性的:课堂的过程,作业的过程,师生或同学的互动过程……而最有价值的是,这些数据完全是在学生不自知的情况下被观察、收集的,只需要一定的观测技术与设备的辅助,而不影响学生任何的日常学习与生活,因此它的采集也非常的自然、真实。

在大数据的支持下,教育将呈现另外的特征:弹性学制、个性化辅导、社区和家庭学习、每个人的成功……大数据支撑下的教育,就是要根据每一个人的特点,解放每一个人本来就有的学习能力和天分。

个人隐私保护 一道能迈过的坎

看了前面这些,读者可能要担心了,大数据包含有包罗万象的数据,其中不少数据涉及个人的职位、年龄、身体状况、消费水平、旅行习惯等隐私,那么,在大数据时代,个人隐私能够得到保护吗?答案是,只要国家相关部门实时推进隐私保护,企业主动落实隐私保护责任,大数据产业在飞速发展的同时并不会对民众隐私产生威胁。

在大数据产业中,有两个基本的作法,一是符号化。符号化是指识别用户的时候,识别的仅仅是一个“符号”,这个符号与真实信息并不相关,系统通过一定的算法能够知道多次登录的是同一个用户,但并没有办法反推出这个人是谁,因此,电话、住址等信息都没法与本人关联起来。二是用户特征。用户特征意味着在大数据时代企业感兴趣的往往是这个用户的特征,而不是家庭地址、电话号码等真正敏感的信息。例如,系统需要了解本科以上学历、月收入10000元以上、已婚等这样一个群体,只需要找出符合这些特征的人的特性,并不关心这个人是谁。这样也不会造成隐私的泄露。

当然,这些原则性问题有赖于政府推动、企业自律。但我们相信,为大数据产业的健康发展,相关部门,相关企业一定会高度重视这一问题。

以上是小编为大家分享的关于“大数据”怎样改变生活的相关内容,更多信息可以关注环球青藤分享更多干货

⑺ 浅析大数据发展趋势

浅析大数据发展趋势虽然大数据仍在起步阶段,存在诸多挑战,但未来的发展依然非常乐观。大数据的发展呈现八大趋势:数据资源化,将成为最有价值的资产;大数据在更多的传统行业的企业管理落地;大数据和传统商业智能融合,行业定制化解决方案将涌现;数据将越来越开放,数据共享联盟将出现;大数据安全越来越受重视,大数据安全市场将愈发重要;大数据促进智慧城市发展,为智慧城市的引擎;大数据将催生一批新的工作岗位和相应的专业;大数据在多方位改善我们的生活。 趋势一:数据资源化,将成为最有价值的资产 随着大数据应用的发展,大数据价值得以充分的体现,大数据在企业和社会层面成为重要的战略资源,数据成为新的战略制高点,是大家抢夺的新焦点。《华尔街日报》在一份题为《大数据,大影响》的报告宣传,数据已经成为一种新的资产类别,就像货币或黄金一样。Google、Facebook、亚马逊、腾讯、网络、阿里巴巴和360等企业正在运用大数据力量获得商业上更大的成功,并且金融和电信企业也在运用大数据来提升自己的竞争力。我们有理由相信大数据将不断成为机构和企业的资产,成为提升机构和企业竞争力的有力武器。 趋势二:大数据在更多的传统行业的企业管理落地 一种新的技术往往在少数行业应用取得了好的效果,对其他行业就有强烈的示范效应。目前大数据在大型互联网企业已经得到较好的应用,其他行业的大数据尤其是电信和金融也逐渐在多种应用场景取得效果。因此,我们有理由相信,大数据作为一种从数据中创造新价值的工具,将会在许多行业的企业得到应用,带来广泛的社会价值。大数据将在帮助企业更好的理解和满足客户需求和潜在需求,更好的应用在业务运营智能监控、精细化企业运营、客户生命周期管理、精细化营销、经营分析和战略分析等方面。企业管理既有艺术也有科学,相信大数据在科学管理企业方面有更显著的促进,让更多拥抱大数据的企业实现智慧企业管理。 趋势三:大数据和传统商业智能融合,行业定制化解决方案将涌现 来自传统商业智能领域者将大数据当成一个新增的数据源,而大数据从业者则认为传统商业智能只是其领域中处理少量数据时的一种方法。大数据用户更希望能获得一种整体的解决方案,即不仅要能收集、处理和分析企业内部的业务数据,还希望能引入互联网上的网络浏览、微博、微信等非结构化数据。除此之外,还希望能结合移动设备的位置信息,这样企业就可以形成一个全面、完整的数据价值发展平台。毕竟,无论是大数据还是商业智能,目的都是为分析服务的,数据全面整合起来,更有利于发现新的商业机会,这就是大数据商业智能。同时,由于行业的差异性,很难研发出一套适用于各行业的大数据商业智能分析系统,因此,在一些规模较大的行业市场,大数据服务提供商将会以更加定制化的商业智能解决方案提供大数据服务。我们相信更多的大数据商业智能定制化解决方案将在电信、金融、零售等行业出现。 趋势四:数据将越来越开放,数据共享联盟将出现 大数据越关联越有价值,越开放越有价值。尤其是公共事业和互联网企业的数据开放数据将越来越多。我们看到,美国、英国、澳大利亚等国家的政府都在政府和公共事业上的数据做出努力。而国内的一些城市和部门也在逐渐开展数据开放的工作。比如北京市在2012年就开始试运行政务数据资源网,在2013年年底正式开放;上海在2012年启动了政府数据资源开放试点工作,数据涉及地理位置、交通、经济统计和资格资质等数据;2014年,贵州省也加入数据开放之列,10月份云上贵州正式上线。对于不同的行业,数据越共享也是越有价值。如果每一个医院想获得更多病情特征库以及药效信息,那么就需要全国,甚至全世界的医疗信息共享,从而可以通过平台进行分析,获取更大的价值。我们相信数据会呈现一种共享的趋势,不同领域的数据联盟将出现。 趋势五:大数据安全越来越受重视,大数据安全市场将愈发重要 随着数据的价值的越来越重要,大数据的安全稳定也将会逐渐被重视。网络和数字化生活也使得犯罪的分子更容易获取关于他人的信息,也有更多的骗术和犯罪手段出现,所以,在大数据时代,无论对于数据本身的保护,还是对于由数据而演变的一些信息的安全,对大数据分析有较高要求的企业将至关重要。大数据安全是跟大数据业务相对应的,与传统安全相比,大数据安全的最大区别是安全厂商在思考安全问题的时候首先要进行业务分析,并且找出针对大数据的业务的威胁,然后提出有针对性的解决方案。比如,对于数据存储这个场景,目前很多企业采用开源软件如Hadoop技术来解决大数据问题,由于其开源性,但是其安全问题也是突出的。因此,市场需要更多专业的安全厂商针对不同的大数据安全问题来提供专业的服务。 趋势六:大数据促进智慧城市发展,为智慧城市的引擎 随着大数据的发展,大数据在智慧城市将发挥着越来越重要的作用。由于人口聚集给城市带来了交通、医疗、建筑等各方面的压力,需要城市能够更合理地进行资源布局和调配,而智慧城市正是城市治理转型的最优解决方案。智慧城市是通过物与物、物与人、人与人的互联互通能力、全面感知能力和信息利用能力,通过物联网、移动互联网、云计算等新一代信息技术,实现城市高效的政府管理、便捷的民生服务、可持续的产业发展。智慧城市相对于之前数字城市概念,最大的区别在于对感知层获取的信息进行了智慧的处理。由城市数字化到城市智慧化,关键是要实现对数字信息的智慧处理,其核心是引入了大数据处理技术。大数据是智慧城市的核心智慧引擎。智慧安防、智慧交通、智慧医疗、智慧城管等,都是以大数据为基础的的智慧城市应用领域。 趋势七:大数据将催生一批新的工作岗位和相应的专业 一个新行业的出现,必将在工作职位方面有新的需求,大数据的出现也将推出一批新的就业岗位,例如,大数据分析师、数据管理专家、大数据算法工程师、数据产品经理等等。具有有丰富经验的数据分析人才将成为稀缺的资源,数据驱动型工作将呈现爆炸式的增长。而由于有强烈的市场需求,高校也将逐步开设大数据相关的专业,以培养相应的专业人才。企业也将和高校紧密合作,协助高校联合培养大数据人才。如2014年,IBM 全面推进与高校在大数据领域的合作,引入强大的研发团队和业务伙伴,推动“大数据平台”和“大数据分析”的面向行业产学研创新合作以及系统化知识体系建设和高价值人才培养,建设符合中国教学特色及人才需求的大数据相关学分课程,为未来建设特色专业方向做准备。 趋势八:大数据在多方位改善我们的生活 大数据不仅用于企业和政府,也应用于我们的生活。在健康方面:我们可以利用智能手环监测,对我们的睡眠模式来进行追踪,了解睡眠质量;我们可以利用智能血压计、智能心率仪远程的监控身在异地的家里老人的健康情况,让远在他方的外出工作者更加放心;在出行方面:我们可以利用智能导航出行GPS数据了解交通状况,并根据拥堵情况进行路线实时调优。在居家生活方面:大数据将成为智能家居的核心,智能家电实现了拟人智能,产品通过传感器和控制芯片来捕捉和处理信息,可以根据住宅空间环境和用户需求自动设置控制,甚至提出优化生活质量的建议,如我们的冰箱可能会在每天一大早建议我们当天的菜谱

⑻ 院士专家谈 – 时空大数据:地理信息产业融合发展必由之路

作 者 :中国工程院院士 王家耀

地理信息产业是以现代测绘和地理信息系统、遥感、卫星导航定位等技术为基础,以地理信息资源开发利用为核心,从事地理信息获取、处理、应用的高技术服务业。自20世纪60年代地理信息系统提出以来,其应用逐渐拓展到多个行业,从产生、成长到壮大,地理信息产业发展取得了可喜成绩。

当前,我国的经济和 社会 发展已经进入新的 历史 阶段, 社会 主要矛盾已经转化为人民日益增长的美好生活需要和不平衡不充分的发展之间的矛盾;以5G、云计算、大数据、边缘计算、物联网等为代表的新技术快速发展,人工智能技术也因深层神经网络的成功而获得了巨大进步;随着我国行政体制改革和自然资源管理体系的建立,地理信息产业已融入自然资源管理体系中。面对新的 社会 需求、新的技术进步和新的管理体系要求,亟待根据国家大政方针、 社会 生产需要、技术发展趋势、产业发展规律,做好地理信息产业的工程技术、商业模式、产品类型的转型升级与融合创新,进一步提高地理信息产业发展的质量和水平。

地理信息产业融合发展的驱动力——人工智能

信息化的发展遵循从数字化到网络化再到智能化的规律,地理信息产业的发展亦如此,智能化是地理信息产业融合发展的高级阶段。

“互联网 ”改变了地理信息产业发展的思维方式。“互联网 ”的本质是跨界融合。“基础地理信息 ”和“通用时空大数据平台 ”的本质也是跨界融合。“ ”是核心,提出跨界融合的解决方案是关键。只有这样,才能更充分地发挥基础地理信息和通用时空大数据平台的“基础”和“通用”作用,实现地理信息产业到时空大数据产业的转型升级。

云计算具有的信息资源管理、处理和应用的“全面弹性”,可以支撑“地理信息产业”到“时空大数据产业”的转型。时空大数据产业化需要超强计算能力的支持。云计算作为一种新的计算模式,通过“池化”和“云化”把数千台甚至上万台机器都放在一个“池子”里面,这是“资源弹性”;并在“资源弹性”即基础设施即服务(IaaS)之上增加了一层“应用弹性”,包括平台即服务(PaaS)和软件即服务(SaaS),以满足时空大数据的“应用弹性”需求。云计算支撑时空大数据处理的分布式、协作(同)化和智能化;通过任务分解,解决分布式问题;通过工作流重构,解决并行问题;通过算法调度,解决协作(同)化问题。

时空大数据产业

——属于第四产业的范畴

时空大数据,指基于统一时空基准活动或存在于时间和空间与位置直接或间接相关联的大数据。据此,时空大数据由时空框架数据和时空变化数据两大类数据组成。

时空框架数据指基于统一时空基准的卫星导航定位数据(含连续运行参考站 CORS数据)、遥感影像数据、地图数据、地名数据等。时空变化数据包括 社会 经济人文数据、位置轨迹数据、与位置相关联的空间媒体数据、社交网络数据、搜索引擎数据、视频观测数据、生态环境监测数据等。时空变化数据聚合(关联)在时空框架数据上,就构成了时空大数据。时空大数据具有位置、属性、时间、尺度、分辨率、多样性、异构性、多维性、价值隐含性、快速性等特性。时空大数据产业,指以天空地海传感器网络为基础,以时空信息“获取(传感网) 处理(生产) 应用(服务)”为产业链,以人工智能等新兴信息技术为支撑,以数据密集型计算为特征的知识密集型信息产业,属于从第三产业中分离出来的第四产业的范畴。同地理信息产业相比较,时空大数据产业内涵要宽泛得多,规模要大得多,类型更具多维性和多样性,知识更密集,速度更快,产品更加多样化和个性化,其应用领域更加广阔,具有良好的产业发展前景。

时空大数据产业化的核心

——时空大数据平台

时空大数据平台是时空大数据产业化的核心。

它是指把各种分散的和分割的大数据即时空框架数据和时空变化数据汇聚到一个特定的平台上,并使之发生持续的聚合效应。这种聚合效应就是通过数据多维融合和关联分析与数据挖掘,揭示事物的本质规律,对事物做出更加快捷、更加全面、更加精准和更加有效的研判和预测。从这个意义上讲,时空大数据平台是大数据的核心价值,是大数据发展的高级形态,是大数据时代的解决方案。从产业化的角度讲,通用时空大数据平台是指将时空框架数据汇聚在一个特定平台上,利用这个平台生产军民两用的基础测绘地理信息产品。

所谓“通用时空大数据平台+”模式,即以通用时空大数据平台作为框架,聚合民用、军用的时空变化数据,分别构成时空大数据平台。“通用时空大数据平台+民用”模式,即将地方政府各部门各行业的政务、自然资源、规划、交通、水利、管网、人口、经济、人文、 社会 、医疗、教育、电力、公安等数据汇聚在通用时空大数据平台上,使之成为新型智慧城市的“智脑”,通过持续的聚合效应,生成各类(种)民用深加工知识产品,为政府综合决策、各部门各行业和 社会 公众提供智能化服务。

时空大数据产业化是通过时空大数据平台产业化实现的。因为时空大数据产业化是一个新问题,应该走一条从基础研究起步的产业化创新之路。这条创新之路首先要研究和建立以数据科学为核心的时空大数据理论体系。目前,“数据科学”的边界还不清晰,时空大数据理论研究薄弱,更未形成时空大数据的理论体系,而这是时空大数据产业化的基础。因此,这条创新之路要研究和建立以“数据隐含价值 计算发现价值 应用实现价值”为核心,以“数据获取(传感器网) 处理(生产) 应用(服务)”为产业链的时空大数据产业化技术体系。走在这条创新之路上的人,更要研究和设计包括软件产品、硬件产品、软硬件集成产品、各类(种)应用平台产品和数字产品在内的时空大数据产品体系。

总之,在当前全球数字经济快速发展的大背景下,数字化的知识和信息作为关键生产要素,以数字技术为核心驱动力量,以现代信息网络为重要载体,通过数字技术与实体经济深度融合,数字经济能够不断提高经济 社会 的数字化、网络化、智能化水平,以加速重构经济发展与 社会 治理模式。地理信息产业作为处理位置数据的核心产业,可以积极推动其基于“通用时空大数据平台+”模式深度融入数字产业化、产业数字化、数字化治理与数据价值化领域,积极融入自然资源管理工作整体布局,主动引领以地理信息为基础的新型智慧城市、实景三维中国、新型基础测绘建设,推进地理信息产业向全产业链发展,扩大地理信息产品供给面,加大地理信息消费级产品研发,鼓励新应用、培育新市场,让地理信息产品通过生态建设、智慧管理、数字经济服务国家战略建设并惠及全 社会 ,从而促使地理信息产业向时空大数据产业的融合发展与转型升级。

赞(0)