A. 大数据教父传道汽车业大数据变革
大数据教父传道汽车业大数据变革大数据与小数据 汽车销售最重要的是联结供求关系。在传统的销售模式中,汽车厂商通过广告等各种销售技巧把车卖出去,最后会发现总有卖不完的库存,总有一些目标消费者没有购买汽车,因为没有人知道这些顾客需要什么,生产的车型没能满足他们的需求。 这个矛盾该如何解决?几乎所有企业都尝试过降价促销,虽然这种做法在刺激销售的过程中也降低了利润,企业却并无它路。因为没有数据就无法对顾客需求进行分析。当然,企业可以走出去问消费者“你们需要什么?”,可以做访谈、问卷调查,但这是小数据,而且很多时候小型数据是错误的数据,与没有数据并无二致。在大数据时代,这种盲目的运营模式被完全颠覆。我们知道顾客需要什么,并且最终能将客户需要的因素融合到生产的汽车当中,最终生产的每一辆汽车都能卖出去,每一个消费者都可以买到自己心仪的汽车。 要实现这一愿景,关键在于数据的搜集,以及在此基础上进行的大数据分析,这和小数据分析截然不同。在维克托眼中,大数据有三样区别于小数据的特质:大量、混乱、相关性。大量——更多数据带来的是对消费者更精准的需求把握;混乱——用较少的成本、资金即可获得大量、混乱的数据,即便因数据的不准确可能得出不正确的分析结果,但这最终导向大数据的第三个特质;相关性——数据之间或者两个事物之间必然存在相关性,这种相关性告诉我们事物正在发生变化,而并非导出发生变化的原因。作为数据研究的前瞻性学者,维克托的独特之处恰在于此:将着眼点投放于数据之间的“关联关系”而非“因果关系”,认为大数据的核心就是预测。 这种特性的大数据放置于汽车行业,会发生哪些碰撞呢? 1、有意义的选择 传统购车程序中,人们根据颜色、外观、引擎甚至安全性、豪华与否等角度选择,而对那些“不知道自己要什么”的消费者来讲,一个甚至几个类似“空间更大?”“座位更大?”的固定问题并不能真正戳中心房。 这时候,必须要知道每一位消费者的自身需求,提供更多选择的可能性。通过数以百万计的选项,满足每一个细项需求。真正的了解消费者,知道他们想要什么,而不是为什么。这些基于了解之上的需求选项比苦苦追问“为什么选这个”要有意义的多。 2、灵活的生产 通过大数据的统计知道消费者需要什么,按照偏好生产,与市场需求灵活匹配。 对现在的汽车生产商来说,他们清楚要做什么,但是要做到灵活的调整生产方式就有些难度了。了解—分析—供需匹配—提升销售,这一闭环的更迭速度基于对消费市场大数据的精准把握。 大数据如何改变汽车业? 过去的汽车行业变革,可以归纳为更大的引擎、更快的速度、更少的燃油。基于大数据的变革却显而易见:和数据有关的改善——改善生产流程、商业思维、汽车生活。 1、汽车内部装置的改变 我们可以大胆设想这样的场景:车内系统自动采集驾驶者的驾驶习惯信息,为不同的驾驶者匹配不同的汽车设置;夜晚疲劳驾车时,驾驶者坐姿发生改变,车内会自动发出警告;又或者通过指纹识别车主、启动车辆等。这都是大数据的应用案例,有些已经应用在现在的汽车当中。 2、汽车生产思维的改变 流动性数据不断地产生,通过车内感应器对数据收集、传送,可以对可能出现的零部件故障、隐患进行及时的处理。一方面有利于解决汽车安全隐患,另一方面将帮助汽车品质的更新换代,提升产品的设计和构造。 维克托在论坛上谈到了二个案例。首先是劳斯莱斯,作为一家生产豪华车的公司,劳斯莱斯也是世界上第二大航空引擎制造商,并且已经变成一个大数据公司。通过在每一个喷气式飞机的引擎上建立测量、采集的数据中心,劳斯莱斯可以预测引擎的哪一个部件可能会发生故障。比如通过声音、振动的改变,提前在故障发生之前更换飞机引擎某些零部件,避免发生空难的可能。 另一个案例则是关于世界上最大的物流公司之一UPS。UPS有6万辆汽车进行运输工作,UPS在汽车里安装了传感器,将所有数据收集起来进行大数据分析,提高汽车的导航系统和物流线路布局,并且在去年节省了约5千万公里的里程。 3、出行需求的完美方案 汽车作为人类梦想的现实化身,它的出现解决了人类的移动需求。过去的汽车或许更多的是跟引擎的转动、机械的轰鸣相关,而大数据时代的汽车,则更多的考虑人类目前最迫切的需求——完美的出行解决方案。 依据整个生态系统制定出行方案,对蜗居都市的用车人群十分必要:在闹市区找到一个停车位,在上下班高峰期实时避开拥堵路段,在汽车的指引下找到最便捷的餐馆、加油站等。 通过对数据的有效利用影响未来发展格局:对新能源汽车来讲,通过数据模型分析城市内充电设备等基础设施的布局地点、使用结点,合理建设道路辅助设施;对无人驾驶汽车来讲,将车辆自身的数据收集能力、后台计算能力与整个出行生态系统实时匹配、整合、反馈,达成技术实现的可能。 小结: 互联网时代,生活似乎日益变得复杂。而大数据的任务就是通过技术后台的力量,将前端使用者从这些琐碎中解放出来,打造简单、直接、便捷的汽车生活。这不仅需要一辆汽车,还需要满足大数据的需求,才能从根本上改变我们销售汽车的方式,改善汽车的设计,在这个移动的封闭世界中,想你所想,做到真正的人车合一。
B. 大数据开启 行政服务2.0时代
大数据开启 行政服务2.0时代
政府公共服务改革力度欠缺,是技术瓶颈,还是思维瓶颈?大数据席卷全球,我们能否在大数据引发的大变局中找到破局之钥?
大数据能否改变世界?它并非IT精英手中翻云覆雨的技术玩具,也绝非仅是支持现代企业从生产到营销变革的利器,它将引发人们从工具理性、制度理性,到思维模式的全新变革。从个人层面讲,大数据将开启崭新的生活方式,人们可以借工具指引,实现对数据的删繁就简,享受大数据带来的便捷高效。从国家层面讲,大数据将开启一场从信息能源到公共服务,及至现代治理的数据化“革命”,重整现代公共服务格局,实现由大政府向智慧政府的转变。
即将来临的大数据时代
在《智慧政府:大数据治国时代的来临》一书中,作者描述了大数据时代即将到来的图景:“你可以登录‘谷歌流感趋势’网站,实时查看全球各个国家和地区的流感疫情;也可以在微博上安装相关应用程序,查看任何一条微博的传播途径、传播效果、传播过程中的关键人物以及人们的情绪和态度;你还可以运行“地球放大镜”软件,免费体验一趟3D地球飞行之旅。”可以说大数据是一种可以将人类浪漫想象变为现实的清洁能源。
在大数据的灿烂星空下,理论上我们每个人都可以拥有一双可以上天入地的眼睛,在不同的数据云团间纵横游历,采撷最需要的数据资源,并留下我们崭新的数据痕迹,为他人所用。相比于地球有限的物质资源,大数据资源取之不竭,用之再生,因使用而迸发活力。如今,大数据使用方面的技术难题正被一一攻克,世间只有人们未想到的大数据应用模式及方法,而没有长时间无法攻克的技术瓶颈。
面对大数据这项可以永续增长的资产,一批先锋企业已经撬动了冰山一角,西方发达国家率先迈出了探索性的脚步并取得了不俗的成绩。十八届三中全会提出“推进国家治理体系和治理能力现代化”,大数据将是实现政府治理现代化的一条有效技术路径和思维路径,它将催生管理模式和服务模式创新,给政府机关带来新的改革气象。
大数据成就商业的“读心术”
2013年初,由英国大数据研究先行者维克托·迈尔—舍恩伯格所著的《大数据时代》一书,如一枚重磅炸弹,使人们理解了悄然崛起的“亚马逊”式购物网站其背后的运行规律,知晓了商业“读心术”的奥秘,同时该书也在质疑声中拥有了“大数据元典”般的地位。而后各种包含大数据概念的书籍相继抢滩登陆,从统计学、计量经济学、社会行为学等多角度阐述大数据在现代世界经济运行中的具体应用,以及产生的巨大经济效果。
从以上书籍中,不难发觉在人们的思维意识里,大数据因技术而生,在与经济的联姻中获得了强大的生命力。它首先成为营销领域的热宠,而后逐波向营销领域的上下游拓展,改变了企业从市场调研、设计、生产,乃至售后服务的所有环节,并渐次引发企业管理、组织模式的全线变革。大数据已经触动了现代社会经济运行的核心,一种对大数据开发、应用“时不我待”的危机感正在全世界经济领域内漫延,各种创新实践风生水起。大数据的应用仅仅止于经济领域吗?
奥莱利眼中的“政府2.0”
与大数据引发的迅猛经济革命相比,天然拥有不可限量“大数据资产”的政府公共服务部门,不论在对大数据的技术探讨还是实践应用开发方面,其反应速度均显滞后。纵览国内大数据应用书籍,专此研究大数据与公共领域接轨的书籍少之又少,即使在某些著作中有所提及也是点到即止。由中国人民大学徐继华博士等学者根据国内外最新大数据研究成果,结合国内公共服务领域的实际情况所著的《智慧政府:大数据治国时代的来临》一书,可以说是填补了这一空白,将大数据与国家治理紧密结合,针对国内政府公共服务领域的诸多病灶,开出了大数据处方,具有较强的实践指导意义。
作者在书中引入了“网络2.0之父”蒂姆·奥莱利提出的“政府2.0”概念。“政府2.0”是指一种新的政府形态,它以用户为中心、以服务为导向,作为一个整体、开放的平台,与民众直接互动和沟通,将政府为主体的政府行政过程转变为以社会公众为主体,是政府、市场、社会三方协同互动的公共价值塑造过程。“政府2.0”精准地概括了大数据时代,政府、市场、社会三方的关系,这是一个开放、协作、互助、沟通,相互促进的整体,要实现由大政府向“政府2.0”状态的改变,政府部门的思维革命比单纯的大数据技术革命要重要得多。
此书认为在国家公共服务领域“大数据”不仅是捕捉、汇总、分析数据的便捷工具,更将形成一张动态多维数据全景图,它可以拥有无数触手和眼睛,一头连接着作为每一个“数据源”的个体公民,一头连接着进行公共决策、提供公共服务的政府部门。它将以数据化的形式完成民意的吞吐和公共服务信息的反馈,最大程度保障数据真实可靠,减少人为干预令数据变形失真的可能。
大数据治国,这是一项系统而复杂的工程,从基础设施的建设,到大数据的应用开发,再到配套制度的完善,以及全民思维模式的变革,我们必须走过一条由工具到制度,再到思维的全面变革之路。“政府不仅是大数据的受益者、大数据的占有者,更在建设大数据基础设施、培育大数据产业、培养大数据人才、完善相关标准和立法等方面负有至关重要的责任。”
以新机制破除“信息孤岛”
大数据从狭义的概念即“术”的层面来讲,是通过各种技术手段收集到的海量可以互相叠加补充的信息,人们据以完成对“未来”的预测,迅速采取行动。“大数据”相对于“小数据”是量变引起质变的结果,当数据的整体超越一定规模它便不再是一幅精细的工笔画,而是吞吐大气象,描绘大世界,指引大方向,揭示大规律的有效工具。从广义的概念来讲,大数据正如高纳德的一份研究报告中所指出的“大数据是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产”。在书中,作者把大数据看做一种战略和习惯,一种新的世界观和方法论。
在商业领域,处于瞬息万变市场环境中的企业将迅速实现自我观念和技术更新,而最难取得突破的恰恰是政府公共服务领域。毋庸置疑,在公共服务部门中国仍处于“小数据”时代,难予拆解的部门壁垒无形间筑起了跨部门、跨地区的巨大屏障。有新闻报道,北漂小伙为了办护照,返乡6次,补5张证明,多跑3000公里。假如上述现象,能消弭于由政府统合的大数据系统之中,假如人们用一张“身份证”就可以在不同的政府部门间调取全部数据,那么将大幅提升的不仅仅是群众的满意度。
伴随着大数据浪潮的风起云涌,在各种政治、经济、社会、民生、环保问题中不断寻求突破之路的政府部门,主动拥抱“政府2.0”,破除普遍存在的“信息孤岛”壁垒,变散点信息为资源整合,要解决的问题不仅仅限于基础设施、财政投入、技术攻关等事宜,同时也需要由上至下进行全面制度保障、打破现有利益格局的决心与勇气,更重要的是要在政府系统内部形成全新的大数据思维模式,以此才能保障大数据采集、沟通、链接、开发、使用的有序进行。如果在政府层面,科技技术进步引发制度创新,制度创新进一步激发思维创新,这将开启的是一个有为政府高效运转的良性循环。
大数据时代的社会风险
大数据在带来大知识、大发展、大价值的同时,也潜藏着巨大的社会风险,本书作者指出,政府和公共部门应当对大数据的局限性、不完美性保有清醒的认识,通过系统性的制度创新,迎接大数据带来的问题与挑战。
任何时代的开启都将伴随着混乱和阵痛,重要的是时代本身能否提供自身纠错机制,假若市场不能完成对“权利”和“技术”的纠错,那么法律、制度的跟进将至关重要。在以政府为主导的公共服务大数据整理中,作为数据的收集、使用、开发、开放、管理、维护部门,更应兼顾起数据安全卫士的职责。政府部门在针对整体进行调研、决策之时,提取的仅仅是相关数据的整体,进行的是趋势、成因、结构性分析;而在针对个体进行精细化服务时,信息使用应以有效服务为前提,屏蔽个人无关信息数据,避免过度联系,是对服务对象应用的尊重,也是政府公共服务部门应牢固建立的公共服务伦理意识。
以上是小编为大家分享的关于大数据开启 行政服务2.0时代的相关内容,更多信息可以关注环球青藤分享更多干货
C. 刘永川是谁
刘永川是中国1980年代至90年代的留学生代表人物他于1982年获得中国西北工业大学的航空机械学士、1986年获得北京大学的社会学硕士,同年赴美留学;1993年获得美国斯坦福大学的统计计算硕士和社会学博士,此后,刘博士在斯坦福大学亚太研究中心从事医疗服务的比较研究工作、在美国IBM研究院研究因果分析的方法和算法、在圣地牙哥加利福尼亚大学瑞帝管理学院研究落后地区创新创业的社会环境并担任研究员;1987年担任斯坦福大学中国学生学者联合会会长;1988年担任加州中国学生学者联合会主席;1989年7月担任全美中国学生学者自治联合会首届主席;1990年8月担任全球中国学联首届总召集人;1995年至1997年,刘博士在美国硅谷主办 “中美科技园区高峰会议”和“中美兵兵外交25周年纪念”等;2002年至2011年在南加州大学马歇尔商学院和尔湾加州大学保罗梅拉吉商学院教授博士研究生的高级社会研究方法,刘博士曾到南亚的斯里兰卡、中亚的哈萨克斯坦与吉尔吉斯斯坦和非洲的肯尼亚从事扶贫项目评估方法和创业发展援助的项目;2009年创建“研究方法与数据科学”全球协会并担任负责人;自2010年起担任多家跨国公司如:“TRG” 和“RS” 的首席数据科学家,刘博士提出精神资本主导的四资本发展理论和相关的整体论方法;自2013年起担任 IBM 大数据分析的首席数据科学家,近年专注于方法的中西比较分析,应用大数据和人工智能来表述中国方法和中国文化。
D. 列举几个学者对于大数据技术下电子商务领域的观点或者研究现状(两个即可,从那本书或者哪篇文章中提出
摘要大数据背景下电子商务的发展现状
E. 大数据时代的作者简介
维克托·迈尔·舍恩伯格(Viktor Mayer-Schönberger)他是十余年潜心研究数据科学的技术权威,他是最早洞见大数据时代发展趋势的数据科学家之一,也是最受人尊敬的权威发言人之一。他曾先后任教于世界最著名的几大互联网研究学府。现任牛津大学网络学院互联网治理与监管专业教授,曾任哈佛大学肯尼迪学院信息监管科研项目负责人,哈佛国家电子商务研究中网络监管项目负责人;曾任新加坡国立大学李光耀学院信息与创新策略研究中心主任。并担任耶鲁大学、芝加哥大学、弗吉尼亚大学、圣地亚哥大学、维也纳大学的客座教授。他的学术成果斐然,有一百多篇论文公开发表在《科学》《自然》等著名学术期刊上,他同时也是哈佛大学出版社、麻省理工出版社、通信政策期刊、美国社会学期刊等多家出版机构的特约评论员。他是备受众多世界知名企业信赖的信息权威与顾问。他的咨询客户包括微软、惠普和IBM等全球顶级企业;而他自己早在1986年与1995年就担任两家软件公司的总裁兼CEO,由他的公司开发的病毒通用程序,成为当时奥地利最畅销的软件产品。1991年跻身奥地利软件企业家前5名之列,2000年 被评为奥地利萨尔斯堡州的年度人物。他也是众多机构和国家政府高层的信息政策智囊。他一直专注于信息安全与信息政策与战略的研究,是欧盟专家之一,也是世界经济论坛、马歇尔计划基金会等重要机构的咨询顾问,同时他以大数据的全球视野,熟悉亚洲信息产业的发展与战略布局,先后担任新加坡商务部高层、文莱国防部高层、科威特商务部高层、迪拜及中东政府高层的咨询顾问。所著《大数据》一书是开国外大数据系统研究的先河之作,而在这之前,他已经在《经济学人》上和数据编辑肯尼斯·尼尔-库克耶一起,发表了长达14页的大数据专题文章,成为最早洞见大数据时代趋势的数据科学家之一。而他的《删除》一书,同样被认为是关于数据的开创性作品,并且创造了“被遗忘的权利”的概念而在媒体圈和法律圈得到广泛运用。该书获得美国政治科学协会颁发的唐·K·普赖斯奖,以及媒介环境学会颁发的马歇尔·麦克卢汉奖。同时受到《连线》、《自然》《华尔街日报》《纽约时报》等各大权威媒体广泛好评。
F. 大数据之父舍恩伯格:互联网比你更了解你
大数据之父舍恩伯格:互联网比你更了解你
牛津大学网络研究院网络监督及管理学教授,研究领域为网络经济。曾任哈佛大学肯尼迪学院信息监管科研项目负责人,哈佛国家电子商务研究中心网络监管项目负责人;曾任新加坡国立大学李光耀学院信息与创新策略研究中心主任。并担任耶鲁大学、芝加哥大学、弗吉尼亚大学、圣地亚哥大学、维也纳大学的客座教授。
有100多篇论文公开发表在《科学》、《自然》等著名学术期刊上,同时也是哈佛大学出版社、麻省理工出版社、通信政策期刊、美国社会学期刊等多家出版机构的特约评论员。
信息权威与顾问,咨询客户包括微软、惠普和IBM等全球顶级企业。早在1986年与1995年就担任两家软件公司的总裁兼CEO,1991年跻身奥地利软件企业家前5名之列,2000年被评为奥地利萨尔斯堡州的年度人物。
机构和国家政府高层的信息政策智囊,专注于信息安全与信息政策与战略的研究,是欧盟专家之一,也是世界经济论坛、马歇尔计划基金会等机构的咨询顾问,先后担任新加坡商务部高层、文莱国防部高层、科威特商务部高层、迪拜及中东政府高层的咨询顾问。
超过两年没穿的衣服会送人,拍得不好看的照片要当即删除
大数据之父舍恩伯格:互联网比你更了解你
时代周报记者 韩玮 发自上海
舍恩伯格又要戴着他标志性的约翰·列侬式的圆眼镜来中国了。
9月25日,时代周报举办2015“影响力·中国”秋季峰会,舍恩伯格将受邀出席,讲他最擅长的大数据。
最近两年,这位数据科学领域的权威学者每隔几个月就会出现在中国,而他所到之处,无不受到媒体、读者的簇拥。
舍恩伯格之所以在国内名声大噪,主要是因为他的两本畅销书、关于大数据的先河之作—《大数据:一场将改变我们生活、工作和思考方式的革命》(Big Data :A Revolution That Will Transform How We Live, Work, and Think,中文版又名《大数据时代》)以及《删除:大数据取舍之道》(Delete: The Virtue of Forgetting in the Digital Age)。前者揭示了大数据给人类带来的巨大改变,后者则尝试探索大数据时代人类应该如何构建积极而安全的未来。
作为最早洞悉大数据发展趋势的数据科学家,舍恩伯格在国内受追捧并不奇怪。毕竟,此刻的中国—国务院刚刚印发《促进大数据发展行动纲要》,提出推动大数据发展和应用在未来5-10年逐步实现的目标及主要任务。国内的大数据产业正迎来大发展时期。
而由于大数据太火,在这个新淘金时代,人们对舍恩伯格的兴趣不再停留于他的研究,还延伸至他本人以及他获得一系列学术成就的过程。
恰好,舍恩伯格是个性格有趣而经历丰富的人。比如,他曾因不想继承家业而与父亲争执数十年,最终走上学术之路。
代码少年
“我母亲以前经营一家电影院,我每年都会问她,过去一年最好的电影是什么?她总是说,我知道,是×××。但她总是错的。”
舍恩伯格常常在演讲中提起这个例子,尽管只是为了佐证大多数人都需要数据分析工具这个观点,但无意间却把很多人的兴趣引向了他的过去。
这位如今在全球数据科学领域极具名望的科学家其实算得上是“富二代”。他出生在距离莫扎特故乡奥地利萨尔茨堡两小时车程的一个小镇上,父亲是当地的税务律师,有自己的事务所;母亲则打理着小型电影院、花店等生意。
1966年,舍恩伯格出生那年,他的父亲买来了小镇上的第一台电脑,价格不菲。当时,镇上所有人都觉得他疯了,肯定会破产。而这台巨大的个人电脑运转时发出的嗡嗡声陪伴了舍恩伯格的整个童年。
小时候,舍恩伯格喜欢看阿斯特丽德·林德格伦的童话书。这位已故瑞典作家最著名的作品是那本充满想象力的《长袜子皮皮》。而那时的舍恩伯格梦想成为发明家,因为,让想法变成现实是一件特别诱人的事。
“如果还可以和林德格伦共进午餐,我想问她,她如何激发自身的想象力?爱因斯坦说过,想象力比知识更重要。”舍恩伯格说。
读书时,舍恩伯格最喜欢的科目是物理和数学,进而又对计算机着迷。十一二岁时,他就想用那台嗡嗡作响的电脑编程。
“当时,只有大学才有计算机,我就去当地大学报了一门编程课。但老师觉得我不可能学会,就让我自己玩。于是,我便在角落里自学。”到了高中时期,这位天赋异禀的少年先后在国际物理奥林匹克竞赛和奥地利青年程序员竞赛中获了奖。
17岁时,舍恩伯格第一次触网。当时,他无意间得到一个声音耦合器,其实不过是简陋的调制解调器—使用者得把电话听筒与之连接,从而激活以声音传送方式进行的数据传输。
在此之前,舍恩伯格听说过互联网,但从没体验过。于是,他捣鼓了好几个月,试掉了一大笔电话费,最终连上了一个提供初级的邮件、论坛等商业在线服务的无线电通讯网站“The Source”。此后,舍恩伯格便一发不可收拾,对网络着了迷。
1986年,年仅20岁、没读完大学的舍恩伯格“创业”了—成立杀毒软件公司Ikarus,并开发了一款当时奥地利最畅销的软件Virus Utilities。至今,网络对Virus Utilities的介绍上写着,这是一款剽悍的杀毒软件。1991年,年轻的舍恩伯格还被评选为奥地利最顶尖的5位软件企业家之一。
这段程序员的经历为舍恩伯格的未来打下了基础。许多年后,在《大数据时代》这本书中,舍恩伯格写道,真正的数据科学家是统计学家、软件程序员、图形设计师与作家的结合体。
父与子
在舍恩伯格的学术之路上,很难绕开的一个人物,就是买来了小镇上第一台电脑的父亲。
舍恩伯格与父亲的关系并不差。至今,他记忆最深的关于父母的细节是,每天晚餐后,父亲都会耐心听他讲述那天发生的事以及他的一些想法。舍恩伯格觉得,这是父亲的“超能力”。
不过,父亲始终不希望舍恩伯格满脑子想着如何成为计算机学家,尽管他迁就儿子喜欢计算机。这位在小镇上有头有脸的税务律师总在劝说自己的孩子尽早学完法律,继承家业。在子承父业和投身计算科学之间,舍恩伯格与父亲争执了数十年,直到后者去世。
而在20岁左右的年龄,舍恩伯格还是顺从父亲,先在奥地利萨尔茨堡大学读了法学本科。据说,因为法律太无趣,这位学霸硬是在3年半里读完了7年的书。
接着,父亲要求舍恩伯格继续在法律上深造,但这个年轻人心不甘情不愿,于是便赌气地只申请了一所学校—哈佛。他觉得,自己肯定不会被录取。
收到录取通知书那天,舍恩伯格以为是朋友开玩笑,于是按照上面的电话号码打过去斥责,“这是愚蠢的玩笑!”而电话另一头却有声音说,“不,这里是哈佛。有什么能帮你吗?”
这不是舍恩伯格唯一一次“厚积薄发”。其实,在学生时代的大部分时期,舍恩伯格虽然出色,但不是最出色的那个。但到了最后一个学年,他就像突然间开了窍,过去学过的东西顿时“融会贯通”了。于是,出乎所有人包括他自己的意料,他在毕业前的最后一次考试中获得了学生生涯唯一一次的全A。
而在美国最古老的法学院哈佛法学院,舍恩伯格开始觉得自己学的法律不再像本科时那么了无生趣。尽管如此,他依然不想学成后接手父亲的公司。
有记者采访舍恩伯格时曾问,“你后来为什么当上了大学教授?”他说,“我一直想成为发明家,直到我那个一直‘逼’我接手家业的父亲有天问我,如果不想做税务律师,你想做什么时,我才下定决心当大学教授。至少,对于我父母来说,这会是一个比发明家更容易接受、更受人尊敬的工作。”
从哈佛毕业后,舍恩伯格又拿到了萨尔茨堡大学的法学博士以及伦敦政经学院的理学硕士学位,并依照对父亲的承诺,在伦敦一所大学谋得了教职。
当时,舍恩伯格的父亲面对这样的局面依然感到有些失落,最后竟然猝然辞世。父亲去世的第二天,舍恩伯格选择离开伦敦,放弃自己的事业和学术,回到自家的镇子上,做起了以前无数次拒绝的税务律师。
“我的人生,和大多数人一样,既是连贯的,同时又屡受波折。我最初喜欢物理、数学,转而对计算机产生兴趣,进而关注数据安全和数据编码,并喜欢上了研究隐私法、知识产权法以及网络法。依照这个路径,数据逐渐成为我关注的重点。但我的生活又被一次次打乱。比如,父亲的离世让我放弃了原来的事业规划,回到了老家;但一年后,我又卖掉父亲的公司,艰难地重回学术圈;后来,偶然的机会让我得以到哈佛大学肯尼迪学院任教。某种意义上说,这些波折给我制造了意想不到的困难,但也带来了意想不到的机会。”舍恩伯格告诉时代周报记者。
大数据之父
自1998年始,舍恩伯格的学术研究步入正轨。他进入哈佛大学肯尼迪学院任教,并在那里度过了10年。此后,他曾在新加坡国立大学李光耀公共政策学院做过3年副教授,借机观察亚洲的信息政策,而今则在牛津大学互联网研究院担任治理与监管专业的教授。
这10余年间,互联网飞速发展,人们开始使用手机上网、聊天、购物,完成很多过去必须线下操作的事。而这些变化都被舍恩伯格陆续记录在论著里。
2010年,在舍恩伯格组织的一次研讨会上,几乎所有参会者发言时都开始提及社会运转模式正在发生某种改变,但谁也说不出这种变化的实质是什么。当时,《经济学人》的数据编辑肯尼思·库克耶(Kenn Cukier)也在会场,他不久前刚做过一期《大数据的冲击》的特刊报道。
那场研讨会后,舍恩伯格与库克耶进行了很多次深入交谈,“然后,我们决定合写一本书,探讨大数据对于当下的意义以及大数据时代的本质”。
2012年12月,舍恩伯格与库克耶合写的《大数据时代》出版。这本大数据研究的先河之作不仅广受媒体好评,还让舍恩伯格知名度大涨。
在书里,舍恩伯格通过各种例子展现大数据带来的改变。比如,一家叫Farecast的公司通过近十万亿条价格记录来预测美国国内航班的票价。到2012年为止,票价预测的准确率达到75%,使用Farecast票价预测工具购买机票的旅客,平均每张机票可节省50美元。
“大数据的核心是预测。它通常被视为人工智能的一部分,或者说是一种机器学习。但其实,这种定义具有误导性。大数据不是要教机器像人一样思考,相反,它是把数学算法运用到海量数据上来预测事情发生的可能性。”舍恩伯格写道。
在这本书里,舍恩伯格还提出了一个广为引用的观点—大数据关注的不是随机样本,而是全体数据;不是精确性,而是混杂性;不是因果关系,而是相关关系。
“具体来说,大数据的目的是全面的数据收集和分析;同时,我们要明白,在数据质量和数据数量之间要有一个平衡,所以,‘不是精确性,而是混杂性’,而‘不是因果关系,而是相关关系’,这是让我们意识到,因果关系不再是解释这个世界的唯一逻辑。”舍恩伯格告诉时代周报记者。
此外,舍恩伯格还是倡导大数据商业应用的第一人。在《大数据时代》中,他指出,如今的数据已经成为一种商业资本、一项重要的经济投入,可以创造新的经济利益。而这也是他屡屡被正在大力推动大数据产业发展的中国人当作座上宾的原因之一。
在关注数据的价值之余,舍恩伯格感兴趣的另一重要领域是如何避免数据被滥用。在早于《大数据时代》出版的《删除:大数据取舍之道》一书中,舍恩伯格提出了数字时代最大的问题:互联网记住了人们希望自己忘记的东西。当遗忘成为例外,记住变成常态,人类理性决策的能力就会受到威胁。所以,在大数据时代,所有人都应该享受“被遗忘的权利”。
事实上,舍恩伯格本人早早地为自己确立了一套关于删除的生活准则。比如,那些超过两年没穿的衣服会被他送人或处理;那些拍得不好看的照片,他会当即删除。因为,“如果不删除,在数字时代,互联网可能会比你自己更加了解你”。
舍恩伯格这些新颖的想法曾一度让读者直呼开了眼界。而目前,他告诉时代周报记者,自己的兴趣点转到了小型无人机上。其实,一直以来,舍恩伯格对飞机驾驶以及基于大数据分析的无人驾驶都颇感兴趣。只是不知道,这位数据科学家未来又会在这个问题上带来怎样“让人感觉脑洞大开”的思考。
对话舍恩伯格:
“只要他们不滥用权力,不必对数据寡头反垄断”
时代周报记者 韩玮 发自上海
9月13日,在接受时代周报记者独家专访时,舍恩伯格讲述了自己对大数据的一些理解,以及收获这些理解的过程。
影响最深的人是高中物理老师
时代周报:今年暑假,以艾伦·图灵为原型的传记电影《模仿游戏》在中国上映,感动了很多人。你看过这部影片吗?艾伦·图灵是计算机科学之父,他对你从事数据科学研究是否有影响?
舍恩伯格:我看过这部电影。事实上,很多年前,我就读过一些图灵的论著。你可能记得,我以前做软件公司时就需要编码,所以,图灵的书肯定要看。
不过,影响我最深的人不是图灵,而是我的高中物理老师。他让我开始接触到熵的概念、相对论、量子理论等。对于我来说,他就像是为我打开了通往新世界的大门。
时代周报:大家都认为你是当今最重要的数据科学家之一。我特别好奇,大数据给你本人的日常生活带来改变了吗?
舍恩伯格:我是大数据服务的“大用户”。平常,我会戴苹果手表,一直以来,它为我的身体健康提供了很多帮助;我也喜欢诸如亚马逊一类的电子商务公司,同时,还经常使用谷歌地图。此外,维基网络对我来说是个难得的好帮手,它让我比过去更加容易获得有用的信息,对我的帮助很大。
时代周报:我今年曾采访过畅销书《大停滞》(The Great Stagnation)的作者、美国经济学家泰勒·考恩。在谈到对大数据的看法时,他告诉我,“大数据被高估了,因为,大多数人都不知道他们手握的这些数据要用来干什么,企业也一样。大数据能帮助我们在某些边缘地带提高效率,比如针对性的广告,但它无法改变全局。这其中,最困难的是问对问题,并且找到问题背后特定的模式,再用数据去加以匹配。这非常难以实现。”你认同他的观点吗?
舍恩伯格:我非常欣赏泰勒·考恩,《大停滞》是一本很棒的著作。我还曾引用过这本书里的一些观点。但在大数据的问题上,我觉得他的观点是错误的,或许,这是因为这方面不是他所研究的核心专业领域。
大数据可减少资源不公平的危害
时代周报:现在,大多数行业提起大数据就言必称“这是一场行业革命,要颠覆过去”。你认为,大数据真的会颠覆那些传统行业吗?
舍恩伯格:会的,这种颠覆已经发生,并在快速进行。施乐帕罗奥尔托研究中心前主管约翰·西里·布朗(John Seely Brown)就发现,过去几十年,超大型企业的寿命正在缩短。与此同时,我们看到,就在最近几年,大数据驱动、估值达到数百亿美元以上的互联网企业不断涌现。在人类历史上,没有哪个时期在比今天更多的领域,发生比今天更快的变化。
时代周报:目前,中国存在网络、阿里巴巴、腾讯三大互联网巨头,分别统治着搜索、电商、社交三个领域,他们不断吸纳着用户的网上行为数据,几乎肯定会成为中国的数据寡头。你认为,在数据层面是否需要反垄断?
舍恩伯格:我认为必要的一点是,互联网要对新的创新主体保持开放的状态。只要大企业不滥用自己的权力,将那些更小但更好的初创企业赶出市场,那么,他们就不会制造太多的威胁。所以,我更关注的是这些企业的实际行为,而非他们的规模。
时代周报:除了数据,我知道,你还对教育问题有着深入研究。今年1月,你出版了一本名为《与大数据同行:学习和教育的未来》的新书,专门探讨大数据研究在教育领域的应用,以求真正实现因材施教。而中国教育的主要问题是教育资源分配不公平,大数据能解决这个问题吗?
舍恩伯格:大数据不能从根本上消除这种不公平,但是,通过大数据的手段,我们能以相对较低的成本提供高度个性化的教育,从而减少这种不公平带来的危害。换言之,大数据能让学生以很低的成本,获得至少像“私人家教”那样的订制教育。所以,大数据可以成为改变整个游戏的因子。
以上是小编为大家分享的关于大数据之父舍恩伯格:互联网比你更了解你的相关内容,更多信息可以关注环球青藤分享更多干货
G. 《大数据时代》的读后感
认真品味一部名著后,你有什么领悟呢?现在就让我们写一篇走心的读后感吧。那么如何写读后感才能更有感染力呢?以下是我帮大家整理的《大数据时代》优秀读后感范文,希望能够帮助到大家。
《大数据时代》优秀读后感范文1
这书读起来不费劲,没有太多晦涩的理论,所以也比较快速的用了几天的中午休息时间读完了。
网上到处都是推荐此书的文章,赞为大数据的经典之作。可是,我读了一遍下来,却没有这种经典之感,只是必须叹服作者思维严密、涉猎广泛,书中有关大数据的例子真是不少,会给我们的阅读带来一定的舒适感和现实感。
已经看过太多网上的关于大数据的文章、案例分析,但是我认为大数据仅仅是一种手段,是我们分析认识世界的诸多手段中的一种。我们既不要拒绝排斥大数据的应用,但也没必要神话大数据。
在读此书过程中,稍带也看了几部关乎大数据分析的影片,有本书中提到的《少数派报告》,还有《永无止境》、《源代码》。少数派报告中,人类借助先知的超能力获取对犯罪的预测和提前打击,但是书中和影片中都提到的有一个悖论的问题:如果你预测某犯罪要发生,所以去提前抓捕,阻止了案件的发生,但案件没有发生,又以什么为依据来抓捕嫌疑人呢?!所以,我认为大数据的应用在预测方面的作用,不应该涉及任何行政司法等严肃方向。因为,人是善变的,也许在预测之后的时间里,由于其它因素影响,t她的决定就突然改变,预测就彻底无效了。大数据,更应该在提供思路、途径方向,在我们还没有发现其原理之前,先依照大数据的分析去做些突破常规、有创造性的事情。
从古至今,对数据的统计应用一直没有中断过,我们人类在发挥聪明才智的过程中,创造了文字记录历史,通过积累和总结为人类的文明发展做出了极大的贡献。只不过,现在我们利用计算机系统对日益暴涨的数据信息能够处理的数据量更大、想法更多了。在这个角度上,大数据其实不过是人类信息化发展历史中的一个必然过程。
大数据爆发的背景,是计算机普及应用、工作和生活信息化、网络尤其是互联网的发达等因素,为之提供了能够使用的超大规模数据化信息。就如计算机与人下棋的程序一样,掌握了足够的棋局数据、能够推算每一步之后的可能,快速的运算能力是实现这些的基础。
大数据本身是无意识的,或者叫无目的,是因为使用的人的发现或主观意识,才从中抓取到符合所想或支持所想的一些数据和比例。人才是核心。别以为有个所谓的大数据中心就能够挥斥方遒、指点江山了。这也是我说要对大数据去神化的一点。书中所举例子,成功的案例其实都基本是一个打破常规、奇思异想的人或一个具备创新思维的团队,而这个人或团队一旦陷入对现有模式的僵化应用或崇拜,失败的结果也是必然。我想说的是,无论是大数据还是快数据什么的玩意,都仅仅是我们了解世界了解社会的一个角度一种手段,都始终无法摆脱依赖于人的思考这个根本。别一叶障目不见泰山的意味有了大数据就拥有了整个世界,你的心有多大,舞台才有多大。只有当你的思考抵达,那些个曾经没有价值的数据垃圾,才会焕发出价值!不要荒废了你的思考这个核心!
作者说大数据只讲结果不讲原因。这个状态我认为仅仅是一个过渡时期的表现,如果要实现对大数据分析应用的更加精准、甚至可以作为某种依据,必然要获得对大数据分析的果的可靠解释,也从而能对我们现有的行为、制度等获得新的认识,来进行可行的改变、升级或者重造,大数据的指导意义才发挥更深。
人们都说,中外著述的差距有时是很大的,中国的作家习惯铺垫和描绘,将简单的事情复杂化;国外的就相反,喜欢直捣要害,将复杂的事情抽象简单化。不知道是不是我不很适应国外这类书籍的缘故,对大数据时代一书,我没有感受到很多的震撼和脑洞大开感,也许和现在各类大数据的文章太多有关,已经把此书的观点各自领用发挥了一番,也许是我还没有领会到精华所在。既然人们都奉为经典,那我想或许我应该隔一段时间、换个姿势,再重读此书,看看是不是会有新的感受吧。
《大数据时代》优秀读后感范文2
对于畅销书刊、热点话题、时尚科技,始终不太感兴趣。书刊,喜欢有一定年份的。话题,钟情于务虚的观点。新奇的产品于我无缘,习惯使用成熟的科技产品。既不清高,也非冷漠,就是要与现实保持一定的距离,给自己留一点思考的空间。这一习惯最近破了例。由于工作的原因,耳濡目染,“大数据”这个新兴概念开始频繁步入我的视野。按捺不住内心的好奇,网购《大数据时代》,手不释卷,三天读完,颇有收获。此书有如下特点。
首先,作者站在理论的制高点上,条理清楚地阐述了大数据对人类的工作、生活、思维带来的革新,大数据时代的三种典型的商业模式,以及大数据时代对于个人隐私保护、公共安全提出的挑战。其次,文中的事例贴近现实生活,贴近时代,令读者既印象深刻,又感同身受。此外,作者没有使用大量的专业术语,没有假装一副专业的面孔。纵观全书,遣词造句,均通俗易懂。
作者认为大数据时代具有三个显著特点。
一、人们研究与分析某个现象时,将使用全部数据而非抽样数据。
二、在大数据时代,不能一味地追求数据的精确性,而要适应数据的多样性、丰富性、甚至要接受错误的数据。
三、了解数据之间的相关性,胜于对因果关系的探索。“是什么”比“为什么”重要。
作者指出,随着技术的发展,数据的存储与处理成本显著降低,人们现在有能力从支离破碎的、看似毫不相干的数据矿渣中抽炼出真知烁见。在大数据时代,三类公司将成为时代的宠儿。一是拥有大数据的公司与组织。如政府、银行、电信公司、全球性互联网公司(阿里巴巴、淘宝网)。二是拥有数据分析与处理技术的专业公司,如亚马逊、谷歌。
三是拥有创新思维的公司,他们可能既不掌握大数据,也没有专业技术,但却擅长使用大数据,从大数据中找到自己的理想天地。面对即将来临的大数据时代,个人将如何应对自如?这是个严肃的问题。
《大数据时代》优秀读后感范文3
如今说起新媒体和互联网,必提大数据,似乎不这样说就OUT了。而且人云亦云的居多,不少谈论者甚至还没有认真读过这方面的经典着作——舍恩佰格的《大数据时代》。维克托·迈尔舍恩伯格何许人也?他现任牛津大学网络学院互联网研究所治理与监管专业教授,曾任哈佛大学肯尼迪学院信息监管科研项目负责人。他的咨询客户包括微软、惠普和IBM等全球企业,他是欧盟互联网官方政策背后真正的制定者和参与者,他还先后担任多国政府高层的智囊。这位被誉为:大数据时代的预言家“的牛津教授真牛!那么,这位大师说的都是金科玉律吗?并不一定,读大师的作品一定要做些功课才好读懂,才能能与之进行一场思想上的对话。
舍恩伯格分三部分来讨论大数据,即思维变革、商业变革和管理变革。在第一部分”大数据时代的思维变革“中,舍恩伯格旗帜鲜明的亮出他的三个观点:
一、更多:不是随机样本,而是全体数据。
二、更杂:不是精确性,而是混杂性。
三、更好:不是因果关系,而是相关关系。对于第一个观点,我不敢苟同。一方面是对全体数据进行处理,在技术和设备上有相当高的难度。另一方面是不是都有此必要,对于简单事实进行判断的数据分析难道也要采集全体数据吗?
我曾与香港城市大学的祝建华教授讨论过。祝教授是传播学研究方法和数据分析的专家,他认为一定可以找到一种数理统计方法来进行分析,并不一定需要全部数据。联系到舍恩伯格第二个观点中所说的相关关系,我理解他说的全体数据不是指数量而是指范围,即大数据的随机样本不限于目标数据,还包括目标以外的所有数据。我认为大数据分析不能排除随机抽样,只是抽样的方法和范围要加以拓展。
我同意舍恩伯格的第二观点,我认为这是对他第一个观点很好的补充,这也是对精准传播和精准营销的一种反思。”大数据的简单算法比小数据的复杂算法更有效。“更具有宏观视野和东方哲学思维。对于舍恩伯格的第三个观点,我也不能完全赞同。”不是因果关系,而是相关关系。“不需要知道”为什么“,只需要知道”是什么“。传播即数据,数据即关系。在小数据时代人们只关心因果关系,对相关关系认识不足,大数据时代相关关系举足轻重,如何强调都不为过,但不应该完全排斥它。大数据从何而来?为何而用?如果我们完全忽略因果关系,不知道大数据产生的前因后果,也就消解了大数据的人文价值。如今不少学者为了阐述和传播其观点往往语出惊人,对旧有观念进行彻底的否定。
世间万物的复杂性多样化并非非此即彼那么简单,舍恩伯格也是这种二元对立的幼稚思维吗?其实不然,读者在阅读时一定要看清楚他是在什么语境下说的,不要因囫囵吞枣的浅读而陷入断章取义的误读。比如说舍恩伯格在提出”不是因果关系,而是相关关系。“这一论断时,他在书中还说道:”在大多数情况下,一旦我们完成了对大数据的相关关系分析,而又不再满足于仅仅知道‘是什么’时,我们就会继续向更深层次研究的因果关系,找出背后的‘为什么’。“[i]由此可见,他说的全体数据和相关关系都在特定语境下的,是在数据挖掘中的选项。
大数据研究的一大驱动力就是商用,舍恩伯格在第二部分里讨论了大数据时代的商业变革。舍恩伯格认为数据化就是一切皆可”量化“,大数据的定量分析有力地回答”是什么“这一问题,但仍然无法完全回答”为什么“。因此,我认为并不能排除定性分析和质化研究。数据创新可以创造价值,这是毫无疑问的。舍恩伯格在讨论大数据的角色定位时仍把它置于数据应用的商业系统中,而没有把它置于整个社会系统里,但他在第二部分大数据时代的管理变革中讨论了这个问题。
在风险社会中信息安全问题日趋凸显。如何摆脱大数据的困境?舍恩伯格在最后一节”掌控“中试图回答,但基本上属于老生常谈。我想,或许凯文·凯利的《失控》可以帮助我们解答这个问题?至少可以提供更多的思考维度。正如舍恩伯格在结语中所道:”大数据并不是一个充斥着算法和机器的冰冷世界,人类的作用依然无法被完全替代。大数据为我们提供的不是最终答案,只是参考的答案,帮助是暂时的,而更好的方法和答案还在不久的未来。“谢谢舍恩伯格!让大数据讨论从自然科学回到人文社科。由此推断,《大数据时代》不是最终答案,也不是标准答案,只是参考的答案。此外,在阅读此书之前还必须具备一些数据科学的基本知识和基本概念,比如说什么叫数据?什么叫大数据?数据分析与数据挖掘的区别,数字化与数据化有什么不同?读前做些功课读起来就比较好懂了。
《大数据时代》优秀读后感范文4
读完《大数据时代》这本书后,我意识到:我们即将或正在迎接由书面到电子的跳跃之后的又一重大变革。
这本书介绍了大数据时代来临后,接踵而至的三项变革——商业变革、管理变革和思维变革。
其实,这场变革已经打响。商业领域由于大数据时代的到来而推陈出新。前几年,一家名为Farecast的公司,让预订到更优惠的机票价格不再是梦想。公司利用航班售票的数据来预测未来机票价格的走势。现在,使用这种工具的乘客,平均每张机票可以省大约50美元,这就是大数据给人们带来的便利。
大家应该都知道2009年出现的H1N1型流感,就拿美国为例,疾控中心每周只进行一次数据统计,而病人一般都是难以忍受病痛的折磨才会去医院就诊,因此也导致了信息的滞后。然而,对于飞速传播的疾病,Google公司却能及时地作出判断,确定流感爆发的地点,这便是基于庞大的.数据资源,可见大数据时代对公共卫生也产生了重大的影响!在我看来,如果想在在大数据时代里畅游,不仅要学会分析,而且还要能够大胆地决断。
在美国,每到七、八月份时,正是台风肆虐之时,防涝用品也摆上了商品货架。沃尔玛公司注意到,每到这时,一种蛋挞的销售量较其他月份明显增加。于是,商家作了大胆的推测,出现这样的结果源于两种物品的相关性,便将这种蛋挞摆在了防涝用品的旁边。这样的举措大大增加了利润,这就是属于世界头号零售商的大数据头脑!大数据时代的到来,可以让我们的生活更加便利。但是,如果让大数据主宰一切,也存在一定的风险。
大家应该都知道电子地图,它可以为人们指引方向。但大家应该还不知道,它会默默地积累人们的行程数据,通过智能分析可以推断出哪里是自己的家,哪里是工作单位。我们的隐私就这样被不为人知地收集着。大数据时代的到来,让我们的生活更安全,更方便,但与此同时,我们的隐私不再是隐私,数据的收集变得无所不包、无孔不入。世界已经向大数据时代迈进了一小步,一个崭新的时代正向我们走来。让我们用知识武装大脑,做好准备,迎接新时代的到来!
《大数据时代》优秀读后感范文5
现在已经进入到了二十一世纪了,当今社会已经摆脱了上个世纪的那种消息滞后的时代了,我们最应该感谢的就是科学的进步为我们带来了这么多便利。与此同时,科学的进步还为我们带来了“大数据”这个让人类减少了很多工作量的东西。
在这个学期的名著导读课上我们就被要求读:《大数据时代》这本书。《大数据时代》是国外大数据系统研究的先河之作,本书作者维克托·迈尔·舍恩伯格被誉为“大数据时代的预言家”,他是一个特别厉害的人,他作为一个教师,他曾经在哈佛大学、牛津大学、耶鲁大学和新加坡国立大学等多所世界前列名校任教的经历。他作为一个科学家,早在2010年就在《经济学人》上发布了长达14页对大数据应用的前瞻性研究。他是十余年潜心研究数据科学的技术权威。他是最早洞见大数据时代发展趋势的数据科学家之一,也是最受人尊敬的权威发言人之一。现任牛津大学网络学院互联网治理与监管专业教授,曾任哈佛大学肯尼迪学院信息监管科研项目负责人,哈佛国家电子商务研究中网络监管项目负责人;曾任新加坡国立大学李光耀学院信息与创新策略研究中心主任。并担任耶鲁大学、芝加哥大学、弗吉尼亚大学、圣地亚哥大学、维也纳大学的客座教授。
他作为一个研究学者,他的学术成果斐然,有一百多篇论文公开发表在《科学》《自然》等著名学术期刊上,他同时也是哈佛大学出版社、麻省理工出版社、通信政策期刊、美国社会学期刊等多家出版机构的特约评论员。他是备受众多世界知名企业信赖的信息权威与顾问。他的咨询客户包括微软、惠普和IBM等全球顶级企业;”大数据”在网络上搜索到的解释是:称巨量资料,指的是所涉及的资料量规模巨大到无法透过目前主流软件工具工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。特点:数量、速度、品种、真实性。而舍恩伯格认为,大数据并不能定义一个确切的概念。他提到”大数据是人们获得新的认知,创造新的价值的源泉;大数据还是改变市场、组织机构,以及政府和公民关系的方法。”这是一种更具有人文色彩和社会意义的诠释。
大数据不仅改变了公共卫生领域,整个商业领域都因为大数据而重新洗牌。购买飞机票就是一个很好的例子。就像书中写到2003年,奥伦·埃齐奥尼准备乘坐从西雅图到洛杉矶的飞机去参加弟弟的婚礼。他知道飞机票越早预订越便宜,于是他在这个大喜日子来临之前的几个月,就在网上预订了一张去洛杉矶的机票。在飞机上,埃齐奥尼好奇地问邻座的乘客花了多少钱购买机票。当得知虽然那个人的机票比他买得更晚,但是票价却比他便宜得多时,他感到非常气愤。于是,他又询问了另外几个乘客,结果发现大家买的票居然都比他的便宜。
飞机着陆之后,埃齐奥尼下定决心要帮助人们开发一个系统,用来推测当前网页上的机票价格是否合理。作为一种商品,同一架飞机上每个座位的价格本来不应该有差别。但实际上,价格却千差万别,其中缘由只有航空公司自己清楚。
埃齐奥尼表示,他不需要去解开机票价格差异的奥秘。他要做的仅仅是预测当前的机票价格在未来一段时间内会上涨还是下降。这个想法是可行的,但操作起来并不是那么简单。这个系统需要分析所有特定航线机票的销售价格并确定票价与提前购买天数的关系。
在信息时代,信息安全问题的日趋凸显,数据独裁与隐私保护之间的矛盾更是立于风口浪尖,成为众矢之的,舍恩伯格在本书的最后章节曾试图寻找一种解决方式来摆脱这一种困境,但最终没能做到,但是他提出”大数据并不是一个充斥着算法的和机器的冰冷世界,人类的作用仍无法被完全代替。”这里表明人在数据时代同样的重要,数据是为人类服务的,也就该人类驱使下完成相应的目的。在这样的大环境下,常引起我更多的思考和担忧。
大数据时代对于我们同是机遇与挑战,一些国家已开始步入大数据时代的行列,并在各个领域开始研究和使用。而对于我国庞大的人口,以及较大的领土面积,都可以在大数据时代为我们提供数据的保障,而能否面临挑战,在大国之间的新一轮角色角逐间崭露头角,我们更需要解决技术等方面的问题,更应在政策上逐步开放各领域的数据,保证数据来源、权限等问题得到解决,不断学习先进的计算机技术,缩小与其他国家的差距。
H. 华邦嵩是一个什么样的学者
作为80后大数据研究的专家,华邦嵩在大数据的行业已经有一定的发言权,并且参与了多项大数据项目的研究和开发,他的专业、细致的工作作风,得到了学术界和企业的一致认可。
I. 大数据的权威定义
大数据是IT行业的术语,指的是无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据起源 2008年9月,美国《自然》杂志,正式提出“大数据”概念2011年2月1日,美国《科学》杂志,通过社会调查的方式,第一次分析了大数据对人们生活的影响2011年5月,麦肯锡研究院分布报告。大数据是指其大小超出了常规数据库工具获取,存储,管理和分析能力的数据集。具有4V特征(value,volume,velocity,variety)Value:价值高。Volume:体量大。(数据每个18月翻一番,而每年产生的数据量增长到44万亿GB)Velocity:速度快。(数据生成,存储,分析,处理远远超过人们的想象力)Variety:种类多。大数据的来源按产生主体(1)企业(关系型数据库,数据仓库)(2)人(浏览信息,聊天,电子商务……)(3)机器(服务器产生日志,视频监控数据)数据来源的行业划分(1)BAT三大公司为代表(2)电信、金融、保险、电力、石化系统(3)公共安全、医疗、交通领域(4)气象、地理、政务等领域(5)制造业和其他产业3.按数据存储的形式划分(1)结构化(2)非结构化二.大数据技术支撑大数据运用场景环境,教育,医疗,农业,智慧城市,零售业,金融业。大数据的处理方法数据采集数据抓取,数据导入,物联网设备自动抓取数据预处理数据清理,数据集成,数据转换,数据规约。转换:过平滑聚集、数据概化、规范化等方式将数据转换成适用于数据挖掘的形式。规约:寻找依赖于发现目标的数据的有用特征,缩减数据规模,最大限度地精简数据量。统计与分析统计与分析主要是利用分布式数据库,或分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总,以满足大多数常见的分析需求,在这些方面需要使用不同的框架和方法。Hadoop:大数据的核心,主要组成部分包括:maprece(处理)和HDFS(存储)和yarn(集群资源管理和调度);Hbase:常用数据库;spark:实时数据处理框架;sqoop:数据导入导出;flume:日志采集工具Hive:数据仓库,必须有SQL基础,可以做离线的数据分析,把复杂的maprece代码转化为简单的sql语句,而且可以处理的数据类型更加丰富,对接的工具也更多,是整个大数据学习中非常主要的一部分。
J. 大数据的产生与发展现状研究
摘 要:大数据的产生给未来信息技术带来新的机遇与挑战。大数据对数据处理的有效性、实时性提出了更高要求,需要根据大数据的特点对当前数据处理技术实施变革,从而形成更有益于大数据采集、存储、处理、管理、分析、共享的新兴技术。本文从大数据的产生与发展、特征、主要应用以及大数据所带来的挑战等方面进行阐述与分析。
关键词 :大数据 物联网 信息处理 海量计算
一、大数据的产生与发展现状
随着物联网、云计算等信息技术的飞速发展,大数据技术(Big Data)也越发进入人们的视线。大数据是用传统方法或工具很难处理或分析的数据信息。目前,人们对大数据的理解还不够全面和深入,关于大数据的含义也没有一个统一的定义。亚马逊大数据科学家John Rauser认为:大数据是超过任何一台计算机处理能力的庞大数据量。Informatica 的中国区首席顾问但彬指出:大数据是海量数据与复杂类型的数据的结合。而维基网络则把大数据定义成诸多大而复杂的、难以用当前数据库处理的数据集合。
大数据研究受到国内外学术界和工业界的广泛关注,已成为当今信息时代全世界讨论的热点。2008年,Nature杂志就推出大数据专刊,计算社区联盟也在同一年发表了报告《Big data computing; Creating revolutionary breakthroughs in commerce, science and society》,报告阐述了解决大数据问题所需的关键技术以及所面临的挑战。美国奥x政府于2012年3月在白宫网站发布了《大数据研究和发展倡议》,提出了通过收集、处理海量、复杂的数据信息,从而提升能力,加快科学和工程领域的创新步伐,转变学习教育模式,强化美国本土的安全”。2011年1月,微软公司同惠普公司合作开发了一系列能够提升生产力,同时提高决策速度的设备。此外,欧盟委员会也提出驾驳大数据浪潮的战略思路,日本发布的《面向 2020 的 ICT综合战略》也提出需要构造大量丰富的数据基础。
近年来,我国也积极开展对大数据的研究。2011年10月,工信部确认京沪深杭等 5 城市为“云计算中心”试点城市。2012年6月,中国计算机学会青年计算机科技论坛也举办了“大数据时代,智谋未来”学术报告研讨会。大数据及其科学研究方法涉及应用领域很广,并将与国计民生密切相关的科学决策、金融工程以及知识经济领域紧紧接合。
二、大数据的特点
目前,企业界和学术界都一致认为,大数据具有4个“V”特征,即:容量(Volume)、种类(Variety)、速度(Velocity)和至关重要的`价值(Value)。
(1) 容量(Volume)巨大。海量的数据集从TB 级别提升到PB 级别。
(2) 种类(Variety)繁多。大数据数据源有多种,数据格式和种类不同于以前所规定的结构化数据范畴。
(3)价值(Value)密度低。如视频的例子,在不间断连续监控的过程中,可能有意义的数据仅有一两秒。
(4)速度(Velocity)快。包含大量实时、在线数据处理分析的需求1秒钟定律。
三、大数据应用的领域
大数据产业的发展将推动全球经济由粗放型向集约型转变,这将对提升企业整体竞争力和政府监管能力具有意义深远的影响。
商业作为大数据的重要应用领域。沃尔玛公司通过对消费者购物行为等一系列非结构化数据的分析,了解不同顾客的购物习惯,公司从所销售的数据进行分析,从而选出适合在一起搭配出售的商品;淘宝也针对买家开设了大数据平台,为客户量身打造了一整套完善的网购体验产品。
大数据在金融业也起到了至关重要的作用。美国Equifax公司利用大数据技术,通过对其的数据库中与财务有关的记录海量信息进行索引处理和交叉分享,从而得到客户的个人信用等级,以推断出客户的支付需求与能力。
随着大数据在医疗与生命科学研究过程中的广泛应用和不断扩展。2010年,中国公布的《十二五规划》指出:要重点建设国家级、省级和地市级三级医疗卫生信息平台,建设电子病历和电子档案两个最为基础的数据库。各级医院也将在医疗信息仓库、数据中心等领域加大投入,医疗数据信息的存储将愈加被关注,医疗信息中心的关注焦点也将由传统的计算领域转为存储领域。
除此之外,大数据在制造业领域也有着广阔的应用。制造业企业积累了广泛的数据信息,在开展对业务数据进行技术管理的同时,企业需要通过大数据处理技术来帮助决策者从数据库储存的海量信息中找到有价值的信息,并且对其进行分析处理,从而增强决策的正确性、规避风险。
四、大数据所面临的挑战
大数据技术使人们能够更好地利用之前不能使用的各个数据类型,找出被忽略的信息,促进企业组织更加高效、智能。但随着对大数据研究的不断深入,人们也更加意识到当大数据技术向人们敞开“方便之门”的同时,也带来了众多的挑战:
(1)大数据需要更为专业化的管理技术人才。
(2) 大数据的合理利用需要解决容量大、类别多和时效性高的数据处理问题。
(3)大数据的利用对信息安全提出了更高要求。
(4)大数据的集成与管理问题。
这些挑战已成为关系到未来大数据发展的重要因素,同时也成为未来引领大数据发展的推动力。
五、结束语
大数据已经逐步渗透到人们工作生活的诸多领域中,对于大数据的研究也在不断的深化。本文针对大数据的产生与发展、特征、主要应用以及大数据所带来的挑战等方面进行阐述与分析。大数据的发展还处于初级阶段,还有更为广阔的空间需要人们不断开拓,如何合理地利用大数据、更加高效地处理大数据来为人们服务仍需要广大研究者不断地研究和探索。
参考文献:
[1]刘智慧,张泉灵.大数据技术研究综述[J].浙江大学学报,2014,46(6):957- 972.
[2]严霄凤,张德馨.大数据研究[J].计算机技术与发展,2013,23(4):168-172.
[3]刘俊.基于大数据流的Multi-Agent系统模型研究[J].计算机技术与发展, 2007,17(5):166-169.