大数据环境下抽样|如何认识大数据背景下统计学面临的挑战与机遇

㈠ 在大数据时代,抽样统计还有存在的必要吗

统计学能与大数据联系上吗?已上提问是统计学基本概念不清楚:有的专学者认为大数据时代统属计学过时了;实际上:这是一种错误学说,就是一个大呼悠。所为的大数据就是数据流大一点而已,从数据扩展到信息,并没有超出统计学描述的范围;也就是互联网、计算机、苹果手机,小朋友手机摇啊摇,小姑娘们聊啊聊,帅哥键盘敲啊敲,这些数据、信息、资料、图片向白云一样飘啊飘,飘到空间瞬间形成庞大的几十万亿的数据云。最后这些数据流我们用计算机通过统计学专家学者加已整理、分析;这就对统计学家提出了新的挑战。统计学是通过搜索、整理、分析、描述数据等手段,以达到推断所测对象的本质,甚至预测对象未来的一门综合性科学。其中用到了大量的数学及其它学科的专业知识,它的使用范围几乎覆盖了社会科学和自然科学的各个领域。

㈡ 大数据下民意形态与协商民主

大数据下民意形态与协商民主

互联网时代把人类社会带入了以“PB”(1PB=1024TB)为单位的大数据时代。在大数据时代下,民意形态悄然发生了以下三重变迁。

民意测量:从样本转向总体

恩格斯认为,“历史是这样创造的:……有无数互相交错的力量,有无数个力的平行四边形,由此就产生出一个合力,即历史结果……每个意志都对合力有所贡献”。对每个个体独特历史价值的认识,构成协商民主最基本的理论渊源。正是基于协商民主的纽带,微观个体才得以平等地融入政治系统与政府治理流程。细微的利益诉求和意志表达,通过协商民主场域无时无刻的讨论、互动等输出为民主的政治选择与科学的公共政策。在工业时代的民主协商中,原子化的分散公民个体直接面对权力机器,并等待着权力有选择地抽取而进入协商场域。而在大数据时代下,网络悄然赋予普罗大众一种特殊的“解构”工具,原子化个体可以低成本甚至零成本联合起来,发出日益响亮的声音。

对于如何获取民意,小数据时代基于调查小数据的量化统计分析方法,曾具有数据调查与数据分析的显著优势,往往采取抽样方式,以最少样本数据获得最多民意信息。但是,在大数据时代,样本=总体。因为调查数据的优势逐渐丧失,大数据分析不再满足于基于抽样的民意调查。而相比于小样本数据,大数据具有巨大的数据选择空间,可以多维度、多视角地进行数据分析。大数据是信息网络记录和量化的数据,并能更为真实地体现民意,因为它不是来源于数据收集,而是忠实于数据记录。数据记录主要存在三种来源:互联网、社交网络、传感器。大数据的自动记录将碎片化民意信息综合化,形成系统、综合化、动态、可视化的整体民意信息,从而为更民主、更科学的决策奠定了更为坚实的民意基础。

大数据时代,可以通过一系列测量技术来获取民意大数据,并通过云计算,使其趋于指数化与可视化。大数据分析基于总体样本,将碎片化民意信息整合起来,形成系统民意,并且进一步利用网络图形学技术,通过多元化、多维图形显示方法,来描述大数据及其代表的民意变迁。我国国内主流网络媒体(如网络指数、新浪微博指数、天涯指数)已通过指数分析、可视化对民意大数据进行数据挖掘。在大数据网络平台上,个体不再以分散化方式进行微弱的话语表达,而是借助于网络工具将微弱的话语表达转化为大数据的数据形式,并通过网络云计算汇聚成为响亮的民意,融入权力行使的所有环节。

大数据下中国特色协商民主创新

阿尔文·托夫勒将社会发展图式归纳为农业社会第一次浪潮、工业社会第二次浪潮、信息社会第三次浪潮的起伏推进。在信息文明时代,数字协商民主已成为竞争高地。协商民主已经不单纯是权力主导型协商的独奏,而是三重领域协商民主的协奏。

第一领域:权力主导型协商。中国协商民主脉络经历了群众路线—政治协商—协商民主—数字协商民主,从而形成了一种既体现中国传统文化精粹,又具有基于主体间性的“交往—行动”的现代协商民主精神。第二领域:网络自协商民主。大数据网络构成了第二领域网络自协商的空间。网络秩序可借助于虚拟空间的自约束、自协商、自组织。在网络自治空间中,虚拟公决、虚拟裁判、网络集体行动的运作,应以网络公约为准绳,以公民权利为底线,以网民理性审查为保障,通过相互制衡实现网络自秩序。第三领域:数字协商民主。这一领域的协商民主是权力主导型协商与网络自协商通过交融与互嵌而形成的新型数字民主平台。数字协商民主融入权力流程的所有环节。

虚拟空间将现实空间主客体结构转化为两维扁平交往结构。数字协商民主需相应建立扁平化国家—网络间信息协商通道。信息社会与大数据时代背景下,数字协商民主作为一种有限而宝贵的资源,不能同量同质地平均分配,而应与网络凝聚群相适应,重点对网络意见领袖进行网络吸纳,并通过网络意见领袖为中心的社会网络向各节点传播,从而以最低成本实现数字协商民主。

大数据时代协商民主体制需具备三种核心能力:整合大数据的能力、协商民主与大数据的融合能力、协商民主的网络吸纳能力。

第一种能力:整合大数据的能力。在大数据时代,政府不但可以点对点的传统协商方式获取民意,而且可以通过大数据收集、数据挖掘、数据分析,探索并分析大数据背后的社会民意。第二种能力:协商民主与大数据的融合能力。大数据技术正成为数字协商民主的润滑剂与加速器。人民当家作主的宏大理论借助大数据信息流,使无数个体的细微话语嵌入国家治理流程各环节,“民有”的人民主权理想正踏踏实实地着陆为民治的实践。协商民主体制与大数据的融合,将进一步提升中国协商民主的制度化水平。第三种能力:协商民主的网络吸纳能力。政府基于大数据民意,通过数字协商与网络民意吸纳,使网民能参与政策议程的创建、政策方案选择、政策执行,从而化解潜在冲突,强化公共政策合法性,并为政策执行创造良好生态环境。

以上是小编为大家分享的关于大数据下民意形态与协商民主的相关内容,更多信息可以关注环球青藤分享更多干货

㈢ 如何认识大数据背景下,统计学面临的挑战与机遇

1.大数据对统计学带来的挑战传统的统计学一般还停留在用抽样技术在总体中抽取样本收集数据,然后建立模型对数据进行统计分析。但是在数据如此之多的今天传统的统计学在完成这方面时面临巨大的挑战。统计学要想推陈出新,必须要自己作出改革。2.大数据为统计学带来的机遇统计学从古至今一直以来就是一门研究数据的学科,统计学和大数据内在具有联系性,大数据让统计学登上了学科霸主的地位,很多教学单位现在都注重统计学人才的培养。统计学能够让人们更好的把握对数据的分析和应用。总结了以下几点大数据时代为统计学带来的发展机遇。(1)大数据为统计学提供了新的研究方向,对大数据进行分析,为统计学提供了新的实用价值,因为不仅电商,传统商家还有政府都需要对庞杂的数据进行分析,找出其中包含的关于经济发展趋势的宏观信息,微观信息,还有公众的喜好和需求等等,为了获取这些信息,更加严密和系统的科学方法会被引入统计学研究中。(2)统计学能够充分利用计算机技术的发展,统计理论方法需要在学科交叉中获得新的生命力,统计学应该从数据发展的现在趋势中寻找统计发展的灵感。考虑到现在的信息技术、云计算、互联网的发展,并且以政府统计作为现代化统计的基础,从传统的统计学向现代统计学发展。(3)对统计人才的培养提出了新的要求,现在需要的不仅仅是对统计学理论知识有清晰认识的统计学人才,而是高层次的数据分析师,要有数学知识、统计建模知识、计算机技能、编程技能、大数据挖掘、还要有管理技能等的复合型人才。(4)可以进一步深化统计理论模型,现在进行统计分析不像以往,统计指标的获得要经过复杂的演算过程。现在一般都是依靠大型软件程序,但是这些大型的软件程序的编制却需要特定的统计模型来完成的,如果想要在大数据时代获得发展的优先权,就要研发出相应的数理统计的模型。

㈣ 抽样调查会被大数据的全样本分析所取代吗

抽样调查是否会被大数据的全样本分析取代?两者的比较应该从哪些维度去看?结果如回何?哪些行业大数据应用成本答比抽样调查成本更低?答案是:不会。第一,抽样调查的随机性,使得样本可以反映总体的情况。大数据样本没有这样的随机性,不能很好的代表总体。第二,能否把大数据样本当作“总体”来使用? 答案依旧是不行。大数据技术本身远远没有达到“普查”的水平,存在统计偏差。总结:大数据的确很牛逼!大数据不能代替抽样调查!错误的使用,得到的结果只能自欺欺人。从统计分析,到数据挖掘,再到大数据,扎实的统计知识都是必不可少的。统计知识的意义在于,告诉我们,什么样的结果是错误的!如何不被结果所欺骗!『全样本分析取代抽样』,如果是在说『在一些过去依靠抽样的研究领域,普查正在替代抽样』,是对的;如果是在说『在数据分析的整个世界里,一种方法正在取代另一种方法』,是不对的。

㈤ 数据抽样的终结者—大数据分析

数据抽样的终结者—大数据分析“如果你真的想要了解发生在您企业业务中的真相,你需要大量的非常详细的数据资料。”数据仓库研究院(TDWI)研究主任菲利普?卢瑟姆在其最新的一份TDWI大数据分析报告中写道。“如果你真的想看一些你从未见过的东西,这有助于您挖掘从未被商业智能分析过的数据。” 这便是大数据分析存在的理由,其是前所未有的。不仅仅是大数据概念的本身提醒着我们,至少我们还可以追溯到21世纪初,“彼时,存储和CPU技术正被百万兆字节的数据所淹没,IT面临着数据的可扩展性危机。”针对大规模和不同的数据集的应用程序中先进的分析技术是前所未有的(如数据挖掘)。这便是大数据分析的出现所带来的划时代的意义了。卢瑟姆说,这是数据可扩展性危机结束的信号。 这给企业带来了前所未有的意义。针对企业所收集的数据进行数据挖掘、数据分析,并在某些情况下作出相关的报告。这就是为什么诸如数据抽样这样的实践方案被视为企业相当务实的必需品。 “你不能把整个数据集都放入到数据挖掘计划中。你必须选择你所需要的数据,必须确保数据的正确性,因为如果你没有投入正确的数据,你的技术可能不奏效。”数据仓库研究院研究员马克?马德森在预测分析研讨会上告诉与会者。 “你可以将您所收集到的数据中的一个很小的比例投入挖掘…概率事件的采样。”他继续说,“但分解会非常罕见,成为非常罕见的事件,使其很难变成样本。” 理想情况下,你要找出所有这些“罕见”事件,他们属于异常现象,如欺诈行为、客户流失和潜在的供应链中断。他们是隐藏在你未分化的数据中的高价值的东西,很难找到。 IBM,微软,甲骨文和Teradata,以及与其他大多数着名的BI和数据仓库(DW)供应商,纷纷开始销售整合了Hadoop的产品。有些甚至大肆宣扬自己实现了无处不在的MapRece算法。 这些供应商不只是谈论大数据,他们正在谈论大数据结合先进的分析技术,如数据挖掘,统计分析和预测分析。换句话说,他们正在谈论的是大数据分析。 根据数据仓库研究院的研究显示,大数据分析还没有到来;尚未被主流所接受。在数据仓库研究院最近的调查中,超过三分之一(34%)的受访者表示,他们所在的企业结合大数据,实行了某种形式的先进的分析。在大多数情况下,他们仅仅采用非常简便的方法。例如,数据抽样。 数据集成专家PervasiveSoftware公司的大数据产品的高级主管DaveInbar说,事实上,如果企业没有考虑逐步淘汰抽样调查和其他过去的所谓最佳实践的“神器”,他们真的是后知后觉了。 “如果你继续采用数据抽样的方法,你可以实际处理所有数据,但数据的科学性本质上是削弱的。”他说。“在Hadoop的世界,没有任何理由不采用商品硬件、真正的智能软件。在过去,我们采用抽样数据,可能还有经济成本方面的考量原因,或者技术达不到的原因。但在今天,这些原因都不复存在。数据采样在过去是最好的实践方案,但我认为它的时代已经过去了。” “大海捞针的问题不适合采用样本,所以你这样过分强调训练集,可能会导致问题。”负责信息管理咨询的马德森指出,“最终,运行整个数据集要比紧紧按照统计算法和担心样本更容易。技术可以在出现分配挑战时处理数据的问题,并可以访问统计方法。”

㈥ 大数据的数据来源需要通过精确采样吗

需要科学分析完全可以直接针对全集数据而不是抽样数据,并且可以在短时间内迅速得到分析结果。

㈦ 大数据背景对政府审计有哪些影响

一、数来据分析方式的变化。大源数据分析模式替代了传统审计工作中的审计抽样,开展全样本审计。二、政府审计组织管理模式的变革。大数据背景下,政府审计组织管理方式渐渐发展成了联合式审计、扁平化审计等不同以往的组织方式。三、有利于实现审计监督全覆盖。运用大数据开展政府审计使审计范围更加广阔,是实现政府审计全面覆盖的重要技术支撑。四、政府审计重点的变革。大数据背景下政府审计重点变革,主要体现在政府审计重点从对被审对象的财务审计发展为政府绩效审计。另外,大数据技术能够有效获取和处理过去无法处理的数据资源,更好地开展政府绩效审计。

㈧ 大数据时代处理数据的三大转变

大数据时代处理数据的三大转变大数据概念的横空出世,有赖于短短几年出现的海量数据。据统计,互联网上的数据每两年翻一番,而目前世界上90%以上的数据都是最近几年才产生的。当然,海量数据仅仅是“大数据”概念的一部分,只有具备4个“V”的特征,大数据的定义才算完整,而价值恰恰是决定大数据未来走向的关键。大数据发展必备三个条件大数据的发展需要三个必要条件:数据源、数据交易、数据产生价值的过程。近年来,社交网络的兴起、物联网的发展和移动互联网的普及,诞生了大量有价值的数据源,奠定了大数据发展的基础。大数据时代到来的重要标志,则是大批专业级“数据买卖商”的出现,以及围绕数据交易形成的,贯穿于收集、整理、分析、应用整个流程的产业链条。大数据发展的核心,则是使用户从海量的非结构化数据和半结构化数据中获得了新的价值,数据价值是带动数据交易的原动力。IBM、甲骨文、SAP近年纷纷斥巨资收购数据管理和分析公司,在这些互联网巨头的带动下,数据分析技术日渐成熟。2013年6月,爱德华·斯诺登将“棱镜计划”公之于众,“棱镜门”事件一方面说明大数据技术已经成熟;另一方面也佐证了现在阻碍大数据发展的不是技术,而是数据交易和数据价值。大数据技术的发展促进了云计算的落地,云计算的部署完成又反过来加大了市场对数据创造价值的期待。大数据概念提出之后,市场终于看到了云计算的获利方向:各地的一级系统集成商与当地政府合作,建云数据中心;各大行业巨头在搭建各自行业的云平台;IT巨头想尽办法申请中国的公有云牌照。大数据促成了云计算从概念到落地。借助于智慧城市概念的普及,云计算基础设施已基本准备就绪,一方面完成了大数据应用的硬件基础;另一方面迫于回收云计算投资的压力,市场急需应用部署,大数据恰如雪中送炭,被市场寄予厚望。现在,问题的核心指向了“数据如何创造价值?”整合与开放是基石大数据服务创业公司Connotate对800多名商业和IT主管进行了调查。结果显示,60%受调查者称:“目前就说这些大数据投资项目肯定能够带来良好回报尚为时过早。”之所以如此,是由于当前大数据缺乏必需的开放性:数据掌握在不同的部门和企业手中,而这些部门和企业并不愿意分享数据。大数据是通过研究数据的相关性来发现客观规律,这依赖于数据的真实性和广泛性,数据如何做到共享和开放,这是当前大数据发展的软肋和需要解决的大问题。2012年美国大选,奥巴马因数据整合而受益。在奥巴马的竞选团队中有一个神秘的数据挖掘团队,他们通过对海量数据进行挖掘帮助奥巴马筹集到10亿美元资金;他们通过数据挖掘使竞选广告投放效率提升了14%;他们通过制作“摇摆州”选民的详细模型,每晚实施6.6万次模拟选举,推算奥巴马在“摇摆州”的胜率,并以此来指导资源分配。奥巴马竞选团队相比罗姆尼竞选团队最有优势的地方:对大数据的整合。奥巴马的数据挖掘团队也意识到这个全世界共同的问题:数据分散在过多的数据库中。因此,在前18个月,奥巴马竞选团队就创建了一个单一的庞大数据系统,可以将来自民意调查者、捐资者、现场工作人员、消费者数据库、社交媒体,以及“摇摆州”主要的民主党投票人的信息整合在一起,不仅能告诉竞选团队如何发现选民并获得他们的注意,还帮助数据处理团队预测哪些类型的人有可能被某种特定的事情所说服。正如竞选总指挥吉姆·梅西纳所说,在整个竞选活中,没有数据做支撑的假设很少存在。2012年3月,美国奥巴马政府宣布投资2亿美元启动“大数据研究和发展计划”,将“大数据研究”上升为国家意志。一个国家拥有数据的规模和运用数据的能力将成为综合国力的重要组成部分。国内智慧城市建设目标之一就是实现数据的集中共享。合作共赢的商业模式随着云计算、大数据技术和相关商业环境的不断成熟,越来越多的“软件开发者”正在利用跨行业的大数据平台,打造创新价值的大数据应用,而且这一门槛正在不断降低。因为首先,数据拥有者能够以微乎其微的成本获取额外的收入,提高利润水平;其次,大数据设备厂商需要应用来吸引消费者购买设备,发展合作共赢的伙伴关系势必比单纯销售设备要有利可图,一些具有远见的厂商已经开始通过提供资金、技术支持、入股等方式来扶持这些“软件开发者”;第三,行业细分市场的数据分析应用需求在不断加大,对于整个大数据产业链来说,创新型的行业数据应用开发者必将是未来整个大数据产业链中最为活跃的部分。未来,有三种企业将在”大数据产业链“中处于重要地位:掌握海量有效数据的企业,有着强大数据分析能力的企业,以及创新的“软件开发者”。社交网络、移动互联网、信息化企业、电信运营商都是海量数据的制造者,Facebook公司手中掌握着8.5亿用户,淘宝注册用户超过3.7亿,腾讯的微信用户突破3亿,这些庞大用户群所提供的数据,正在等待时机释放出巨大商业能量。可以预测,在不久的将来,Facebook、腾讯、电信运营商等海量数据持有者或者自我延伸成为数据分析提供商,或者与IBM、ZTE等企业密切对接成为上下游合作企业,大数据产业链将在某个爆发时点到来之际,以令人惊讶的速度成长壮大。警惕大数据的危害大数据时代,传统的随机抽样被“所有数据的汇拢”所取代,人们的思维决断模式,已可直接根据“是什么”来下结论,由于这样的结论剔除了个人情绪、心理动机、抽样精确性等因素的干扰,因此将更精确、更有预见性。不过,由于大数据过于依靠数据的汇集,一旦数据本身有问题,就很可能出现“灾难性大数据”,即因为数据本身的问题,而导致错误的预测和决策。大数据的理论是“在稻草堆里找一根针”,而如果“所有稻草看上去都挺像那根针”呢?过多但无法辨析真伪和价值的信息和过少的信息一样,对于需要作出瞬间判断、一旦判断出错就很可能造成严重后果的情况而言,同样是一种危害。“大数据”理论是建立在“海量数据都是事实”的基础上,而如果数据提供者造假呢?这在大数据时代变得更有害,因为人们无法控制数据提供者和搜集者本人的偏见。拥有最完善数据库、最先接受“大数据”理念的华尔街投行和欧美大评级机构,却每每在重大问题上判断出错,这本身就揭示了“大数据”的局限性。不仅如此,大数据时代造就了一个数据库无所不在的世界,数据监管部门面临前所未有的压力和责任:如何避免数据泄露对国家利益、公众利益、个人隐私造成伤害?如何避免信息不对等,对困难群体的利益构成伤害?在有效控制风险之前,也许还是让“大数据”继续待在笼子里更好一些。大数据的经济价值已经被人们认可,大数据的技术也已经逐渐成熟,一旦完成数据的整合和监管,大数据爆发的时代即将到来。我们现在要做的,就是选好自己的方向,为迎接大数据的到来,提前做好准备。

㈨ 大数据来了 给政府统计带来了机遇与挑战

大数据来了 给政府统计带来了机遇与挑战

对于政府统计机构来说,没有什么比数据更重要的了。我们研究统计分类标准、统计调查方法、统计数据采集方式、统计数据加工处理方法、统计数据评估技术,都是为了获取真实准确、完整及时、代表性强、分类科学、经济适用的统计数据。

大数据时代的到来,既给政府统计带来重大发展机遇,也带来严峻挑战。

一、大数据在政府统计中的应用

国家统计局高度重视大数据在政府统计中的应用。到目前为止,已经与17家大数据企业签订了战略合作协议。当然,目前大数据在中国政府统计中的应用仍处于起步阶段,主要表现在两个方面:一是大数据成为政府统计数据的部分资料来源;二是大数据成为政府统计数据质量的部分评估依据。

(一)大数据成为政府统计数据的部分资料来源

目前,大数据已经成为中国政府统计数据的部分资料来源,以下是几个有代表性的方面:

1.利用重点网上零售交易平台数据测算网上零售额

为了掌握网上零售交易平台的交易规模和结构,综合测算网上零售数据,从今年1月份开始,国家统计局实施了月度网上零售交易平台调查,调查范围为42家重点网上零售交易平台,包括京东商城、亚马逊、当当网、淘宝网、天猫商城、酒仙网、美团网、中粮我买网、国美在线、大众点评网等。据对上述42家重点网上零售交易平台数据测算,今年1~8月份,全国网上零售额22400.9亿元,同比增长36.5%。其中,实物商品网上零售额18653.4亿元,增长35.6%,占全部网上零售额的83.3%;非实物商品网上零售额3747.5亿元,增长41.1%,占全部网上零售额的16.7%。这对于宏观管理部门和社会公众了解网上零售情况具有重要的参考作用。

2.利用房屋交易网签数据计算全国70个大中城市的新建住宅价格指数

房屋交易网签数据是指买卖双方签订购房合同后,房地产开发企业在房管部门进行备案,并在房产信息网上公布的相关信息,包含地址、楼层、价格、面积和金额等详细信息,基本涵盖了当月新建住宅的全部交易情况。从2011年1月份开始,国家统计局开始采用房屋交易网签数据计算全国70个大中城市的新建住宅价格指数。这对于提高70个大中城市新建住宅价格指数的数据质量起到了重要作用。

3.利用卓创资讯公司提供的价格信息,开展流通领域重要生产资料市场价格监测

国家统计局与卓创资讯公司开展合作,利用该企业提供的价格信息,开展流通领域重要生产资料市场价格监测。从2014年1月开始,按旬共同向社会发布流通领域9大类50种重要生产资料市场价格的检测结果。行业涵盖黑色金属、有色金属、化工产品、煤炭、石油天然气、非金属建材、农产品、农业生产资料、林产品等领域。地区监测范围覆盖北京、天津、河北、山西、内蒙古、辽宁、吉林、上海等24个省区市。这对于宏观管理部门和社会公众了解流通领域重要生产资料市场价格信息起到了重要作用。

(二)大数据成为政府统计数据质量的部分评估依据

国家统计局除了把大数据作为政府统计数据的部分资料来源外,也高度重视利用大数据评估政府统计数据质量。以下是目前比较有代表性的两个方面:一是利用中国银联跨行银行卡消费数据评估社会消费品零售总额数据质量;二是利用大型机械装备企业物联网数据评估固定资产投资数据质量。

二、大数据给政府统计带来的机遇与挑战

对于政府统计来说,大数据既带来了重大发展机遇,也带来严峻挑战。

(一)大数据给政府统计带来重大发展机遇

首先,大数据将不断提高政府统计服务宏观管理和社会公众的能力。随着大数据的不断发展和完善,随着政府统计机构开发应用大数据能力的不断提升,政府统计产品的种类将会不断丰富,政府统计数据的质量和时效性将会不断提升,从而政府统计服务宏观管理和社会公众的能力会不断提高。

其次,大数据将会推动政府统计发生革命性的变化。随着大数据的发展和完善,随着政府统计机构开发应用大数据技术的逐步成熟,政府统计将会发生革命性变化。一是现有的以周期性普查为基础,以抽样调查为主体,综合运用全面调查、重点调查等方法,并充分利用行政记录等资料的统计调查方法体系可能会发生重大变化。长期以来,抽样调查方法,即在总体中抽选样本、利用样本推算总体的方法;普查和全面调查方法,即对总体中所有单位逐一进行调查的方法,在我国政府统计中发挥了重要作用。今后,在较长的时期内这些方法仍然会被政府统计所广泛采用。但在大数据不断发展和完善的情况下,某些领域、某些方面的大数据可能会取代抽样调查、普查和全面调查方法,成为获取统计数据的重要方法,而且这种获取统计数据的方法将会变得越来越重要。二是政府统计中的数据采集方式可能会发生重大变化。长期以来,政府统计机构主要以企业填报、住户记账、调查员入户等方式采集原始数据。在大数据不断发展和完善的情况下,一部分原始数据将通过挖掘大数据的方式获取,而且这种新的数据采集方式将会变得越来越重要。三是政府统计的数据处理模式可能会发生重大变化。在大数据不断发展和完善的情况下,现行的对普查和全面调查数据进行直接审核、汇总、加工处理和对抽样调查数据进行推算放大的数据处理模式可能会发生重大变化。

(二)大数据给政府统计带来严峻挑战

首先,大数据对政府统计能力带来挑战。从大数据本身的产生到发展完善,从政府统计对大数据的初步运用到成熟运用,需要一个较长的时期。在这个过程中,一方面,政府统计中传统的统计调查方法、数据采集方式和数据处理模式将继续运行,否则满足不了宏观管理和社会公众的需求。另一方面,政府统计系统必须投入大量的人力和物力对大数据进行挖掘、加工处理和运用,否则也适应不了大数据时代宏观管理和社会公众的需求。这种双轨运行的模式,对政府统计能力将是一个巨大的挑战。

其次,大数据对传统政府统计理念带来挑战。传统的政府统计有一个约定俗成的理念:抽样调查方法可降低调查成本,提高效率和数据质量。因为抽样调查只对总体中部分抽中的样本进行调查,并非对总体中的每一个单位都进行调查,所以调查单位明显减少,可降低成本,节约时间,提高效率。同时,由于调查单位较少,政府统计机构有能力对基层统计调查人员进行较为扎实的培训和指导,有精力对统计调查数据进行较为严格的检查和审核,从而能够提高统计调查数据质量。随着大数据不断发展完善,政府统计机构将会越来越多地通过大数据企业间接地获取统计数据,不需要对总体中的具体单位进行直接调查,不需要调查员,从而也不需要对调查员进行培训,抽样调查所具有的调查成本低、能够提高统计调查数据质量的优点就不复存在了。

以上是小编为大家分享的关于大数据来了 给政府统计带来了机遇与挑战的相关内容,更多信息可以关注环球青藤分享更多干货

㈩ 大数据的数据来源需要通过精准采样吗

不需要。大数据分析的第一步是数据的“抽取—转换—加载”(the Extract-Transform-Load,ETL),这就是所谓的数据处理三部曲。该环节需要将来源不同、类型不同的数据如关系数据、平面数据文件等抽取出来,然后进行清洁、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。需要指出的是,尽管大数据分析有它的优势,但是也有很大的局限性。很多时候,大数据产生的相关关系可能是虚假的,在完全随机的数据中显示了某些规律,因为数据的量非常大,可能产生向各个方向辐射的各种联系,有可能会得到与事实完全相反的结论。但是只要数据足够大,数据挖掘总能发现一些相关关系,可以帮助我们发现趋势和异常情况。并不需要精准采样。拓展:大数据(big data),或称巨量资料,指的是所涉及的资料量规模巨大到无法透过主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理。大数据的5V特点(IBM提出):Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性)。

赞(0)