涕零
1. 大数据时代所面临的挑战
大数据时代所面临的挑战
大数据时代临近，企业数据呈现爆炸式增长，如何为了更大的发掘企业数据价值将是很多公司必须要面对的挑战。首当其冲的是大数据的快速发展对我们原有的IT基础设施提供了更高的挑战，原有的IT基础设施以及很难满足大数据时代的需求。发现价值的过程离不开基础平台技术的创新与发展。基础平台的改变首先大数据挑战的就是企业的存储系统，大数据爆炸式的增长使得存储系统的容量、扩展能力、传输瓶颈等方面都面临着挑战。与之相连的还有服务器的计算能力，内存的存储能力等等都面临着新的技术攻关。目前闪存技术的发展以及英特尔、IBM等公司在大数据方面都已经投入相当大的资金进行研发，主要也是为了解决大数据对基础平台所带来的挑战。同样，大数据分析同样面临着软件方面的挑战，同时也引发数据库、数据仓库、数据挖掘、商业智能、人工智能、内容/知识管理等领域的技术变革。Hadoop是近年大家经常提到了一个能够对大量数据进行分布式处理的软件框架，用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。商业模式的挑战大数据具有强大的数据价值，当我们可以利用大数据挖掘到需要信息的时候，则需要我们根据得到的信息对企业的商业模型、产品和服务等方面进行创新，这样才能够真正的让大数据的价值得到体现。如何利用大数据信息来改变商业模式最终实现价值呢，这里我们引用Tesco为案例。Tesco收集了海量的顾客数据，并且通过对每位顾客海量数据的分析，Tesco对每位顾客的信用程度和相关风险都会有一个极为准确的评估。在这个基础上，Tesco推出了自己的信用卡，未来Tesco还有野心推出自己的存款服务。
以上是小编为大家分享的关于大数据时代所面临的挑战的相关内容，更多信息可以关注环球青藤分享更多干货
2. “大数据”时代企业面临着三大严峻现实挑战
“大数据”时代企业面临着三大严峻现实挑战所谓的“大数据”有两个方面的内涵——海量和非结构化。这并非一个很突然的变化，更不是一个很新鲜的趋势，那它究竟意味着什么？答案是——机遇。一方面，对于企业是一种机遇。企业可以基于现有的大量的数据、海量数据进行分析，并利用这些数据产生效益。另一方面，对一些特定领域的发展来说也是机遇。如医疗等领域，有着大量的文献、化验结果、病例等等，这些信息大部分以人类语言方式记录下来，通过对这些信息的挖掘，可以辅助医生作出正确的决策。 当然，机遇与挑战并存，“大数据”对于企业来说也是如此。在谈如何帮助中小企业应战“大数据”时代之前，首先需要了解“大数据”对于企业来说究竟意味着怎样严峻的挑战。 “大数据”时代企业面临着三大严峻现实 现实之一：海量 IDC最新数字宇宙研究报告表明，到2020年，全球数据使用量预计暴增44倍，达到35.2ZB。35ZB是什么概念？（1ZB=1024EB=1048576PB=1073741824TB，1073741824TB*35=37580963840TB），也就是说全球大概需要376亿个1TB硬盘来存储数据。 现实之二：非结构化 相对于结构化数据（即行数据，存储在数据库里，可以用二维表结构来实现的数据）而言，不方便用数据库二维逻辑表来表现的数据即称为非结构化数据，包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。 据统计，企业中20%的数据是结构化的，80%是非结构化或半结构化的。当今世界结构化数据增长率大概是32%，而非结构化数据增长则是63%，至2012年，非结构化数据占有比例将达到互联网整个数据量的75%以上。 现实之三：实时处理 一项对全球CIO调查得出的结论表明：“通过对企业界搜集的大量数据进行实时分析，并从中获得启示，进而将这些启示转化为自身的竞争优势，对当今企业来说至关重要。” 某证券公司的CIO在介绍公司对于数据实时处理的需求时曾经表示，上亿条数据的分析要在5秒钟内完成。 “大数据”来袭！中小企业如何应战？ 如同第二次工业革命中的电力和第三次工业革命中的互联网一样，大数据和云计算并不是一种新兴的行业，而是各行各业在社会转型的过程中为了实现其目标而使用的一种科学方法和技术手段。在即将到来的第四次工业革命中，大数据和云计算并不是企业转型的最终目的地，而是智能化社会中万物生长不可或缺的阳光。 每个人每天都在产生大量数据，云计算正是数据从量变产生质变的过程中应运而生的解决方案。在大数据时代里，很多有代表性的企业都为云概念的形成起到了推波助澜的作用，比如苹果和谷歌，然而，仅有理论是远远不够的。云对于个人或者企业来说，并不只是一个虚无缥缈的大硬盘，而是能够产生财富的聚宝盆，云计算就是盘活聚宝盆里每一个数字的时代利器。对于企业而言，将服务器置于云端不仅仅节约了占地面积和维护成本，还为企业提供了更好的管理渠道和经营模式。微软公司的首席执行官史蒂夫·鲍尔默曾大胆预测：“受云计算冲击，5年后企业内部服务器将完全消失。在企业自身管理的服务器上保存数据或是实施事务（Transaction）的企业将消失。几乎所有的事务和应用软件以及系统管理功能将通过互联网的云计算运行。”
3. 企业大数据项目实施过程中遇到的那些挑战
企业大数据项目实施过程中遇到的那些挑战
说到大数据，人们很多还停留在概念的阶段，不过对于一些企业来说，大数据已经就在眼前，业务的需求驱使着IT部门不得不去做大数据的分析与处理。企业需要大数据的分析和处理，但是大数据并不是想象中的那么简单，在实际部署实施的过程中会遇到很多方面的问题。
尤其是目前社交网络的兴起带来了更多的数据量，企业需要面对的挑战就越来越高，因为社交网络的数据本身就是一个无底洞。一位企业CTO说：“目前我们的数据来源基本都是在社交网络上面，我么收集这些数据加以分析，帮助企业理解这些人的消费规律以及个人偏好。”
企业大数据项目遇到的那些挑战
这位CTO所在的团队运营着一个可以产生12亿美元的数据平台，以及每天超过400万人的PB级数据集群。所在团队的大数据环境中包括了大量的开源平台，他们所用的技术包括：Hadoop、HBase，Hive，ElasticSearch，Scala，Storm，Node.js以及其他的很多工具。这确实是一个非常严峻的挑战。
我们通过企业大数据项目的具体实施过程不难看出，在实施的过程中技术与人是最关键的两个问题。选择一个成熟的技术，并且让最合适的人来进行实施，这样才会有一个比较合理的结果。
目前，以及有不少的企业开始进行部署自己的大数据项目，下面我们就为大家总结一下企业在部署大数据项目过程中遇到的那些难题与挑战。
复杂的数据计算与存储
大数据，顾名思义海量的数据是不可避免的。这项对于传统的数据分析而言，大数据需要大量的存储空间来进行数据存储，现在数据的产生量已经不是人们所能想象的，传统的存储介质与存储方式并不能满足如此快速的数据产生量。换句话来说，看看新浪微博、Facebook每分钟产生的数据量你就会明白了，电商更是夸张，阿里双十一，百亿的交易额，这样的数据量需要具有针对性的数据存储方式。
而从项目的整体出发，只是存储并不能算得上大数据。在存储之后还需要对海量的数据进行分析与计算，只有最后得出的分析结果才会对企业有所帮助。存储只是万里长征的第一步，大数据处理团队需要弄清楚这些数据背后的价值，需要合理的对数据进行归档，并且数据价值是需要进行计算分析得出的，庞大的数据量需要更加庞大的计算能力才能完成。
技术的成熟度的挑战
开源技术就好比一只小狗，它很可爱，也很好。但你需要养活它。就目前的技术发展而言，开源的大数据技术还并不是十分成熟，商业的大数据解决方案价格有非常昂贵，所以对于大部分企业来讲，开源貌似是唯一的解决方向。但开源技术并不能很好的适应每一个企业的具体业务线，所以企业还要投入大量的技术力量进行维护与二次开发。开源技术是条可爱的小狗，但是你需要养活他。
许多大数据技术是在建工程。虽然基础技术日趋完善，管理和配置的工具都处于起步阶段，让IT专业人员做工作解决的差距。企业的IT团队不得不开发工具，从管理的角度，从工作流程的角度，从配置等不同的角度出发。
期待，努力发现人才
之前讲了，大数据需要成熟的技术以及合适的人来执行，这里指的合适的人是一个真正的数据分析专家。而这样的人往往是可遇而不可求的，除非你花重金去其他公司去挖人，而且还不能确定这个人是否能适应这个团队。
其实从技术的角度出发，大数据的技术与工具正在迅速发展，但是这些技术与工具只掌握在少数人的手里，并不能得到大规模的应用。所以对于企业来讲，大数据的技术与人同样重要。拥有了成熟稳定的技术，但是没有可以执行它的人，那么大数据项目也会相当危险，没准什么时候就成为了企业财政的累赘。
3产品线与项目的对接
想想模块化，准备投资
任何一个项目的组建都不可能是无成本的。每一个项目都会意味着人力与财力的投入。尤其是在大数据项目上，每一个关键的业务点都意味着大量的资源投入。相比于其他项目，大数据项目耗费的资源会更多，在基础设施上的投入，服务器、存储以及计算资源和开发人员的投入都是相当庞大的。
模块化的基础设施一直是重要的，因为它可以让IT团队能够处理的业务优先级的变化，并提供业务透明度。企业的IT团队有必要投资的管理和生产力工具。这就是20％，25％都集中在我的工程资源，生产力工具和工作流程管理。
将产品与业务线做对接
在企业中项目需要围绕着业务进行实施，再好的产品项目如果不能很好的与业务进行对接，也是不能实现其真正的价值。这很容易让大数据的专家紧密合作，产品专家和业务利弊谈，但它可以是难以贯彻的想法。越来越多在？？过去的几年中，我们已经给他们带来了起来，因为双方都需要了解的另一边。
在很多失败的案例中我们不难看出，企业大数据产品的最终失败原因有一条就是产品不能很好的服务于企业核心业务，这样就会导致大量投入的资源变成没有价值体现的投入。
而成功的大数据产品就不是这样子。一个成功的大数据分析产品可以为企业揭示风险并且识别新的商业机会，并且可以根据客户的喜好进行商业活动，并获得洞察客户情绪-然后与该公司分享成果。大数据展示业务和IT事件有助于创造一个时髦围绕大数据分析的潜力。
领导层到技术人的思想贯彻
这里说的还是与人有关，大数据项目在企业中算是一个牵动企业发展战略的大项目。这需要从企业领导层到开发人员的整体投入。企业花了很多的时间映射可以利用大数据在我们的承保和理赔流程，并回馈业务线。项目团队需要企业从领导层到技术层从上倒下的支持。ACE集团的督导委员会，负责领导公司的大数据议程。令人惊讶的是，它不是堆叠技术人员。“这是很难得的任何科技。有四个技术人员和大约20商界领袖在那个队。
关键的事情之一是投资建设第一的技能和资源，在我们开始这段旅程。如果没有，我们将不得不一个不可接受的滞后值回业务。一位成功部署大数据项目的CTO说。
4把业务人员下放到项目中去
把业务人员下放到项目中去
既然大数据项目是为了企业业务服务的，而对企业业务最为熟悉就是业务人员，在整个项目中业务人员的需求往往是必然的需求。
企业需要进行完全嵌入的做法，将一线的业务人员下派到项目的每一个关键环节。只要这样，整个项目完成之后才能更好的为业务服务。企业通过建立核心竞争力，搭配新的技能，在我们的业务统计人员，数据洗涤器，数据分析，工艺专家我们的赔款及承保专长。其实这是一只搭配的意识，分享知识，发展和创新，我们利用大数据帮助业务发展。
不要小看管理供应商或系统集成商
对于一些技术力量有限的企业来说，他们更喜欢寻找一个系统集成商或者方案供应商来进行外包。在这期间会进行方案招标，而每一家集成商的方案都不尽相同，而且没有一家可以提供即用的解决方案，对于供应商的管理也是一个挑战，整合所有不同的系统，将这些系统整合成为一个巨大的方案进行协同运行。
独立评估投资回报率
在很多企业中，使用大数据分析，改进和验证的营销活动的有效性。当大数据项目是成功的，每个人都希望它的一部分，当你走在你开始为公司创造新的收入，项目带来这么多钱，大家突然出来的木制品和希望声称。对于他的团队，问题解决了，当CFO加强仲裁，提供独立意见的投资回报率，公司就会更加承认大数据计划。
转变并不会在一夜之间发生。从多来源的数据采集，到通过深度分析获取洞察力，之间会是一段并不平坦的征程。毫无疑问，Hadoop等技术的日趋成熟，让企业用户可以更方便地、在更大的范围内收集业务的相关数据，但同时真正的挑战也会接踵而至。这就是如何高效地处理多来源的海量数据，并且为其找到适合的商业用途。
以上是小编为大家分享的关于企业大数据项目实施过程中遇到的那些挑战的相关内容，更多信息可以关注环球青藤分享更多干货
4. 大数据下企业管理会计面临什么机遇和挑战
大数据是人类社会进步的又一重大标志，它的出现，使人们的生活与工作更加轻松。而在当前情况下，企业竞争日益激烈，管理会计的信息收集、数据处理速度、质量，以成为企业发展的关键，因此，如何在大数据时代下，把握时机，提高管理会计对企业发展的推动力，将值得我们深思。一、大数据时代下企业管理会计面临的挑战1、企业对管理会计的重视程度不够高大数据时代的到来为企业提供了更多的发展机遇，企业应当拥有更广阔的发展空间。但是，现下企业发展的实际情况并不容乐观。大数据时代是信息技术发展的产物，我国企业中只有一小部分企业对管理会计有足够的重视，其余的企业不是对管理会计的认识过于片面，就是并不了解数据时代管理会计的概念。许多企业管理者单纯关注企业的经营效益，忽视了内部的管理，因而管理会计并没有机会发挥作用。除此之外，很多中小企业将自身从大数据时代分割出去，错失大数据时代的发展机遇，故步自封，逐渐被激烈的市场竞争淘汰。2、数据储存空间小、分析技术不完善大数据时代的“大”是企业面临的信息量大和信息存储规模大的体现。调查研究的结果表明，到2020年，人类生产和消费的数据量预计会达到44ZB。越来越大的数据对存储空间的要求也相应提高。但是目前市场中，大多数企业的信息存储空间都偏小，并不能适应大数据时代的要求。即使人们已经认识到数据信息对人类发展的重要性，但是由于信息技术水平的限制，人们并不能充分挖掘数据信息为我们带来的宝贵财富，仅仅掌握传统的数据分析方法很难在非结构化的数据中找到有价值的信息。由此可见，如果信息技术水平不能够得到及时的提升，就会降低企业信息的准确性，从而影响企业的经营效益。3、管理会计工作人员素质普遍偏低在信息时代下，企业之间的竞争不仅是经营和科技水平的竞争，还有人才的竞争。人作为生产力中最具决定性的因素，对企业的生产和发展有着不可估量的作用。在对复合型人才需求极高的时代中，我国并没有足够的高素质管理会计人才。不只是我国，世界范围内的企业都缺乏相应的高素质管理会计人才。在大数据时代的背景下，数据的种类越多、规模越大，对管理会计的要求就越高。普通的管理会计人才不能将深层的信息价值挖掘出来，无法适应新时代经济发展的需求。因此，管理会计人才的缺失无形之中造成了企业的损失。锦绣·上旬2021年4期
5. 在大数据时代,电子商务管理面临怎样的挑战,企业应该如何应对
摘要随着移动网络、云计算、物联网等新兴技术迅猛发展，全球数据呈爆炸式增长，标志着我们迎来又一伟大时代——大数据时代，它的到来在不知不觉中改变着人们的生活方式和思维方式，而它对企业产生的影响也更为深远。过去技术水平和财力是衡量一家企业竞争力的主要标准，而现在企业对“大数据”的应用程度也成为提升企业的竞争力的主要手段。
6. 大数据时代,面临的七个挑战和八大趋势
大数据时代,面临的七个挑战和八大趋势
大数据挑战和机遇并存，大数据在未来几年的发展将从前几年的预期膨胀阶段、炒作阶段转入理性发展阶段、落地应用阶段，大数据在未来几年将逐渐步入理性发展期。未来的大数据发展依然存在诸多挑战，但前景依然非常乐观。大数据发展的挑战目前大数据的发展依然存在诸多挑战，包括七大方面的挑战：业务部门没有清晰的大数据需求导致数据资产逐渐流失;企业内部数据孤岛严重，导致数据价值不能充分挖掘;数据可用性低，数据质量差，导致数据无法利用;数据相关管理技术和架构落后，导致不具备大数据处理能力;数据安全能力和防范意识差，导致数据泄露;大数据人才缺乏导致大数据工作难以开展;大数据越开放越有价值，但缺乏大数据相关的政策法规，导致数据开放和隐私之间难以平衡，也难以更好的开放。挑战一：业务部门没有清晰的大数据需求很多企业业务部门不了解大数据，也不了解大数据的应用场景和价值，因此难以提出大数据的准确需求。由于业务部门需求不清晰，大数据部门又是非盈利部门，企业决策层担心投入比较多的成本，导致了很多企业在搭建大数据部门时犹豫不决，或者很多企业都处于观望尝试的态度，从根本上影响了企业在大数据方向的发展，也阻碍了企业积累和挖掘自身的数据资产，甚至由于数据没有应用场景，删除很多有价值历史数据，导致企业数据资产流失。因此，这方面需要大数据从业者和专家一起，推动和分享大数据应用场景，让更多的业务人员了解大数据的价值。挑战二：企业内部数据孤岛严重企业启动大数据最重要的挑战是数据的碎片化。在很多企业中尤其是大型的企业，数据常常散落在不同部门，而且这些数据存在不同的数据仓库中，不同部门的数据技术也有可能不一样，这导致企业内部自己的数据都没法打通。如果不打通这些数据，大数据的价值则非常难挖掘。大数据需要不同数据的关联和整合才能更好的发挥理解客户和理解业务的优势。如何将不同部门的数据打通，并且实现技术和工具共享，才能更好的发挥企业大数据的价值。挑战三：数据可用性低，数据质量差很多中型以及大型企业，每时每刻也都在产生大量的数据，但很多企业在大数据的预处理阶段很不重视，导致数据处理很不规范。大数据预处理阶段需要抽取数据把数据转化为方便处理的数据类型，对数据进行清洗和去噪，以提取有效的数据等操作。甚至很多企业在数据的上报就出现很多不规范不合理的情况。以上种种原因，导致企业的数据的可用性差，数据质量差，数据不准确。而大数据的意义不仅仅是要收集规模庞大的数据信息，还有对收集到的数据进行很好的预处理处理，才有可能让数据分析和数据挖掘人员从可用性高的大数据中提取有价值的信息。Sybase的数据表明，高质量的数据的数据应用可以显著提升企业的商业表现，数据可用性提高10%，企业的业绩至少提升在10%以上。挑战四：数据相关管理技术和架构技术架构的挑战包含以下几方面：(1)传统的数据库部署不能处理TB级别的数据，快速增长的数据量超越了传统数据库的管理能力。如何构建分布式的数据仓库，并可以方便扩展大量的服务器成为很多传统企业的挑战;(2)很多企业采用传统的数据库技术，在设计的开始就没有考虑数据类别的多样性，尤其是对结构化数据、半结构化和非结构化数据的兼容;(3)传统企业的数据库，对数据处理时间要求不高，这些数据的统计结果往往滞后一天或两天才能统计出来。但大数据需要实时处理数据，进行分钟级甚至是秒级计算。传统的数据库架构师缺乏实时数据处理的能力;(4)海量的数据需要很好的网络架构，需要强大的数据中心来支撑，数据中心的运维工作也将成为挑战。如何在保证数据稳定、支持高并发的同时，减少服务器的低负载情况，成为海量数据中心运维的一个重点工作。挑战五：数据安全网络化生活使得犯罪分子更容易获得关于人的信息，也有了更多不易被追踪和防范的犯罪手段，可能会出现更高明的骗局。如何保证用户的信息安全成为大数据时代非常重要的课题。在线数据越来越多，黑客犯罪的动机比以往都来的强烈，一些知名网站密码泄露、系统漏洞导致用户资料被盗等个人敏感信息泄露事件已经警醒我们，要加强大数据网络安全的建设。另外，大数据的不断增加，对数据存储的物理安全性要求会越来越高，从而对数据的多副本与容灾机制也提出更高的要求。目前很多传统企业的数据安全令人担忧。挑战六：大数据人才缺乏大数据建设的每个环节都需要依靠专业人员完成，因此，必须培养和造就一支掌握大数据技术、懂管理、有大数据应用经验的大数据建设专业队伍。目前大数据相关人才的欠缺将阻碍大数据市场发展。据Gartner预测，到2015年，全球将新增440万个与大数据相关的工作岗位，且会有25%的组织设立首席数据官职位。大数据的相关职位需要的是复合型人才，能够对数学、统计学、数据分析、机器学习和自然语言处理等多方面知识综合掌控。未来，大数据将会出现约100万的人才缺口，在各个行业大数据中高端人才都会成为最炙手可热的人才，涵盖了大数据的数据开发工程师、大数据分析师、数据架构师、大数据后台开发工程师、算法工程师等多个方向。因此需要高校和企业共同努力去培养和挖掘。目前最大的问题是很多高校缺乏大数据，所以拥有大数据的企业应该与学校联合培养人才。挑战七：数据开放与隐私的权衡在大数据应用日益重要的今天，数据资源的开放共享已经成为在数据大战中保持优势的关键。商业数据和个人数据的共享应用，不仅能促进相关产业的发展，也能给我们的生活带来巨大的便利。由于政府、企业和行业信息化系统建设往往缺少统一规划，系统之间缺乏统一的标准，形成了众多“信息孤岛”，而且受行政垄断和商业利益所限，数据开放程度较低，这给数据利用造成极大障碍。另外一个制约我国数据资源开放和共享的一个重要因素是政策法规不完善，大数据挖掘缺乏相应的立法。无法既保证共享又防止滥用。因此，建立一个良性发展的数据共享生态系统，是我国大数据发展需要迈过去的一道砍。同时，开放与隐私如何平衡，也是大数据开放过程中面临的最大难题。如何在推动数据全面开放、应用和共享的同时有效地保护公民、企业隐私，逐步加强隐私立法，将是大数据时代的一个重大挑战。大数据发展趋势虽然大数据仍在起步阶段，存在诸多挑战，但未来的发展依然非常乐观。大数据的发展呈现八大趋势：数据资源化，将成为最有价值的资产;大数据在更多的传统行业的企业管理落地;大数据和传统商业智能融合，行业定制化解决方案将涌现;数据将越来越开放，数据共享联盟将出现;大数据安全越来越受重视，大数据安全市场将愈发重要;大数据促进智慧城市发展，为智慧城市的引擎;大数据将催生一批新的工作岗位和相应的专业;大数据在多方位改善我们的生活。趋势一：数据资源化，将成为最有价值的资产随着大数据应用的发展，大数据价值得以充分的体现，大数据在企业和社会层面成为重要的战略资源，数据成为新的战略制高点，是大家抢夺的新焦点。《华尔街日报》在一份题为《大数据，大影响》的报告宣传，数据已经成为一种新的资产类别，就像货币或黄金一样。Google、Facebook、亚马逊、腾讯、网络、阿里巴巴和360等企业正在运用大数据力量获得商业上更大的成功，并且金融和电信企业也在运用大数据来提升自己的竞争力。我们有理由相信大数据将不断成为机构和企业的资产，成为提升机构和企业竞争力的有力武器。趋势二：大数据在更多的传统行业的企业管理落地一种新的技术往往在少数行业应用取得了好的效果，对其他行业就有强烈的示范效应。目前大数据在大型互联网企业已经得到较好的应用，其他行业的大数据尤其是电信和金融也逐渐在多种应用场景取得效果。因此，我们有理由相信，大数据作为一种从数据中创造新价值的工具，将会在许多行业的企业得到应用，带来广泛的社会价值。大数据将在帮助企业更好的理解和满足客户需求和潜在需求，更好的应用在业务运营智能监控、精细化企业运营、客户生命周期管理、精细化营销、经营分析和战略分析等方面。企业管理既有艺术也有科学，相信大数据在科学管理企业方面有更显著的促进，让更多拥抱大数据的企业实现智慧企业管理。趋势三：大数据和传统商业智能融合，行业定制化解决方案将涌现来自传统商业智能领域者将大数据当成一个新增的数据源，而大数据从业者则认为传统商业智能只是其领域中处理少量数据时的一种方法。大数据用户更希望能获得一种整体的解决方案，即不仅要能收集、处理和分析企业内部的业务数据，还希望能引入互联网上的网络浏览、微博、微信等非结构化数据。除此之外，还希望能结合移动设备的位置信息，这样企业就可以形成一个全面、完整的数据价值发展平台。毕竟，无论是大数据还是商业智能，目的都是为分析服务的，数据全面整合起来，更有利于发现新的商业机会，这就是大数据商业智能。同时，由于行业的差异性，很难研发出一套适用于各行业的大数据商业智能分析系统，因此，在一些规模较大的行业市场，大数据服务提供商将会以更加定制化的商业智能解决方案提供大数据服务。我们相信更多的大数据商业智能定制化解决方案将在电信、金融、零售等行业出现。趋势四：数据将越来越开放，数据共享联盟将出现大数据越关联越有价值，越开放越有价值。尤其是公共事业和互联网企业的数据开放数据将越来越多。我们看到，美国、英国、澳大利亚等国家的政府都在政府和公共事业上的数据做出努力。而国内的一些城市和部门也在逐渐开展数据开放的工作。比如北京市在2012年就开始试运行政务数据资源网，在2013年年底正式开放;上海在2012年启动了政府数据资源开放试点工作，数据涉及地理位置、交通、经济统计和资格资质等数据;2014年，贵州省也加入数据开放之列，10月份云上贵州正式上线。对于不同的行业，数据越共享也是越有价值。如果每一个医院想获得更多病情特征库以及药效信息，那么就需要全国，甚至全世界的医疗信息共享，从而可以通过平台进行分析，获取更大的价值。我们相信数据会呈现一种共享的趋势，不同领域的数据联盟将出现。趋势五：大数据安全越来越受重视，大数据安全市场将愈发重要随着数据的价值的越来越重要，大数据的安全稳定也将会逐渐被重视。网络和数字化生活也使得犯罪的分子更容易获取关于他人的信息，也有更多的骗术和犯罪手段出现，所以，在大数据时代，无论对于数据本身的保护，还是对于由数据而演变的一些信息的安全，对大数据分析有较高要求的企业将至关重要。大数据安全是跟大数据业务相对应的，与传统安全相比，大数据安全的最大区别是安全厂商在思考安全问题的时候首先要进行业务分析，并且找出针对大数据的业务的威胁，然后提出有针对性的解决方案。比如，对于数据存储这个场景，目前很多企业采用开源软件如Hadoop技术来解决大数据问题，由于其开源性，但是其安全问题也是突出的。因此，市场需要更多专业的安全厂商针对不同的大数据安全问题来提供专业的服务。趋势六：大数据促进智慧城市发展，为智慧城市的引擎随着大数据的发展，大数据在智慧城市将发挥着越来越重要的作用。由于人口聚集给城市带来了交通、医疗、建筑等各方面的压力，需要城市能够更合理地进行资源布局和调配，而智慧城市正是城市治理转型的最优解决方案。智慧城市是通过物与物、物与人、人与人的互联互通能力、全面感知能力和信息利用能力，通过物联网、移动互联网、云计算等新一代信息技术，实现城市高效的政府管理、便捷的民生服务、可持续的产业发展。智慧城市相对于之前数字城市概念，最大的区别在于对感知层获取的信息进行了智慧的处理。由城市数字化到城市智慧化，关键是要实现对数字信息的智慧处理，其核心是引入了大数据处理技术。大数据是智慧城市的核心智慧引擎。智慧安防、智慧交通、智慧医疗、智慧城管等，都是以大数据为基础的的智慧城市应用领域。趋势七：大数据将催生一批新的工作岗位和相应的专业一个新行业的出现，必将在工作职位方面有新的需求，大数据的出现也将推出一批新的就业岗位，例如，大数据分析师、数据管理专家、大数据算法工程师、数据产品经理等等。具有有丰富经验的数据分析人才将成为稀缺的资源，数据驱动型工作将呈现爆炸式的增长。而由于有强烈的市场需求，高校也将逐步开设大数据相关的专业，以培养相应的专业人才。企业也将和高校紧密合作，协助高校联合培养大数据人才。如2014年，IBM 全面推进与高校在大数据领域的合作，引入强大的研发团队和业务伙伴，推动“大数据平台”和“大数据分析”的面向行业产学研创新合作以及系统化知识体系建设和高价值人才培养，建设符合中国教学特色及人才需求的大数据相关学分课程，为未来建设特色专业方向做准备。趋势八：大数据在多方位改善我们的生活大数据不仅用于企业和政府，也应用于我们的生活。在健康方面：我们可以利用智能手环监测，对我们的睡眠模式来进行追踪，了解睡眠质量;我们可以利用智能血压计、智能心率仪远程的监控身在异地的家里老人的健康情况，让远在他方的外出工作者更加放心;在出行方面：我们可以利用智能导航出行GPS数据了解交通状况，并根据拥堵情况进行路线实时调优。在居家生活方面：大数据将成为智能家居的核心，智能家电实现了拟人智能，产品通过传感器和控制芯片来捕捉和处理信息，可以根据住宅空间环境和用户需求自动设置控制，甚至提出优化生活质量的建议，如我们的冰箱可能会在每天一大早建议我们当天的菜谱。
以上是小编为大家分享的关于大数据时代,面临的七个挑战和八大趋势的相关内容，更多信息可以关注环球青藤分享更多干货
7. 大数据时代的发展所面临的挑战有哪些
挑战一：业复务部门没有清晰的大制数据需求。
挑战二：企业内部数据孤岛严重。
挑战三：数据可用性低，数据质量差。
挑战四：数据相关管理技术和架构。
挑战五：数据安全。
8. 企业大数据工作的任务、工具及挑战
企业大数据工作的任务、工具及挑战 随着互联网、移动互联网和物联网的广泛而深入地应用，人类活动的踪迹加快在网络空间的映射，网络浏览、行车轨迹、物等等均留下数据记录。目前，全球数据呈现爆发式增长态势，人类社会迈入大数据时代；全球每18个月新增数据量是人类有史以来全部数据量的总和。大数据的核心是数据，与大小无关，数据已经成为战略资产。数据是人类活动在网络空间的映射，蕴含人类生产、生活的规律，挖掘数据潜在价值，对国家治理、社会管理、企业决策和个人生活影响深远。世界经济论坛的报告认为大数据为新财富，价值堪比石油；商业版图由此被重新划定，通晓如何利用这些数据的企业将成为最强者。 0. 澄清基本概念为了不在后面讨论中因概念不清产生误解，我们首先给出几个定义：大型IT企业：指对外提供IT相关的软硬件产品及服务的公司，员工至少在万人以上。数据平台：指大型IT企业用来为自身服务为主，担负数据存储、处理、分析业务和软硬件综合。主要针对内部服务，不对外开发。数据分析：此处的数据分析师广义的，包括一切基于数据得出的insights的行为，包括统计分析、机器学习建模和预测等。1. 大型IT企业开展对内数据业务的驱动力就目前而言，IT企业针对自身的数据分析业务可以分为广告和非广告两类。对大多数企业而言，除了广告之外的数据业务，并不能直接带来可以量化的收入。但是，无论当前数据分析的结果为企业的现金流做了多少贡献。数据为王的思想已然占据了众多前沿企业间的头脑。数据是矿山，insights是金子，有了矿山才能有金子，有了矿山，终究会有金子。因此，开发数据业务最主要的驱动力，实际是对数据业务未来前景的积极预估。主要应用有(除广告之外)：用户画像——越来越多的企业开始观众用户画像，毕竟知己知彼百战不殆，卖东西先得了解买主。客户保持——预测哪些现有客户可能弃用产品或服务，即使采取措施挽留之。产品使用分析——DAU，MAU，PV，UV，CTR等等，这些看起来都是些简单的统计数字，但却是反应产品被使用情况的重要指标。产品推荐、销量预测销售指标……等等具体到某一种应用，看似并不复杂，有些有成熟的方法可以用来训练模型，还有些根本就是统计指标。似乎并不需要什么高深的算法背景。但一旦涉及实际，就不像看起来那么简单了。即使是统计指标，也不像想象得那样，随便run几个sql query就能得出来。对于大型分布式系统，不同模块的访问log都有可能分布在不同的cluster上，单纯收集每日全局log就是一个复杂工作，更别说之后的合并、去重、聚合等工作。因此，大型企业的数据分析不是做个excel表，安装一个免费mysql能够解决的，而是需要专门的大型数据分析平台。2. 数据分析平台通用架构常见的数据分析平台，至少包括数据存储、处理和分析三个部分。 2.1 数据存储数据存储不必解释，是一定必要的。但是如何备份是一个很重要的问题。假设：某公司一年产生上千PB的数据。按照单纯数据的存储费用1美元/GB年计算，存1TB一年就是1000美元，一PB就是100万，1000PB就是10亿。如果就是简单的使用hadoop的默认配置，每份数据都存3份，那么，这个实际产生数据x 3的体量将有多大?有将有多大的cost?这是存储层的挑战。为了解决这个问题，一方面从硬件层面力图降低存储介质的价格，比如近年来冷存储的提出，就是针对运维费用。另一方面就是寻找备份算法。例如，yahoo专门研发了一种图片存储算法，逻辑上是11个备份，但是size只有原size的1.x倍。 2.2 数据处理数据处理传统上叫ETL、EDW，主要指数据的清洗、迁移和格式化。大数据平台，由于应用范畴不同，自然多种多样，源数据包括结构化数据和非结构化数据。但是如果数据真的是“大数据”(符合4V特征)的话，即使本身收集上来的数据是结构化的，也往往需要二次处理，转换format或schema。数据处理层所需技术相对简单，然而挑战在于对于数据的理解。如果不知道这个收集上来的log文件里面要提取出多少字段，每个字段对应数据源中的哪个部分，则数据提取完全不能进行。这就要求进行数据处理的人必须同时具备对业务的了解。 2.3 数据分析数据分析是数据中寻找价值的关键步骤。数据分析工作本身还处于初级阶段。除了一些简单的统计计算，大多数数据还是只能交给分析人员，进行没有特别针对性的探索，效果难以得到保证。对于这些挑战，开展数据业务早的公司，相应的平台和技术是在针对自身业务的过程中慢慢发展起来，部分公司选择是将平台外包或者自己开发针对自身业务的定制功能。相对于前两者，数据分析师一个业务针对性更强的步骤，因此更难采用通用方法或手段解决，更加依赖企业自身的积累。 3. 数据分析平台开源框架3.1 开源框架目前，就国内而言，谈到数据分析相关的开源框架，总不能忽略下面三个：hadoop：batch，mapRece storm：streaming spark：batch + streaming 这些开源框架的共同特点是把重点放在并行计算框架上，关注的是job latency, load balance和fault recovery，对于资源分配、用户管理和权限控制几乎不考虑。它们基于的假设是:所有用户都一样，平权，所有用户都能用所有的机器以最快的可能完成所有工作。3.2 开源框架的局限而在大型企业内部，不同部门，同一部门的不同job，绝对不是平权的。不同部门之间，也有很多私密的数据，不让别人访问。不同用户的权限也是不一样的。对于计算资源的需求，因为不同job的优先级不同，也要求予以区别。在这种需求之下，催生了一些第三方，专门提供hadoop等开源框架的资源、权限管理产品或者服务。hadoop在升级到2以后，也考虑一些数据隔离的问题。但其力度，恐怕难以满足大多数大型企业的要求。这也是使用开源框架的无奈。使用开源产品的商业发行版，也是一种办法。不过始终是不如企业原生系统在这方面的支持。 3.3 企业原生框架确实也有些企业独立开发了全自主(不基于开源产品)的仅限于内部使用的分布式数据处理平台。在用户管理，数据访问权限，存储、运算资源管理等方面很下功夫。例如：要求每个用户在提交job前必须先申请token，有多少token，就有多少计算量。不同数据存储路径之间的权限完全单独管理，使用者也要实现申请权限。但是开发这样的系统意味着企业必须具备非常强大的研发能力，并能承担得起巨大的人力等资源的消耗。而且相对于开源系统已经实现的功能，难免有重复造轮子之嫌，即使是大型企业，也很少选取这种方案。4. 大型IT企业数据业务的挑战4.1 通用挑战：意识、技术和人才4.1.1 意识意识主要是指决策层的思想意识——数据对于企业发展是否真的必要?这一点在很多管理者脑子里还是存疑的，他们目前所处状态很多是：听说数据这东西有用，人家都在搞，所以我们也要搞，至于是不是真有用，搞出来看看再说。如果只是采用游戏或者试探态度，必然影响发展进程。但这也是没办法的事情，所有新事物都必须经历这一过程。 4.1.2 技术技术指目前数据分析的技术，基本是采用新框架逆流支持旧接口的策略。曾经有一篇文章，名叫《NoSQL?NO，SQL》，说的就是这个。包括spark回头支持SQL，也是如此。明明我们分析的是非结构化数据，但是因为高阶算法的问题，却连mapRece都放弃了，索性回到SQL时代。为了让更多人用的舒服，不去开发针对非结构化数据的新方法，而是反过来，向下兼容结构化。个人认为这是一种逆流。这样做则永远无法避免巨大的数据处理工作。4.1.3 人才“数据科学家”这个词大家肯定都知道。可是，这个职位其实很模糊，不同公司，甚至同一公司的不同部门之间对这一职位的定义相差甚远。有些数据科学家是学数学的博士，有些是以前做BI的，有些是PM转行的，水平参差不齐。所以，恐怕在相当长的时期里，这会是一个门槛低，要求高的职位。很难短时间内批量涌现出优秀者。4.2 特有挑战：产品align产品align是说每个产品的数据分析结果可以互相对比，也就是要求其定义和实现都一致。对于一个产品众多的大企业而言，要求不同产品、流水线的分析报告具有可比性，这是一个很常见的需求。但是由于现在大多数企业中数据分析不是由一个部门统一管理，各个产品部门各自为战，结果导致在align的过程中互相牵制，进而拉低了所有产品的分析水平。这样的挑战有赖于企业总体数据策略的制定和执行。而整体策略的制定和执行又有赖于前面所说的三点通用挑战，环环相扣，显然不能一蹴而就。5. 大企业数据工作的发展趋势早期的数据分析工作，在实践层面基本采用批处理模式。随着业务的发展，对于其实时或者准实时(NRT)的需求越来越多。提供latency极短的增量分析和流式服务是众多企业数据分析工作的当务之急。从长远考虑，真正拥有数据的是大企业，未来，大企业在数据的分析利用上，也必将全面胜出小企业。不过，处于不同成熟阶段的大公司突破点各不同。有些技术先行，在分析方法和工具上成为领军。另一些则倾向数据管理和治理，在管理层面上，在策略、条例的制定上为整个社会提供先进经验。
9. 大数据初创企业面临的五大挑战
大数据初创企业面临的五大挑战
近几年，数据逐渐成为驱动业务的主要推动力。 更重要的是,大数据是可以帮助企业改善策略,提高运营效率和加速增长。
75% 的龙头企业说,他们已经或计划在未来几年在大数据基础设施方面布局。大量的新的和令人兴奋的大数据初创公司出现来满足企业客户日益增长的需求。
虽然大数据吸引力巨大，但是考虑到66% 的创业公司一般会在12个月失败，大数据初创公司们仍然面临着很多挑战。
挑战一 缺乏人才
大数据市场在不断增长，60%的领导者认为他们今年在大数据运营上会花费更多，只有5%预测预算会减少，最大的问题在于,这种增长将超过其实现它所需的人才和规模应用。
据麦肯锡的报告称，美国的大数据人才需求在2018年将达到 170万，大约在同一时间,美国数据市场价值将达到 415亿美元。随着行业的发展，人才技能差距将拉大。没有简单的解决方案,是唯一真正的修复是随着时间的推移,人才自然会增加以满足市场需求。
(这里还有一点讽刺,因为许多大数据初创企业试图通过自己的软件来解决市场上人才缺乏的问题，但他们同样面临招不到人。)
挑战二 人才成本高
71% 企业和IT组织认为自己在利用数据方面刚达到平均水平或滞后。显然需要提高整体人才能力和教育现有的劳动力。目前在员工的培训上，为了跟上新开发产品需要大量成本。
这样的培训运营费用在2013年全球达到1300亿，考虑到数据业务的快节奏的性质和随后的需要更多的人员和持续培训,这些成本只会持续上升。
挑战三 解决理想与现实的冲突
在最近《华尔街日报》上 一篇有关Hadoop 的文章上黛博拉·盖奇说，：一些评论把大数据捧地过于高了，对大数据的”炒作”使许多组织盲目的为采用而采用:他们急切地拥抱工具,但往往不关注他们的需求,只是因为这些工具似乎是最受欢迎的(Hadoop是一个例子)。
进一步复杂化的是,大数据平台本质上是厚数据。这使得供应商很难去表达它的功能和优点，甚至更难让客户们去理解。这就是为什么, 据Gartner 说,到2017年,60%的大数据项目将无法超越试点和实验,并将被放弃。 让大数据项目更加落地是未来的重点。
挑战四 融资障碍
大数据在风投界获得了极大的关注和惊人的资金, Hortonworks和 Dataminr的 融资近1亿美元就是很好的证明。 但在许多方面,争夺现金变得不利于新公司。
由于行业的发展，风投们会更亲睐具有挑战性的企业家，很多公司喜欢Palantir,MongoDB和Mu Sigma (至少有2亿美元投资)。 因为资金增加了,在某种程度上我们可以预期投资者变得更加初步承诺投资,而不是投资于更成熟的新锐品牌。
挑战五 更残酷的竞争
全球大数据预计在2015年产值达到 1250亿美元,创业并不孤单; 他们面临SAP微软和IBM这样的数十亿美元的大公司的残酷竞争。
这些巨人可以释放功能更新产品,收购同类公司。他们的资金是无限的,而初创企业必须更加精细化他们的产品只是为了维持他们的现金消耗速率。
实际上,这是一件好事。初创公司成功的最佳方式和关注一个点和把它做好，大公司总是在寻找方法来获得竞争优势。 如果你在存储、分析等方面有极大的优势，被收购也是个不错的选择。
以上是小编为大家分享的关于大数据初创企业面临的五大挑战的相关内容，更多信息可以关注环球青藤分享更多干货