大数据初学者|大数据初学者应该怎么学

『壹』 如何入门大数据

学习大数据的两大基础就是java和linux,学习顺序不分前后。需要同时掌握,才可以继续大数据课程的学习。Java:大家都知道Java的方向有JavaSE、JavaEE、JavaME,学习大数据要学习那个方向呢?只需要学习Java的标准版JavaSE就可以了,像Servlet、JSP、Tomcat、Struts、Spring、Hibernate,Mybatis都是JavaEE方向的技术在大数据技术里用到的并不多,只需要了解就可以了,当然Java怎么连接数据库还是要知道的,像JDBC一定要掌握一下,有同学说Hibernate或Mybites也能连接数据库啊,为什么不学习一下,我这里不是说学这些不好,而是说学这些可能会用你很多时间,到最后工作中也不常用,我还没看到谁做大数据处理用到这两个东西的,当然你的精力很充足的话,可以学学Hibernate或Mybites的原理,不要只学API,这样可以增加你对Java操作数据库的理解,因为这两个技术的核心就是Java的反射加上JDBC的各种使用。Linux:因为大数据相关软件都是在Linux上运行的,所以Linux要学习的扎实一些,学好Linux对你快速掌握大数据相关技术会有很大的帮助,能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置,能少踩很多坑,学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。

『贰』 大数据入门阶段该学什么

你好,大数据的复待遇让人制羡慕,大数据工程师成为很多人的梦想。想要成为大数据工程师,肯定需要工作技巧、行业背景知识等多方面的输入。只要掌握了真正的的技术,以后各方面的发展都会非常不错。如果想入大数据行业,却苦于自己没有基础,担心自己学不会,可以选择专业的学习,千锋的很不错,一般学习费用在2W左右,也有线上的相关学习。零基础学习并不可怕,一般4-6个左右的时间,只要你肯努力,一切都不是事。

『叁』 大数据如何入门

首先我们要了解Java语言和Linux操作系统,这两个是学习大数据的基础,学习的顺序不分前后。

大数据

Java :只要了解一些基础即可,做大数据不需要很深的Java 技术,学java SE 就相当于有学习大数据基础。

Linux:因为大数据相关软件都是在Linux上运行的,所以Linux要学习的扎实一些,学好Linux对你快速掌握大数据相关技术会有很大的帮助,能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置,能少踩很多坑,学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。

Hadoop:这是现在流行的大数据处理平台几乎已经成为大数据的代名词,所以这个是必学的。Hadoop里面包括几个组件HDFS、MapRece和YARN,HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面,MapRece是对数据进行处理计算的,它有个特点就是不管多大的数据只要给它时间它就能把数据跑完,但是时间可能不是很快所以它叫数据的批处理。

Zookeeper:这是个万金油,安装Hadoop的HA的时候就会用到它,以后的Hbase也会用到它。它一般用来存放一些相互协作的信息,这些信息比较小一般不会超过1M,都是使用它的软件对它有依赖,对于我们个人来讲只需要把它安装正确,让它正常的run起来就可以了。

Mysql:我们学习完大数据的处理了,接下来学习学习小数据的处理工具mysql数据库,因为一会装hive的时候要用到,mysql需要掌握到什么层度那?你能在Linux上把它安装好,运行起来,会配置简单的权限,修改root的密码,创建数据库。这里主要的是学习SQL的语法,因为hive的语法和这个非常相似。

Sqoop:这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个,直接把Mysql数据表导出成文件再放到HDFS上也是一样的,当然生产环境中使用要注意Mysql的压力。

Hive:这个东西对于会SQL语法的来说就是神器,它能让你处理大数据变的很简单,不会再费劲的编写MapRece程序。有的人说Pig那?它和Pig差不多掌握一个就可以了。

Oozie:既然学会Hive了,我相信你一定需要这个东西,它可以帮你管理你的Hive或者MapRece、Spark脚本,还能检查你的程序是否执行正确,出错了给你发报警并能帮你重试程序,最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的,不然你看着那一大堆脚本,和密密麻麻的crond是不是有种想屎的感觉。

Hbase:这是Hadoop生态体系中的NOSQL数据库,他的数据是按照key和value的形式存储的并且key是唯一的,所以它能用来做数据的排重,它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。

Kafka:这是个比较好用的队列工具,队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理,这样与你协作的其它同学不会叫起来,你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来,你别怪他因为他不是搞大数据的,你可以跟他讲我把数据放在队列里你使用的时候一个个拿,这样他就不在抱怨了马上灰流流的去优化他的程序去了,因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS,这时你可以与一个叫Flume的工具配合使用,它是专门用来提供对数据进行简单处理,并写到各种数据接受方(比如Kafka)的。

Spark:它是用来弥补基于MapRece处理数据速度上的缺点,它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算,所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它,因为它们都是用JVM的。

『肆』 大数据怎么入门学习

Excel 也是要会一点的。不过 Excel 这种常用的办公软件,比如说做个图,算算总合、平均之类的,熟练使用vlookup等几个常用函数,稍微复杂点的数据透视表 (pivot) 就够了

『伍』 大数据初学者应该怎么学

记住学到这里可以作为你学大数据的一个节点。

Zookeeper:这是个万金油,安装Hadoop的HA的时候就会用到它,以后的Hbase也会用到它。它一般用来存放一些相互协作的信息,这些信息比较小一般不会超过1M,都是使用它的软件对它有依赖,对于我们个人来讲只需要把它安装正确,让它正常的run起来就可以了。

Mysql:我们学习完大数据的处理了,接下来学习学习小数据的处理工具mysql数据库,因为一会装hive的时候要用到,mysql需要掌握到什么层度那?你能在Linux上把它安装好,运行起来,会配置简单的权限,修改root的密码,创建数据库。这里主要的是学习SQL的语法,因为hive的语法和这个非常相似。

Sqoop:这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个,直接把Mysql数据表导出成文件再放到HDFS上也是一样的,当然生产环境中使用要注意Mysql的压力。

Hive:这个东西对于会SQL语法的来说就是神器,它能让你处理大数据变的很简单,不会再费劲的编写MapRece程序。有的人说Pig那?它和Pig差不多掌握一个就可以了。

Oozie:既然学会Hive了,我相信你一定需要这个东西,它可以帮你管理你的Hive或者MapRece、Spark脚本,还能检查你的程序是否执行正确,出错了给你发报警并能帮你重试程序,最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的,不然你看着那一大堆脚本,和密密麻麻的crond是不是有种想屎的感觉。

Hbase:这是Hadoop生态体系中的NOSQL数据库,他的数据是按照key和value的形式存储的并且key是唯一的,所以它能用来做数据的排重,它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。

Kafka:这是个比较好用的队列工具,队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理,这样与你协作的其它同学不会叫起来,你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来,你别怪他因为他不是搞大数据的,你可以跟他讲我把数据放在队列里你使用的时候一个个拿,这样他就不在抱怨了马上灰流流的去优化他的程序去了,因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS,这时你可以与一个叫Flume的工具配合使用,它是专门用来提供对数据进行简单处理,并写到各种数据接受方(比如Kafka)的。

Spark:它是用来弥补基于MapRece处理数据速度上的缺点,它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算,所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它,因为它们都是用JVM的。

『陆』 大数据入门需学习哪些基础知识

前言,学大数据要先换电脑:保证电脑4核8G内存64位操作系统,尽量有ssd做系统盘,否则卡到你丧失信心。硬盘越大越好。1,语言要求java刚入门的时候要求javase。scala是学习spark要用的基本使用即可。后期深入要求:java NIO,netty,多线程,ClassLoader,jvm底层及调优等,rpc。2,操作系统要求linux 基本的shell脚本的使用。crontab的使用,最多。cpu,内存,网络,磁盘等瓶颈分析及状态查看的工具。scp,ssh,hosts的配置使用。telnet,ping等网络排查命令的使用3,sql基本使用sql是基础,hive,sparksql等都需要用到,况且大部分企业也还是以数据仓库为中心,少不了sql。sql统计,排序,join,group等,然后就是sql语句调优,表设计等。4,大数据基本了解Zookeeper,hadoop,hbase,hive,sqoop,flume,kafka,spark,storm等这些框架的作用及基本环境的搭建,要熟练,要会运维,瓶颈分析。5,maprece及相关框架hive,sqoop深入了解maprece的核心思想。尤其是shuffle,join,文件输入格式,map数目,rece数目,调优等。6,hive和hbase等仓库hive和hbase基本是大数据仓库的标配。要回用,懂调优,故障排查。hbase看浪尖hbase系列文章。hive后期更新。7,消息队列的使用kafka基本概念,使用,瓶颈分析。看浪尖kafka系列文章。8,实时处理系统storm和spark Streaming9,spark core和sparksqlspark用于离线分析的两个重要功能。10,最终方向决策a),运维。(精通整套系统及故障排查,会写运维脚本啥的。)b),数据分析。(算法精通)c),平台开发。(源码精通)自学还是培训?无基础的同学,培训之前先搞到视频通学一遍,防止盲目培训跟不上讲师节奏,浪费时间,精力,金钱。有基础的尽量搞点视频学基础,然后跟群里大牛交流,前提是人家愿意,想办法跟大牛做朋友才是王道。

『柒』 大数据入门书籍有哪些

1:<大数据时代>这是学习大数据必读的一本书,也是最系统的关于大数据概念的一本书,由维克托·迈尔-舍恩伯格和肯尼斯·库克耶编写,主要介绍了大数据理念和生活工作及思维变革的关系。它被包括宽带资本董事长田朔宁、知名IT评论人谢文等专业读者鉴定为“大数据领域最好的著作没有之一,一本顶一万本”。有这么好吗?看完自己评价吧。这本书对这个大规模产生、分享和应用数据的新的大时代进行了阐述和厘清,作者围绕“要全体不要抽样、要效率不要绝对精确、要相关不要因果”三大理念,通过数十个商业和学术案例,剖析了万事万物数据化和数据复用挖掘的巨大价值。2:<爆发>由巴拉巴西编写,主要讲了在一个历史故事的连续讲述中,了解大数据的概念实质。从大数据的历史开始,能更深入的了解大数据的发展历程。巴拉巴西整本书讲述的大数据根本目的,是预测。他甚至有零有整地判断,人类行为93%是可以预测的。打个比方,千百年前人类无法如今天般准确预测天气,以致某些大致预测的行为都被认为是“通神”,其实核心在于对天气数据的海量占有和分析能力。但假如全人类的所有基础及行为数据全部被占有全部能分析呢?比如通过智能终端LBS功能采集全部运动轨迹、通过金融系统采集所有支付记录、通过SNS采集所有社会关系和通过邮件、文档、社会视频监控和自我视频监测采集所有言行记录,24小时,每分每秒,一生,全地球70亿人,那会如何?3:<大数据>由徐子沛编写,看美国政府在大数据开放上的进程与反复,算是个案。如果能够基本了解这三本的观点,出门有底气,见人腰杆直,不再被忽悠。全书讲述的,是大数据在美国政府管理中的应用,以及美国政府运行方式大数据变革的历史与斗争,其实也是故事性的。从奥巴马上台就颁布《信息公开法案》,到设立第一个美国政府首席信息官开始,讲述美国政府与民间在社会数据公开的斗争史,以及美国社会管理向大数据思维转变的过程。首先,这算是一个最详实的案例;其次,这代表的不是某种管理方式变革,深处是对民主运行机制的变革与进步。说好了,这本书用心良苦,远远超越科普技术领域;说坏了,其心可诛。有一段,民间斗争,逼迫奥巴马公布所有每日白宫全部日程,包括接见了谁、谈话的全部内容,这不就是个人大数据全公开在公众人物上的应用吗?这可比现在所谓官员公开财产的要求高了几十倍——这要求政府全部行为、全部数据、全部公开,全体公众随时可查——技术和成本上其实

『捌』 大数据分析师如何入门

目前,云计算及大数据分析都是比较热门,随着国家政策的引导,这个行业越专来人才缺口属巨大,若想了解更多关于数据分析的知识,可以关注“九道门社区”多逛逛论坛,比如人大统计论坛,上面有很多资源,随便找几本开始看,最重要的是要开始。如果自制力不行的话也可以报个班,跟着有经验的人学总是比自己自学要快,而且能少走好多弯路。

『玖』 想学大数据,不知道如何入门

零基础学习大数据一般有以下几步:1、了解大数据理论2、计算机编程语言学习3、大数据相关课程学习4、实战项目(1)了解大数据理论要学习大数据你至少应该知道什么是大数据,大数据一般运用在什么领域。对大数据有一个大概的了解,你才能清楚自己对大数据究竟是否有兴趣,如果对大数据一无所知就开始学习,有可能学着学着发现自己其实不喜欢,这样浪费了时间精力,可能还浪费了金钱。所以如果想要学习大数据,需要先对大数据有一个大概的了解。(2)计算机编程语言的学习对于零基础的朋友,一开始入门可能不会太简单,大数据学习是需要java基础的,而对于从来没有接触过编程的朋友来说,要从零开始学习,是需要一定的时间和耐心的。(3)大数据相关课程的学习一般来说,大数据课程,包括大数据技术入门,海量数据高级分析语言,海量数据存储分布式存储,以及海量数据分析分布式计算等部分,Linux,Hadoop,Scala, HBase, Hive, Spark等专业课程。如果要完整的学习大数据的话,这些课程都是必不可少的。(4)实战项目不用多说,学习完任何一门技术,最后的实战训练是最重要的,进行一些实际项目的操作练手,可以帮助我们更好的理解所学的内容,同时对于相关知识也能加强记忆,在今后的运用中,也可以更快的上手,对于相关知识该怎么用也有了经验。

『拾』 怎样入门大数据

大数据入门,建议复从编程制基础开始,然后逐步进入到技术框架的学习:

1、linux基础

要会基本的linux操作,比如用户管理,权限,shell编程之类的。

2、一门JVM系语言:

当前大数据生态JVM系语言类的比重极大,某种程度上说是垄断也不为过。建议学习Java或Scala。

3、计算处理框架:

分为离线批处理和流式处理,离线处理以Hadoop MapRece、Spark为主,流计算以Apache Storm,Apache Spark Streaming以及Apache Flink为代表。

赞(0)