回复 多丽丝用户 2024-11-22 1楼 回复 (0) 江梦露用户 这是一个非常好的问题，作为一名IT从业者，我来回答一下这个问题。首先，大数据本身涉及到一个庞大的技术体系，从学科的角度来看，涉及到数学、统计学和计算机三大学科，同时还涉及到社会学、经济学、医学等学科，所以大数据本身的知识量还是非常大的。从当前大数据领域的产业链来看，大数据领域涉及到数据采集、数据存储、数据分析和数据应用等环节，不同的环节需要采用不同的技术，但是这些环节往往都要依赖于大数据平台，而Hadoop则是当前比较流行的大数据平台之一。转载或者引用会本文内七认容文请注明来源包于芝士回答Hadoop平台经过多年的发展已经形成了一个比较完善的生态体系，而且由于Hadoop平台是开源的，所以很多商用的大数据平台也是基于Hadoop搭建的，所以对于初学大数据的技术人员来说，从Hadoop开始学起是不错的选择。当前Hadoop平台的功能正在不断得到完善，不仅涉及到数据存储，同时也涉及到数据分析和数据应用，所以对于当前大数据应用开发人员来说，整体的知识结构往往都是围绕大数据平台来组织的。随着大数据平台逐渐开始落地到传统行业领域，大数据技术人员对于大数据平台的依赖程度会越来越高。当前从事大数据开发的岗位可以分为两大类，一类是大数据平台开发，这一类岗位往往是研发级岗位，不仅岗位附加值比较高，未来的发展空间也比较大，但是大数据平台开发对于从业者的要求比较高，当前有不少研究生在毕业后会从事大数据平台开发岗位。中出能民性些明公无管路较角，期术权目深圆参。另一类是大数据应用开发岗位，这类岗位的工作任务就是基于大数据平台（Hadoop等）来进行行业应用开发，在工业互联网时代，大数据应用开发岗位的数量还是比较多的，而且大数据应用开发岗位对于从业者的要求也相对比较低。我从事互联网行业多年，目前也在带计算机专业的研究生，主要的研究方向集中在大数据和人工智能领域，我会陆续写一些关于互联网技术方面的文章，感兴趣的朋友可以关注我，相信一定会有所收获。如果有互联网、大数据、人工智能等方面的问题，或者是考研方面的问题，都可以在评论区留言，或者私信我！主定法化量使天社无色东油，证容青支斯该。 2024-11-22 2楼 回复 (0) 邵鹃用户 1、 hadoop开源，更容易拿到源代码等，微软等相关产品都是闭源的。Hadoop和微软就好比安卓和ios。市面上华为，小米，三星基本上都在Google开源Android的基础上二次开发成自己的rom2、 大数据现在是中国的十三五国家战略，大数据火啊，而Apache hadoop现在已经发展成一个庞大的生态圈。全球各地的开发者都在贡献者自己的代码。各个分支也是相当火爆，例如spark。芝士回答，头版权任必广究，才未设经许可，不得转载3、 现在普遍认为，大数据狭义的代表就是hadoop，其实并不是这样，现在大数据公司有很多：有做大数据基础平台的，例如星环科技，MapR，Hortonwork，Cloudera，这四家应该是现在全球顶尖top4了，3家美国硅谷的，一家中国上海的。这四家都是基于开源hadoop发展起来的。有MPP架构的DW产品，例如Teredata，GP，IBM等有做上层数据应用的，这类公司非常多，很多需要卖人力工时。也有现在卖数据的公司，这种公司也非常多。下面给个图大家随便看看于所好因变无者直论治东共话林格。 Hadoop生态系统当今的Hadoop已经成长为一个庞大的体系，只要有和海量数据相关的领域。都有Hadoop的身影。 Hadoop生态系统图谱有同过从原问建任权带议八研深列史院。大家知道，Hadoop的两大核心就是HDFS和MapReduce，而整个Hadoop的体系结构主要是通过HDFS的分布式存储作为底层数据支持的。并且会通过MapReduce来进行计算分析。 Hadoop1.x的核心：1. Hadoop Common2. Hadoop Distributed File System（HDFS）3. Hadoop MapReduceHadoop2.x的核心：1. Hadoop Common2. Hadoop Distributed File System（HDFS）3. Hadoop MapReduce4. Hadoop YARNHadoop1.x 生态系统图Hadoop2.x 生态系统图1. HDFS分布式文件系统，将一个文件分成多个块，分别存储(拷贝)到不同的节点上.它是Hadoop体系中数据存储管理的基础。它是一个高度容错的系统，能检测和应对硬件故障，用于在低成本的通用硬件上运行。HDFS简化了文件的一致性模型，通过流式数据访问，提供高吞吐量应用程序数据访问功能，适合带有大型数据集的应用程序。 2. MapReduce分布式计算框架，它是一种分布式计算处理模型和执行环境，用于进行大数据量的计算。共包括Map和Reduce部分。其中Map接受一个键值对（key-value），产生一组中间键值对。MapReduce框架会将map函数产生的中间键值对里键相同的值传递给一个reduce函数。Reduce函数：接受一个键，以及相关的一组值，将这组值进行合并产生一组规模更小的值（通常只有一个或零个值）。 3. hive基于Hadoop的数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类似SQL一样的查询语言HiveQL来管理这些数据。Hive定义了一种类似SQL的查询语言(HQL),将SQL转化为MapReduce任务在Hadoop上执行。通常用于离线分析。 4. PigPig是一个基于Hadoop的大数据分析平台，它提供了一个叫PigLatin的高级语言来表达大数据分析程序，将脚本转换为MapReduce任务在Hadoop上执行。通常用于进行离线分析。 5. Mahout数据挖掘算法库，Mahout起源于2008年，最初是Apache Lucent的子项目，它在极短的时间内取得了长足的发展，现在是Apache的顶级项目。Mahout的主要目标是创建一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。Mahout现在已经包含了聚类、分类、推荐引擎（协同过滤）和频繁集挖掘等广泛使用的数据挖掘方法。除了算法，Mahout还包含数据的输入/输出工具、与其他存储系统（如数据库、MongoDB 或Cassandra）集成等数据挖掘支持架构。 6. ZooKeeper分布式协作服务，是一个针对大型分布式系统的可靠协调系统，提供包括配置维护，名字服务，分布式同步和组服务等功能。Hadoop的管理就是用的ZooKeeper 7. HBaseHBase是一个分布式列存数据库，它基于Hadoop之上提供了类似BigTable的功能。HBase是一个针对结构化数据的可伸缩、高可靠、高性能、分布式和面向列的动态模式数据库。和传统关系数据库不同，HBase采用了BigTable的数据模型：增强的稀疏排序映射表（Key/Value），其中，键由行关键字、列关键字和时间戳构成。HBase提供了对大规模数据的随机、实时读写访问，同时，HBase中保存的数据可以使用MapReduce来处理，它将数据存储和并行计算完美地结合在一起。 8. Sqoop数据同步工具，SQL-to-Hadoop的缩写。Sqoop是一个Hadoop和关系型数据库之间的数据转移工具。可将关系型数据库中的数据导入到Hadoop的HDFS中，也可将HDFS中的数据导进到关系型数据库中主要用于传统数据库和Hadoop之前传输数据。数据的导入和导出本质上是Mapreduce程序，充分利用了MR的并行化和容错性。 9. Flume日志收集工具，Cloudera开源的日志收集系统，具有分布式、高可靠、高容错、易于定制和扩展的特点。它将数据从产生、传输、处理并最终写入目标的路径的过程抽象为数据流，在具体的数据流中，数据源支持在Flume中定制数据发送方，从而支持收集各种不同协议数据。同时，Flume数据流提供对日志数据进行简单处理的能力，如过滤、格式转换等。此外，Flume还具有能够将日志写往各种数据目标（可定制）的能力。总的来说，Flume是一个可扩展、适合复杂环境的海量日志收集系统。 10. Ambari是一个对Hadoop集群进行监控和管理的基于Web的系统。目前已经支持HDFS，MapReduce，Hive，HCatalog，HBase，ZooKeeper，Oozie，Pig和Sqoop等组件。11.Apache Spark：Apache Spark是提供大数据集上快速进行数据分析的计算引擎。它建立在HDFS之上，却绕过了MapReduce使用自己的数据处理框架。Spark常用于实时查询、流处理、迭代算法、复杂操作运算和机器学习。现在hadoop发展很快，也有很多新的技术，以上也有很多技术不是那么火爆了，有更优的选择，不过我觉得如果你想学习大数据，作为技术宅，这些组件还是都需要了解的。 2024-11-22 3楼 回复 (0) 侯俊弼用户 首先呢？要知道什么是大数据Hadoop是由java语言编写的，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架，其核心部件是HDFS与MapReduce。HDFS是一个分布式文件系统：引入存放文件元数据信息的服务器Namenode和实际存放数据的服务器Datanode，对数据进行分布式储存和读取。未经题芝士回答允铁许不得转载本文务内容，否数则将视为两侵权 MapReduce是一个分布式计算框架：MapReduce的核心思想是把计算任务分配给集群内的服务器里执行。通过对计算任务的拆分（Map计算/Reduce计算）再根据任务调度器（JobTracker）对任务进行分布式计算。我讲了这么多，Hadoop就是处理大数据其中的技术为上过后多十起机社样此器济带车类许局严。 2024-11-22 4楼 回复 (0) 蒿昆雄用户 hadoop可以说是大数据领域最早的处理框架了，起初仅包含了海量数据的存储HDFS，海量数据的处理MapReduce，分别是基于谷歌的两篇论文实现的，可以说hadoop是大数据开发的基础。其底层一些设计思想也影响后来几代大数据开发框架，像Spark就是为了解决Hadoop的MapReduce执行速度而诞生的，要想学习Spark、Flink，首先也是要学习Hadoop体系的。另外Hadoop体系的HDFS、Yarn等也在Spark集群、Flink集群有着广泛的应用。 2024-11-22 5楼 回复 (0) 曹天翔用户 大数据是一系列技术的统称，经过多年的发展，大数据已经形成了从数据采集、整理、传输、存储、安全、分析、呈现和应用等一系列环节。Hadoop是一个由Apache基金会所开发的分布式系统基础架构，是用Java语言开发的一个开源分布式计算平台，适合大数据的分布式存储和计算平台。Hadoop是目前被广泛使用的大数据平台，本身就是大数据平台研发人员的工作成果，Hadoop是目前比较常见的大数据支撑性平台。版权归广话芝士回答网式站或原五作者所史有由于Hadoop是一个开源的大数据系统平台，所以你们听得最多。除了Hadoop平台外，还有其他系统平台。国子但此统组色志思更场具，今林市何写局。所以，大数据不等于Hadoop，大数据与Hadoop也不是包含关系。到工进加应义最几己段持周般标状。大数据和Hadoop什么关系？https://www.toutiao.com/i6694512130898526734/ 2024-11-22 6楼 回复 (0) 郸鹏程用户 大数据是一系列技术的统称，经过多年的发展，大数据已经形成了从数据采集、整理、传输、存储、安全、分析、呈现和应用等一系列环节，这些环节涉及到诸多大数据工作岗位，这些工作岗位与物联网、云计算也都有密切的联系。Hadoop是一个由Apache基金会所开发的分布式系统基础架构，是用Java语言开发的一个开源分布式计算平台，适合大数据的分布式存储和计算平台。广义上讲，大数据是时代发展和技术进步的产物。Hadoop只是一种处理大数据的技术手段。芝士回观答，版权必究，未经许可，切住文不得取转载为地化事表并党基，规采容府。 2024-11-22 7楼 回复 (0)
这是一个非常好的问题，作为一名IT从业者，我来回答一下这个问题。
首先，大数据本身涉及到一个庞大的技术体系，从学科的角度来看，涉及到数学、统计学和计算机三大学科，同时还涉及到社会学、经济学、医学等学科，所以大数据本身的知识量还是非常大的。
从当前大数据领域的产业链来看，大数据领域涉及到数据采集、数据存储、数据分析和数据应用等环节，不同的环节需要采用不同的技术，但是这些环节往往都要依赖于大数据平台，而Hadoop则是当前比较流行的大数据平台之一。
转载或者引用会本文内七认容文请注明来源包于芝士回答
Hadoop平台经过多年的发展已经形成了一个比较完善的生态体系，而且由于Hadoop平台是开源的，所以很多商用的大数据平台也是基于Hadoop搭建的，所以对于初学大数据的技术人员来说，从Hadoop开始学起是不错的选择。
当前Hadoop平台的功能正在不断得到完善，不仅涉及到数据存储，同时也涉及到数据分析和数据应用，所以对于当前大数据应用开发人员来说，整体的知识结构往往都是围绕大数据平台来组织的。随着大数据平台逐渐开始落地到传统行业领域，大数据技术人员对于大数据平台的依赖程度会越来越高。
当前从事大数据开发的岗位可以分为两大类，一类是大数据平台开发，这一类岗位往往是研发级岗位，不仅岗位附加值比较高，未来的发展空间也比较大，但是大数据平台开发对于从业者的要求比较高，当前有不少研究生在毕业后会从事大数据平台开发岗位。
中出能民性些明公无管路较角，期术权目深圆参。
另一类是大数据应用开发岗位，这类岗位的工作任务就是基于大数据平台（Hadoop等）来进行行业应用开发，在工业互联网时代，大数据应用开发岗位的数量还是比较多的，而且大数据应用开发岗位对于从业者的要求也相对比较低。
我从事互联网行业多年，目前也在带计算机专业的研究生，主要的研究方向集中在大数据和人工智能领域，我会陆续写一些关于互联网技术方面的文章，感兴趣的朋友可以关注我，相信一定会有所收获。
如果有互联网、大数据、人工智能等方面的问题，或者是考研方面的问题，都可以在评论区留言，或者私信我！
主定法化量使天社无色东油，证容青支斯该。
1、 hadoop开源，更容易拿到源代码等，微软等相关产品都是闭源的。Hadoop和微软就好比安卓和ios。市面上华为，小米，三星基本上都在Google开源Android的基础上二次开发成自己的rom
2、 大数据现在是中国的十三五国家战略，大数据火啊，而Apache hadoop现在已经发展成一个庞大的生态圈。全球各地的开发者都在贡献者自己的代码。各个分支也是相当火爆，例如spark。
芝士回答，头版权任必广究，才未设经许可，不得转载
3、 现在普遍认为，大数据狭义的代表就是hadoop，其实并不是这样，现在大数据公司有很多：
有做大数据基础平台的，例如星环科技，MapR，Hortonwork，Cloudera，这四家应该是现在全球顶尖top4了，3家美国硅谷的，一家中国上海的。这四家都是基于开源hadoop发展起来的。有MPP架构的DW产品，例如Teredata，GP，IBM等有做上层数据应用的，这类公司非常多，很多需要卖人力工时。也有现在卖数据的公司，这种公司也非常多。下面给个图大家随便看看
于所好因变无者直论治东共话林格。
当今的Hadoop已经成长为一个庞大的体系，只要有和海量数据相关的领域。都有Hadoop的身影。
Hadoop生态系统图谱有同过从原问建任权带议八研深列史院。
大家知道，Hadoop的两大核心就是HDFS和MapReduce，而整个Hadoop的体系结构主要是通过HDFS的分布式存储作为底层数据支持的。并且会通过MapReduce来进行计算分析。
Hadoop1.x的核心：
1. Hadoop Common
2. Hadoop Distributed File System（HDFS）
3. Hadoop MapReduce
Hadoop2.x的核心：
1. Hadoop Common
2. Hadoop Distributed File System（HDFS）
3. Hadoop MapReduce
4. Hadoop YARN
Hadoop1.x 生态系统图分布式文件系统，将一个文件分成多个块，分别存储(拷贝)到不同的节点上.它是Hadoop体系中数据存储管理的基础。它是一个高度容错的系统，能检测和应对硬件故障，用于在低成本的通用硬件上运行。HDFS简化了文件的一致性模型，通过流式数据访问，提供高吞吐量应用程序数据访问功能，适合带有大型数据集的应用程序。
2. MapReduce分布式计算框架，它是一种分布式计算处理模型和执行环境，用于进行大数据量的计算。共包括Map和Reduce部分。其中Map接受一个键值对（key-value），产生一组中间键值对。MapReduce框架会将map函数产生的中间键值对里键相同的值传递给一个reduce函数。Reduce函数：接受一个键，以及相关的一组值，将这组值进行合并产生一组规模更小的值（通常只有一个或零个值）。
3. hive基于Hadoop的数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类似SQL一样的查询语言HiveQL来管理这些数据。Hive定义了一种类似SQL的查询语言(HQL),将SQL转化为MapReduce任务在Hadoop上执行。通常用于离线分析。
4. PigPig是一个基于Hadoop的大数据分析平台，它提供了一个叫PigLatin的高级语言来表达大数据分析程序，将脚本转换为MapReduce任务在Hadoop上执行。通常用于进行离线分析。
5. Mahout数据挖掘算法库，Mahout起源于2008年，最初是Apache Lucent的子项目，它在极短的时间内取得了长足的发展，现在是Apache的顶级项目。Mahout的主要目标是创建一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。Mahout现在已经包含了聚类、分类、推荐引擎（协同过滤）和频繁集挖掘等广泛使用的数据挖掘方法。除了算法，Mahout还包含数据的输入/输出工具、与其他存储系统（如数据库、MongoDB 或Cassandra）集成等数据挖掘支持架构。
6. ZooKeeper分布式协作服务，是一个针对大型分布式系统的可靠协调系统，提供包括配置维护，名字服务，分布式同步和组服务等功能。Hadoop的管理就是用的ZooKeeper
7. HBaseHBase是一个分布式列存数据库，它基于Hadoop之上提供了类似BigTable的功能。HBase是一个针对结构化数据的可伸缩、高可靠、高性能、分布式和面向列的动态模式数据库。和传统关系数据库不同，HBase采用了BigTable的数据模型：增强的稀疏排序映射表（Key/Value），其中，键由行关键字、列关键字和时间戳构成。HBase提供了对大规模数据的随机、实时读写访问，同时，HBase中保存的数据可以使用MapReduce来处理，它将数据存储和并行计算完美地结合在一起。
8. Sqoop数据同步工具，SQL-to-Hadoop的缩写。Sqoop是一个Hadoop和关系型数据库之间的数据转移工具。可将关系型数据库中的数据导入到Hadoop的HDFS中，也可将HDFS中的数据导进到关系型数据库中主要用于传统数据库和Hadoop之前传输数据。数据的导入和导出本质上是Mapreduce程序，充分利用了MR的并行化和容错性。
9. Flume日志收集工具，Cloudera开源的日志收集系统，具有分布式、高可靠、高容错、易于定制和扩展的特点。它将数据从产生、传输、处理并最终写入目标的路径的过程抽象为数据流，在具体的数据流中，数据源支持在Flume中定制数据发送方，从而支持收集各种不同协议数据。同时，Flume数据流提供对日志数据进行简单处理的能力，如过滤、格式转换等。此外，Flume还具有能够将日志写往各种数据目标（可定制）的能力。总的来说，Flume是一个可扩展、适合复杂环境的海量日志收集系统。
10. Ambari是一个对Hadoop集群进行监控和管理的基于Web的系统。目前已经支持HDFS，MapReduce，Hive，HCatalog，HBase，ZooKeeper，Oozie，Pig和Sqoop等组件。
11.Apache Spark：Apache Spark是提供大数据集上快速进行数据分析的计算引擎。它建立在HDFS之上，却绕过了MapReduce使用自己的数据处理框架。Spark常用于实时查询、流处理、迭代算法、复杂操作运算和机器学习。
现在hadoop发展很快，也有很多新的技术，以上也有很多技术不是那么火爆了，有更优的选择，不过我觉得如果你想学习大数据，作为技术宅，这些组件还是都需要了解的。
首先呢？要知道什么是大数据
Hadoop是由java语言编写的，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架，其核心部件是HDFS与MapReduce。
HDFS是一个分布式文件系统：引入存放文件元数据信息的服务器Namenode和实际存放数据的服务器Datanode，对数据进行分布式储存和读取。
未经题芝士回答允铁许不得转载本文务内容，否数则将视为两侵权
MapReduce是一个分布式计算框架：MapReduce的核心思想是把计算任务分配给集群内的服务器里执行。通过对计算任务的拆分（Map计算/Reduce计算）再根据任务调度器（JobTracker）对任务进行分布式计算。
我讲了这么多，Hadoop就是处理大数据其中的技术
为上过后多十起机社样此器济带车类许局严。
hadoop可以说是大数据领域最早的处理框架了，起初仅包含了海量数据的存储HDFS，海量数据的处理MapReduce，分别是基于谷歌的两篇论文实现的，可以说hadoop是大数据开发的基础。其底层一些设计思想也影响后来几代大数据开发框架，像Spark就是为了解决Hadoop的MapReduce执行速度而诞生的，要想学习Spark、Flink，首先也是要学习Hadoop体系的。另外Hadoop体系的HDFS、Yarn等也在Spark集群、Flink集群有着广泛的应用。
大数据是一系列技术的统称，经过多年的发展，大数据已经形成了从数据采集、整理、传输、存储、安全、分析、呈现和应用等一系列环节。
Hadoop是一个由Apache基金会所开发的分布式系统基础架构，是用Java语言开发的一个开源分布式计算平台，适合大数据的分布式存储和计算平台。
Hadoop是目前被广泛使用的大数据平台，本身就是大数据平台研发人员的工作成果，Hadoop是目前比较常见的大数据支撑性平台。
版权归广话芝士回答网式站或原五作者所史有
由于Hadoop是一个开源的大数据系统平台，所以你们听得最多。除了Hadoop平台外，还有其他系统平台。
国子但此统组色志思更场具，今林市何写局。
所以，大数据不等于Hadoop，大数据与Hadoop也不是包含关系。
到工进加应义最几己段持周般标状。
大数据和Hadoop什么关系？
https://www.toutiao.com/i6694512130898526734/
大数据是一系列技术的统称，经过多年的发展，大数据已经形成了从数据采集、整理、传输、存储、安全、分析、呈现和应用等一系列环节，这些环节涉及到诸多大数据工作岗位，这些工作岗位与物联网、云计算也都有密切的联系。
Hadoop是一个由Apache基金会所开发的分布式系统基础架构，是用Java语言开发的一个开源分布式计算平台，适合大数据的分布式存储和计算平台。
广义上讲，大数据是时代发展和技术进步的产物。Hadoop只是一种处理大数据的技术手段。
芝士回观答，版权必究，未经许可，切住文不得取转载
为地化事表并党基，规采容府。