Hadoop到底是干什么用的?

发布网友 发布时间：2022-04-23 05:24

我来回答

共5个回答

懂视网 时间：2022-04-09 00:06

1. create table student(id INTEGER NOT NULL PRIMARY KEY,name VARCHAR(32) NOT NULL);  

(3)：插入数据

1. insert into student values(1,"lavimer");  

(4)编写MapReduce程序，我这里使用的版本是hadoop1.2.1，相关知识点都写在注释中了，如下：

1. /** 
2.  * 使用DBInputFormat和DBOutputFormat 
3.  * 要把数据库的jdbc驱动放到各个TaskTracker节点的lib目录下 
4.  * 重启集群 
5.  * @author 廖钟民 
6.  * time : 2015年1月15日下午12:50:55 
7.  * @version 
8.  */  
9. public class MyDBInputFormat {  
10.   
11.     //定义输出路径  
12.     private static final String OUT_PATH = "hdfs://liaozhongmin:9000/out";  
13.       
14.     public static void main(String[] args) {  
15.           
16.         try {  
17.             //创建配置信息  
18.             Configuration conf = new Configuration();  
19.               
20.             /*//对Map端的输出进行压缩 
21.             conf.setBoolean("mapred.compress.map.output", true); 
22.             //设置map端输出使用的压缩类 
23.             conf.setClass("mapred.map.output.compression.codec", GzipCodec.class, CompressionCodec.class); 
24.             //对reduce端输出进行压缩 
25.             conf.setBoolean("mapred.output.compress", true); 
26.             //设置reduce端输出使用的压缩类 
27.             conf.setClass("mapred.output.compression.codec", GzipCodec.class, CompressionCodec.class);*/  
28.               
29.             // 添加配置文件(我们可以在编程的时候动态配置信息，而不需要手动去改变集群)  
30.             /* 
31.             * conf.addResource("classpath://hadoop/core-site.xml");  
32.             * conf.addResource("classpath://hadoop/hdfs-site.xml"); 
33.             * conf.addResource("classpath://hadoop/hdfs-site.xml"); 
34.             */  
35.               
36.             //通过conf创建数据库配置信息  
37.             DBConfiguration.configureDB(conf, "com.mysql.jdbc.Driver", "jdbc:mysql://liaozhongmin:3306/myDB","root","134045");  
38.               
39.             //创建文件系统  
40.             FileSystem fileSystem = FileSystem.get(new URI(OUT_PATH), conf);  
41.               
42.             //如果输出目录存在就删除  
43.             if (fileSystem.exists(new Path(OUT_PATH))){  
44.                 fileSystem.delete(new Path(OUT_PATH),true);  
45.             }  
46.               
47.             //创建任务  
48.             Job job = new Job(conf,MyDBInputFormat.class.getName());  
49.               
50.             //1.1 设置输入数据格式化的类和设置数据来源  
51.             job.setInputFormatClass(DBInputFormat.class);  
52.             DBInputFormat.setInput(job, Student.class, "student", null, null, new String[]{"id","name"});  
53.               
54.             //1.2 设置自定义的Mapper类和Mapper输出的key和value的类型  
55.             job.setMapperClass(MyDBInputFormatMapper.class);  
56.             job.setMapOutputKeyClass(Text.class);  
57.             job.setMapOutputValueClass(Text.class);  
58.               
59.             //1.3 设置分区和reduce数量(reduce的数量和分区的数量对应，因为分区只有一个，所以reduce的个数也设置为一个)  
60.             job.setPartitionerClass(HashPartitioner.class);  
61.             job.setNumReduceTasks(1);  
62.               
63.             //1.4 排序、分组  
64.             //1.5 归约  
65.             //2.1 Shuffle把数据从Map端拷贝到Reduce端  
66.               
67.             //2.2 指定Reducer类和输出key和value的类型  
68.             job.setReducerClass(MyDBInputFormatReducer.class);  
69.             job.setOutputKeyClass(Text.class);  
70.             job.setOutputValueClass(Text.class);  
71.               
72.             //2.3 指定输出的路径和设置输出的格式化类  
73.             FileOutputFormat.setOutputPath(job, new Path(OUT_PATH));  
74.             job.setOutputFormatClass(TextOutputFormat.class);  
75.               
76.             //提交作业 然后关闭虚拟机正常退出  
77.             System.exit(job.waitForCompletion(true) ? 0 : 1);  
78.               
79.         } catch (Exception e) {  
80.             e.printStackTrace();  
81.         }  
82.     }  
83.       
84.     /** 
85.      * 自定义Mapper类 
86.      * @author 廖钟民 
87.      * time : 2015年1月15日下午1:22:57 
88.      * @version 
89.      */  
90.     public static class MyDBInputFormatMapper extends Mapper<LongWritable, Student, Text, Text>{  
91.         //创建map输出时的key类型  
92.          private Text mapOutKey = new Text();  
93.          //创建map输出时的value类型  
94.          private Text mapOutValue = new Text();  
95.            
96.         @Override  
97.         protected void map(LongWritable key, Student value, Mapper<LongWritable, Student, Text, Text>.Context context) throws IOException, InterruptedException {  
98.               
99.             //创建输出的key:把id当做key  
100.             mapOutKey.set(String.valueOf(value.getId()));  
101.             //创建输出的value：把name当做value  
102.             mapOutValue.set(value.getName());  
103.               
104.             //通过context写出去  
105.             context.write(mapOutKey, mapOutValue);  
106.         }  
107.     }  
108.       
109.     /** 
110.      * 自定义Reducer类 
111.      * @author 廖钟民 
112.      * time : 2015年1月15日下午1:23:28 
113.      * @version 
114.      */  
115.     public static class MyDBInputFormatReducer extends Reducer<Text, Text, Text, Text>{  
116.           
117.         @Override  
118.         protected void reduce(Text key, Iterable<Text> values, Reducer<Text, Text, Text, Text>.Context context) throws IOException, InterruptedException {  
119.               
120.             //遍历把结果写到HDFS中  
121.             for (Text t : values){  
122.                   
123.                 context.write(key, t);  
124.             }  
125.         }  
126.     }  
127. }  
128.   
129. /** 
130.  * 自定义实体类 用于对应数据库表中的字段 
131.  * @author 廖钟民 
132.  * time : 2015年1月15日下午12:52:58 
133.  * @version 
134.  */  
135. class Student implements Writable,DBWritable{  
136.   
137.     //学生id字段  
138.     private Integer id;  
139.     //学生姓名  
140.     private String name;  
141.       
142.       
143.     //无参构造方法  
144.     public Student() {  
145.     }  
146.   
147.     //有参构造方法  
148.     public Student(Integer id, String name) {  
149.         this.id = id;  
150.         this.name = name;  
151.     }  
152.   
153.   
154.     public Integer getId() {  
155.         return id;  
156.     }  
157.   
158.     public void setId(Integer id) {  
159.         this.id = id;  
160.     }  
161.   
162.     public String getName() {  
163.         return name;  
164.     }  
165.   
166.     public void setName(String name) {  
167.         this.name = name;  
168.     }  
169.   
170.     //实现DBWritable接口要实现的方法  
171.     public void readFields(ResultSet resultSet) throws SQLException {  
172.         this.id = resultSet.getInt(1);  
173.         this.name = resultSet.getString(2);  
174.     }  
175.       
176.     //实现DBWritable接口要实现的方法  
177.     public void write(PreparedStatement preparedStatement) throws SQLException {  
178.         preparedStatement.setInt(1, this.id);  
179.         preparedStatement.setString(2, this.name);  
180.     }  
181.   
182.     //实现Writable接口要实现的方法  
183.     public void readFields(DataInput dataInput) throws IOException {  
184.         this.id = dataInput.readInt();  
185.         this.name = Text.readString(dataInput);  
186.     }  
187.       
188.     //实现Writable接口要实现的方法  
189.     public void write(DataOutput dataOutput) throws IOException {  
190.         dataOutput.writeInt(this.id);  
191.         Text.writeString(dataOutput, this.name);  
192.     }  
193.   
194.       
195.     @Override  
196.     public int hashCode() {  
197.         final int prime = 31;  
198.         int result = 1;  
199.         result = prime * result + ((id == null) ? 0 : id.hashCode());  
200.         result = prime * result + ((name == null) ? 0 : name.hashCode());  
201.         return result;  
202.     }  
203.   
204.     @Override  
205.     public boolean equals(Object obj) {  
206.         if (this == obj)  
207.             return true;  
208.         if (obj == null)  
209.             return false;  
210.         if (getClass() != obj.getClass())  
211.             return false;  
212.         Student other = (Student) obj;  
213.         if (id == null) {  
214.             if (other.id != null)  
215.                 return false;  
216.         } else if (!id.equals(other.id))  
217.             return false;  
218.         if (name == null) {  
219.             if (other.name != null)  
220.                 return false;  
221.         } else if (!name.equals(other.name))  
222.             return false;  
223.         return true;  
224.     }  
225.   
226.     @Override  
227.     public String toString() {  
228.         return "Student [id=" + id + ", name=" + name + "]";  
229.     }  
230.       
231.       
232. }  

程序运行的结果是数据库中的数据成功导入到HDFS中，如下：

注：程序运行时，会碰到一个常见的数据库远程连接错误，大致如下：

1. Access denied for user ‘root‘@‘%‘ to database ‘xxxx’  

原因：创建完数据库后，需要进行授权(在本地访问一般不会出现这个问题)

解决方法就是进行授权：

1. grant all on xxxx.* to ‘root‘@‘%‘ identified by ‘password‘ with grant option;  
2.   
3. xxxx代表创建的数据库;  
4. password为用户密码，在此为root的密码  

另外一个常见的错误就是MYSQL驱动没有导入到hadoop/lib目录下，解决方案有两种，传统的方式我就不多说了，这里说另外一种方式：

(1)：把包上传到集群上

1. hadoop fs -put mysql-connector-java-5.1.0- bin.jar /lib  

(2)：在MR程序提交job前，添加语句：

1. DistributedCache.addFileToClassPath(new Path("/lib/mysql- connector-java- 5.1.0-bin.jar"), conf);  

Hadoop中的DBInputFormat

标签：

热心网友 时间：2022-04-08 21:14

用途：将单机的工作任务进行分拆，变成协同工作的集群。用以解决日益增加的文件存储量和数据量瓶颈。

通俗应用解释：

比如计算一个100M的文本文件中的单词的个数，这个文本文件有若干行，每行有若干个单词，每行的单词与单词之间都是以空格键分开的。对于处理这种100M量级数据的计算任务，把这个100M的文件拷贝到自己的电脑上，然后写个计算程序就能完成计算。

关键技术：

HDFS（Hadoop Distributed File System）：

既可以是Hadoop 集群的一部分，也可以是一个的分布式文件系统，是开源免费的大数据处理文件存储系统。

HDFS是Master和Slave的主从结构（是一种概念模型，将设备分为主设备和从设备，主设备负责分配工作并整合结果，或作为指令的来源；从设备负责完成工作，一般只能和主设备通信）。主要由Name-Node、Secondary NameNode、DataNode构成。

Name-Node：分布式文件系统中的管理者，主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等

Secondary NameNode：辅助 NameNode，分担其工作，紧急情况可以辅助恢复

DataNode：Slave节点，实际存储数据、执行数据块的读写并汇报存储信息给NameNode

HDFS客户端的存储流程：当客户需要写数据时，先在NameNode 上创建文件结构并确定数据块副本将要写道哪几个 datanode ，然后将多个代写 DataNode 组成一个写数据管道，保证写入过程完整统一写入。

读取数据时则先通过 NameNode 找到存储数据块副本的所有 DataNode ，根据与读取客户端距离排序数据块，然后取最近的。

热心网友 时间：2022-04-08 22:32

提供海量数据存储和计算的。需要java语言基础。

Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。

Hadoop的框架最核心的设计就是：HDFS和MapRece。HDFS为海量的数据提供了存储，而MapRece则为海量的数据提供了计算。

Hadoop优点：

1、高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。

2、高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。

3、效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。

4、高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。

5、低成本。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比，hadoop是开源的，项目的软件成本因此会大大降低。

热心网友 时间：2022-04-09 00:07

Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。

Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理 。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据 。此外，Hadoop 依赖于社区服务，因此它的成本比较低，任何人都可以使用。

Hadoop大数据处理的意义

Hadoop得以在大数据处理应用中广泛应用得益于其自身在数据提取、变形和加载(ETL)方面上的天然优势。Hadoop的分布式架构，将大数据处理引擎尽可能的靠近存储，对例如像ETL这样的批处理操作相对合适，因为类似这样操作的批处理结果可以直接走向存储。

Hadoop的MapRece功能实现了将单个任务打碎，并将碎片任务(Map)发送到多个节点上，之后再以单个数据集的形式加载(Rece)到数据仓库里

热心网友 时间：2022-04-09 01:58

提供海量数据存储和计算的。需要java语言基础。

Hadoop是由java语言编写的，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架，其核心部件是HDFS与MapRece。

HDFS是一个分布式文件系统：引入存放文件元数据信息的服务器Namenode和实际存放数据的服务器Datanode，对数据进行分布式储存和读取。

MapRece是一个计算框架：MapRece的核心思想是把计算任务分配给集群内的服务器里执行。通过对计算任务的拆分（Map计算／Rece计算）再根据任务调度器（JobTracker）对任务进行分布式计算。

Hadoop的功能

1、大数据存储：分布式存储

2、日志处理：擅长日志分析

3、ETL：数据抽取到oracle、mysql、DB2、mongdb及主流数据库

4、机器学习：比如Apache Mahout项目

5、搜索引擎：Hadoop + lucene实现

6、数据挖掘：目前比较流行的广告推荐，个性化广告推荐

Hadoop是专为离线和大规模数据分析而设计的，并不适合那种对几个记录随机读写的在线事务处理模式。