博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Maven下从HDFS文件系统读取文件内容
阅读量:4965 次
发布时间:2019-06-12

本文共 3454 字,大约阅读时间需要 11 分钟。

需要注意以下几点

1.所以的包都是org.apache.hadoop.XXX
2.三个配置文件要放到指定文件夹中等待文件系统读取(src/main/resources):core-site.xml hdfs-site.xml log4j.properties
3.文件路径指向要正确

package com.cenzhongman.hadoop.hdfs;import java.io.File;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IOUtils;public class HdfsApp {    /**     * to get fileSystem     *      * @return fileSystem     */    public static FileSystem getFileSystem() {        // 1.read configuration information : core-site.xml core-default.xml        // hdfs-site.xml hdfs-default.xml        Configuration conf = new Configuration();        // 2.get fileSystem        org.apache.hadoop.fs.FileSystem fileSystem = null;        try {            fileSystem = org.apache.hadoop.fs.FileSystem.get(conf);        } catch (IOException e) {            e.printStackTrace();        }        // 3.return fileSystem        return fileSystem;    }    /**     * read data form fileSystem     *      * @param fileName     */    public static void read(String fileName) {        // 1.get fileSystem        FileSystem fileSystem = getFileSystem();        System.out.println(fileSystem);        // 2.read path        Path readPath = new Path(fileName);        // 3.open file and get FSDataInputStream        FSDataInputStream inStream = null;        try {            inStream = fileSystem.open(readPath);        } catch (IOException e1) {            e1.printStackTrace();        }        // 4.read file info        try {            // read            IOUtils.copyBytes(inStream, System.out, 4096, false);        } catch (Exception e) {            e.printStackTrace();        } finally {            // close stream            IOUtils.closeStream(inStream);        }    }    public static void uploadFile(String fromFilePath, String putFilePath) {        // 1.get fileSystem        FileSystem fileSystem = getFileSystem();        // 2.write path        Path weitePath = new Path(putFilePath);        // 3.Output Stream        FSDataOutputStream ourStream = null;        try {            ourStream = fileSystem.create(weitePath);        } catch (IOException e1) {            e1.printStackTrace();        }        // 4.input Stream        FileInputStream inStream = null;        try {            inStream = new FileInputStream(new File(fromFilePath));        } catch (FileNotFoundException e1) {            // TODO Auto-generated catch block            e1.printStackTrace();        }        // 5.stream read/write        try {            // read            IOUtils.copyBytes(inStream, ourStream, 4096, false);        } catch (Exception e) {            e.printStackTrace();        } finally {            // close stream            IOUtils.closeStream(inStream);            IOUtils.closeStream(ourStream);        }    }    public static void main(String[] args) throws Exception {        String fileName = "/tmp/hadoop-yarn/staging/history/done_intermediate/cen/job_1497948413653_0001_conf.xml";        read(fileName);        String putFilePath = "/user/cen/output/file-output-test.xml";        String fromFilePath = "/usr/local/hadoop-2.5.0/input/core-site.xml";        uploadFile(fromFilePath, putFilePath);    }}

转载于:https://www.cnblogs.com/cenzhongman/p/7096028.html

你可能感兴趣的文章
Linux 标准 I/O 库
查看>>
.net Tuple特性
查看>>
Java基础常见英语词汇
查看>>
nginx启动、关闭命令、重启nginx报错open() "/var/run/nginx/nginx.pid" failed
查看>>
BZOJ 3097 Hash Killer I
查看>>
UINavigationController的视图层理关系
查看>>
html阴影效果怎么做,css 内阴影怎么做
查看>>
宏观经济
查看>>
综合练习:词频统计
查看>>
BZOJ1026: [SCOI2009]windy数
查看>>
样板操作数
查看>>
64位UBUNTU下安装adobe reader后无法启动
查看>>
组件:slot插槽
查看>>
走进C++程序世界------异常处理
查看>>
Nginx配置文件nginx.conf中文详解(转)
查看>>
POJ 1308 Is It A Tree?(并查集)
查看>>
N进制到M进制的转换问题
查看>>
利用sed把一行的文本文件改成每句一行
查看>>
Android应用开发:核心技术解析与最佳实践pdf
查看>>
python——爬虫
查看>>