通过java读取HDFS的数据 (转)

原文链接:通过java读取HDFS的数据

通过JAVA直接读取HDFS中的时候,一定会用到FSDataInputStream类,通过FSDataInputStream以流的形式从HDFS读数据代码如下:文章来源地址https://www.yii666.com/article/764321.html文章地址https://www.yii666.com/article/764321.html网址:yii666.com<网址:yii666.com文章来源地址:https://www.yii666.com/article/764321.html

import java.io.IOException;
import java.net.URI; import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path; public class FileReadFromHdfs { public static void main(String[] args) {
try {
String dsf = "hdfs://hadoop1:9000/tmp/wordcount/kkk.txt";
Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(URI.create(dsf),conf);
FSDataInputStream hdfsInStream = fs.open(new Path(dsf)); byte[] ioBuffer = new byte[1024];
int readLen = hdfsInStream.read(ioBuffer);
while(readLen!=-1)
{
System.out.write(ioBuffer, 0, readLen);
readLen = hdfsInStream.read(ioBuffer);
}
hdfsInStream.close();
fs.close();
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
} } }

参考链接:

hadoop java操作hdfs

Java创建hdfs文件实例

利用HDFS、HBase的JavaAPI编程

版权声明:本文内容来源于网络,版权归原作者所有,此博客不拥有其著作权,亦不承担相应法律责任。文本页已经标记具体来源原文地址,请点击原文查看来源网址,站内文章以及资源内容站长不承诺其正确性,如侵犯了您的权益,请联系站长如有侵权请联系站长,将立刻删除

通过java读取HDFS的数据 (转)-相关文章

  1. 记录一次读取hdfs文件时出现的问题java.net.ConnectException: Connection refused

  2. 通过java读取HDFS的数据 (转)

  3. Java基础学习总结(15)——java读取properties文件总结

  4. java读取properties文件时候要注意的地方

    java读取properties文件时,一定要注意properties里面后面出现的空格!比如:filepath = /home/cps/我找了半天,系统一直提示,没有这个路径,可是确实是存在的,找来找去,原来是后面多了一个空格,导致路径不存在!所以,一定要小心,尤其是不显示的字符。

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信图片_20190322181744_03.jpg

微信扫一扫打赏

请作者喝杯咖啡吧~

支付宝扫一扫领取红包,优惠每天领

二维码1

zhifubaohongbao.png

二维码2

zhifubaohongbao2.png