Hadoop

Hadoop

1、完整代码

package com.atguigu.hdfs;


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

public class HdfsClient {
    private FileSystem fs;

    @Before
    //因为一般前面和最后的步骤一样，可以封装起来
    public void init() throws URISyntaxException, IOException, InterruptedException {
        //连接的集群地址
        URI uri = new URI("hdfs://hadoop102:8020");
        //创建一个配置文件
        Configuration configuration = new Configuration();

        configuration.set("dfs.replication","2");
        //不是对应的用户会报权限不够的错误
        String user = "atguigu";
        //1.获取到客户端对象
        fs = FileSystem.get(uri, configuration,user);
    }

    @After
    public void close() throws IOException {
        //3.关闭资源
        fs.close();
    }


    
    @Test
    public void testGet() throws IOException {
        //参数解读：参数1：表示是否删除原数据；参数2：原数据路径；参数3：目的地路径；参数4：校验
        fs.copyToLocalFile(true,new Path("hdfs://hadoop102/xiyou/huaguoshan"),new Path("D:\code\Hadoop"),true);
    }

    
    @Test
    public void testRm() throws IOException {
        //参数解读：参数1：要删除的路径；参数2：是否递归删除
        //1、删除文件
        fs.delete(new Path("/1.txt"),false);

        //2、删除空目录
        fs.delete(new Path("/output2"),false);

        //3、删除非空目录(要递归删除)
        fs.delete(new Path("/jinguo"),true);
    }

    
    @Test
    public void testmv() throws IOException {
        //参数解读：参数1：原文件路径；参数2：目标文件路径
        //对文件名称的修改
        fs.rename(new Path("/input/word.txt"),new Path("/input/ss.txt"));

        //文件移动、更名
        fs.rename(new Path("/input/ss.txt"),new Path("/1.txt"));

        //目录更名
        fs.rename(new Path("/input"),new Path("/ouput"));
    }
}

2、 各个功能

（1）文件下载

    
    @Test
    public void testGet() throws IOException {
        //参数解读：参数1：表示是否删除原数据；参数2：原数据路径；参数3：目的地路径；参数4：校验
        fs.copyToLocalFile(true,new Path("hdfs://hadoop102/xiyou/huaguoshan"),new Path("D:\code\Hadoop"),true);
    }

（2） 删除（分文件和目录）

    
    @Test
    public void testRm() throws IOException {
        //参数解读：参数1：要删除的路径；参数2：是否递归删除
        //1、删除文件
        fs.delete(new Path("/1.txt"),false);

        //2、删除空目录
        fs.delete(new Path("/output2"),false);

        //3、删除非空目录(要递归删除)
        fs.delete(new Path("/jinguo"),true);
    }

（3）文件的更名和移动

    
    @Test
    public void testmv() throws IOException {
        //参数解读：参数1：原文件路径；参数2：目标文件路径
        //对文件名称的修改
        fs.rename(new Path("/input/word.txt"),new Path("/input/ss.txt"));

        //文件移动、更名
        fs.rename(new Path("/input/ss.txt"),new Path("/1.txt"));

        //目录更名
        fs.rename(new Path("/input"),new Path("/ouput"));
    }
}