Hadoop 명령어 모음

하둡에서 자주 사용하는 명령어는 다음과 같다. 

* 폴더의 용량을 확인할 때 count 를 사용

* 파일의 내용을 확인할 때는 cat 보다는 text를 사용하면 더 좋다. 파일 타입을 알아서 판단하기 때문

local space 에서는 그냥 리눅스 명령어 사용

HDFS space 에서는 hadoop fs -~~~~ 명령어 사용

hadoop fs -ls / 

 ex) hadoop fs -ls /user/training

tar zxvf ㅇㅇㅇ.tar.gz

put local -> HDFS

get local <- HDFS

hadoop fs -put from(local) to(HDFS)

hadoop fs -get from(HDFS) to(local)

| 사용해서 압축을 풀고 바로 이동하게한다.

from 이 빠져도 된다.

hadoop fs -cat [경로]

    - 경로의 파일을 읽어서 보여줌

    - 리눅스 cat 명령과 동리함

hadoop fs -count [경로]

    - 경로상의 폴더, 파일, 파일사이즈를 보여줌

hadoop fs -cp [소스 경로] [복사 경로]

    - hdfs 상에서 파일 복사

hadoop fs -df /user/hadoop

    - 디스크 공간 확인

hadoop fs -du /user/hadoop

    - 파일별 사이즈 확인

hadoop fs -dus /user/hadoop

    - 폴더의 사이즈 확인

hadoop fs -get [소스 경로] [로컬 경로]

    - hdfs 의 파일 로컬로 다운로드

hadoop fs -ls [소스 경로]

    - 파일 목록 확인

hadoop fs -mkdir [생성 폴더 경로]

    - 폴더 생성

hadoop fs -mkdir -p [생성 폴더 경로]

    - 폴더 생성, 부모 경로까지 한번에 생성해 준다. 

hadoop fs -put [로컬 경로] [소스 경로]

    - 로컬의 파일 hdfs 상으로 복사

hadoop fs -rm [소스 경로]

    - 파일 삭제, 폴더는 삭제 안됨

hadoop fs -rmr [소스 경로]

    - 폴더 삭제

hadoop fs -setrep [값] [소스 경로]

    - hdfs 의 replication 값 수정

hadoop fs -text [소스 경로]

    - 파일의 정보를 확인하여 텍스트로 반환

    - gz, lzo 같은 형식을 확인후 반환해줌

hadoop fs -getmerge hdfs://src local_destination

- hdfs 경로상의 파일을 하나로 합쳐서 로컬로 가져온다. 

- 리듀스 결과가 여러개일 경우 하나의 파일로 만들기 위해 사용할 수 있다. 

- 주의할 점은 로컬 경로로 가져온다는 것이다. hdfs 상에는 생성 불가이다.