HDFS를 정리 합니다.


HDFS Architecture


[700px](파일:Hadoop architecture02.png.md)


HDFS 설치


  • [CentOS에서 Hadoop 설치](Hadoop.md#CentOS에서 Hadoop 설치.md)


HDFS 가이드


  • HDFS : Hadoop Distributed File System <- GFS (Global File System)
    • NameNode : Stores metadata (이중화 문제 있음)
    • DataNodes : 파일을 64MB 단위로 나누어 저장, 디폴트로 3개의 복사본을 저장
  • File System(FS) shell
    • URI : hdfs://namenodehost/parent/child, file:///file3
    • /user/user001/ : Linux user user001의 default 폴더
      hadoop dfs -명령어 옵션

  • hadoop dfs 명령
    -ls, -lsr          : 파일 목록 보기
    -cat ~             : 파일 내용 보기

  • Safe Mode에서 빠져나오기
    hadoop dfsadmin -safemode leave

  • 데이터 복사
    hadoop distcp ~ ~

  • 휴지통 설정
    • /user/$User/.Trash : 사용자별 휴지통 폴더
      fs.trash.interval = 1440           //--- 24 시간 동안 휴지통에 저장

  • HDFS port
    44983                  
    50010
    50075
    43964
    50020
    53991
    tcp 0 0 ::ffff:127.0.0.1:9000
    50090

  • MapReduce port
    50060                  
    50030
    50070
    56253
    41344
    tcp 0 0 ::ffff:127.0.0.1:9001
    tcp 0 0 ::ffff:127.0.0.1:51434

  • 참고 문헌

HDFS 2.0




참고 문헌



HDFS 1.0 참고 문헌


HDFS 2.0 참고 문헌

공유하기