HDFS

오픈소스 비즈니스 컨설팅
이동: 둘러보기, 검색

HDFS를 정리 합니다.

HDFS Architecture

Hadoop architecture02.png

HDFS 설치

HDFS 가이드

  • HDFS : Hadoop Distributed File System <- GFS (Global File System)
  • NameNode : Stores metadata (이중화 문제 있음)
  • DataNodes : 파일을 64MB 단위로 나누어 저장, 디폴트로 3개의 복사본을 저장
  • File System(FS) shell
  • URI : [hdfs://namenodehost]/parent/child, file:///file3
  • /user/user001/ : Linux user user001의 default 폴더
hadoop dfs -명령어 옵션
  • hadoop dfs 명령
-ls, -lsr          : 파일 목록 보기
-cat ~             : 파일 내용 보기
  • Safe Mode에서 빠져나오기
hadoop dfsadmin -safemode leave
  • 데이터 복사
hadoop distcp ~ ~
  • 휴지통 설정
  • /user/$User/.Trash : 사용자별 휴지통 폴더
fs.trash.interval = 1440           //--- 24 시간 동안 휴지통에 저장
  • HDFS port
44983                    
50010                    
50075                    
43964                    
50020                    
53991                    
tcp        0      0 ::ffff:127.0.0.1:9000       
50090                    
  • MapReduce port
50060                    
50030                    
50070                      
56253                    
41344                    
tcp        0      0 ::ffff:127.0.0.1:9001       
tcp        0      0 ::ffff:127.0.0.1:51434 
  • 참고 문헌

HDFS 2.0

참고 문헌

HDFS 1.0 참고 문헌

HDFS 2.0 참고 문헌

  • Apache 문서
  • Hadoop 2.0 HA (High Availability)