HDFS
HDFS를 정리 합니다.
목차
HDFS Architecture
HDFS 설치
HDFS 가이드
- HDFS : Hadoop Distributed File System <- GFS (Global File System)
- NameNode : Stores metadata (이중화 문제 있음)
- DataNodes : 파일을 64MB 단위로 나누어 저장, 디폴트로 3개의 복사본을 저장
- File System(FS) shell
- URI : [hdfs://namenodehost]/parent/child, file:///file3
- /user/user001/ : Linux user user001의 default 폴더
hadoop dfs -명령어 옵션
- hadoop dfs 명령
-ls, -lsr : 파일 목록 보기 -cat ~ : 파일 내용 보기
- Safe Mode에서 빠져나오기
hadoop dfsadmin -safemode leave
- 데이터 복사
hadoop distcp ~ ~
- 휴지통 설정
- /user/$User/.Trash : 사용자별 휴지통 폴더
fs.trash.interval = 1440 //--- 24 시간 동안 휴지통에 저장
- HDFS port
44983 50010 50075 43964 50020 53991 tcp 0 0 ::ffff:127.0.0.1:9000 50090
- MapReduce port
50060 50030 50070 56253 41344 tcp 0 0 ::ffff:127.0.0.1:9001 tcp 0 0 ::ffff:127.0.0.1:51434
- 참고 문헌
HDFS 2.0
참고 문헌
HDFS 1.0 참고 문헌
HDFS 2.0 참고 문헌
- Apache 문서
- Hadoop 2.0 HA (High Availability)
