[Hadoop] 하둡 환경설정 파일에 대한 간략한 설명

Hadoop의 기본적인 환경설정 파일에 대해서 포스팅을 하려고 한다.
설치가이드라인을 따라가다보면 왜 하는지 모르는 설정들을 하고 있을 때가 있다. 다른 시스템도 마찬가지이지만 하둡은 환경설정을 어떻게 해주느냐에 따라 많이 바뀌게 된다. 그러기 때문에 각 파일들이 어떤 역할을 하는지 알아둬야한다.

hadoop-env.sh
 - 하둡을 실행하는 셸 스크립트 파일에서 필요한 환경변수를 설정한다. 하둡 홈 디렉터리의 아래에 있는 bin 디렉터리에 있는 셸 스크립트 파일이 hadoop-env.sh를 사용한다. 이 파일에는 JDK경로, 클래스 패스, 데몬 실행 옵션 등 다양한 환경변수를 설정할 수 있다.

masters
 - 보조네임노드를 실행할 서버를 설정한다.

slaves
 - 데이터노드를 실행할  서버를 설정한다.

core-site.xml
 - HDFS와 맵리듀스에서 공통적으로 사용할 환경 정보를 설정한다. core-site.xml은 hadoop-core-1.2.1.jar에 포함돼 있는 core-default.xml 오버라이드한 파일이다. core-site.xml가 없는 경우 core-default.xml에 있는 기본 값을 사용

hdfs-site.xml
 - HDFS에서 사용할 환경 정보를 설정한다. hdfs-site.xml에 설정값이 없을 경우 hdfs-default.xml에 있는 기본값을 사용한다.

mapred-site.xml
 - 맵리듀스에서 사용할 환경 정보를 설정한다. mapred-site.xml은 jadoop-core-1.2.1.jar에 포함돼 있 mapred-default.xml을 오버라이드한 파일이다.  mapred-site.xml에 설정값이 없을 경우 mapred-default.xml에 있는 기본값을 사용한다.