Cloudera CDH 6.3.x 설치 [3부]

10월 06, 2019

Cloudera CDH 6.3.x 설치 [3부]

앞선 과정에서 Cloudera Manager 설치 끝나고 본격적으로 Clouster 와 호스트 역할을 노드에 설치 및 할당한다.
만약 [2부]에서 했던 과정을 제대로 하지 않으면 에러가 날 수 있으니 주의하세요.

참고 : Cloudera CDH 6.3.x 설치 [2부]
● https://radix7318.blogspot.com/2019/10/cloudera-cdh-63x-2.html

▶ Cloudera Clouster 설치

1. http://<매니저 노드 IP>:7180 으로 접속

● 초기 설정은 admin / admin 으로 되어 있다.

2. 설치 시작

3. 라이센스 동의

4. Cloudera 라이센스 선택

● Cloudera Express : 무료버전

● Cloudera Enterprise 체험판 : 60일 무료 (60일 이후 결재하지 않으면 Express 버전으로 변경됨)

● Cloudera Enterprise : 유로버전

5. Cloudera Manager 설치 시작

6. 클러스터 이름 설정

7. 클러스터에 등록할 호스트 검색

8. 리포지토리 선택

9. JDK 설치

이미 JDK를 설치했기때문에 패스한다.

10. SSH 로그인 정보 입력

11. 에이전트 설지

12. Parcels 설치

13. 클러스터 검사

● 네트워크 성능 검사 와 호스트 검사를 하고 넘어 가는 것이 좋다.

● 트래블 슈팅

- sysctl vm.swappiness=60 으로 기본 설정이 되어있다. Cloudera Manager에선 swappiness가 최대10까지 지원한다.

- 해결 방법

# vi /etc/sysctl.conf

vm.swappiness = 10

- Transparent Huge Page Compaction이 설정되었으며 심각한 성능 문제를 일으킬 수 있습니다. "echo never > /sys/kernel/mm/transparent_hugepage/defrag" 및 "echo never > /sys/kernel/mm/transparent_hugepage/enabled"를 실행하여 이 설정을 해제한 다음, 시스템 재부팅 시 설정될 수 있도록 /etc/rc.local과 같은 init 스크립트에 동일한 명령을 추가하십시오. 영향을 받는 호스트는 다음과 같습니다

- 해결 방법 : https://allthatlinux.com/dokuwiki/doku.php?id=thp_transparent_huge_pages_%EA%B8%B0%EB%8A%A5%EA%B3%BC_%EC%84%A4%EC%A0%95_%EB%B0%A9%EB%B2%95