IBM DB2 UDB Blog Center

우여곡절 끝에 설치는 끝났다~~
자~ 이제 DB를 만들어 보고 테스트를 해야 겠다.
그전 우리가 앞으로 해야 할 테스트 요건을 회의를 통해 정리 했다.
이대로 무사히 테스트가 진행되기를 기원하며~~~

=======================================================================================
1. 기본기능
   1) Admin
        가. Reorg : reorg 중 강제 종료 , M1 Reorg 중 M2 에서 Select
        나. Backup , Recovery
        다. 병렬 Load 테스트(M1,M2)
        라. 페더레이션
        마. Range Table
        바. 권한(권한 부여, 일반 유저 패스워드 변경)
        사. 멀티 생성 가능
        아. Cur_Commit 가능(검증 완료)
        자. Automatic Storage 이외 테이블 스페이스 생성 안됨

2. 확장성
        가. Member Attach,Detach 테스트

3. 가용성
        가. Member , CF 강제 종료
        나. Proccess Kill
        다. 서버 강제로 끄기등

4. 성능
        가. One Member Vs Double Member 측정
        나. 멤버별 버퍼풀 사이즈 변경 및 생성

그간 다른 업무관계로 바빴던 터라 오늘에서야 DB2 설치를 하게 되었다.
물론 그전에 테스트로 삽질끝에 1,2번 설치를 했지만 오늘에서야 정식으로 설치를 하게 되었다.
다행히 삽질에 대한 노고로 이제는 수월하게 설치가 되는 듯 하다.

설치 전 주의점이 하나 있는데, GPFS설치 시 DB2 설치 모듈에 있는걸로 설치 하는것이 정신건강에 좋다는 점이다.
GPFS를 미리 설치하고 DB2 모듈을 설치 하게 되면 권장 configure 값을 바꾸어 주어야 하는데
그게 상당히 번거롭고 어려운 부분이 있다.~~ 궁금하시면 한번 해보시길~ 필자는 삽질끝에 그럴경우 우회 방법을 터득했다.

아래는 GPFS config 를 확인해 보는 명령어 이다.
======================================================================================
1. mmlsconfig

2. configurations를 변경하려면
    mmchconfig maxFilesToCache[Attribute]=10000 로 변경하면 된다.

자~ db2setup을 날리고 뜨는 첫 설치 화면이다.

다음 내부적인 설치 세팅은 직접 해보시길~~

드디어 삽질 끝에 설치 완료 화면을 볼 수 있었다.

 

자~ 이제 instance를 위한 Shared Disk를 만들어 보기로 하겠다~~

DB2 모듈과 인스턴스 생성전 각노드가 Share 할 수 있는 디스트 영역을 만들어야 한다.
다시 말해 lspv상의 hdisk에게 ID를 부여하는 PVID를 정의해야 한다.
처음에는 PVID값이 none으로 보이게 된다.

여기서는 3개의 서버(2member,1cf) 의 3개 노드로 구성을 하겠다.
아래는 PVID 세팅을 위한 절차이다.
=================================================================================
1. Log in as a root
2. lspv
3. chdev -l hdisk1 -a pv=yes
4. cfgmgr
5. lspv 로 재확인

6. 만약 할당된 PVID 값을 clear 하려면
     chdev -l hdisk2 -a pv=clear 로 Clear 하게 되면 PVID가 none으로 바뀌게 됨

7. chdev 로 설정 변경후 관련 사항을 항상 cfgmgr로 update 한다
   만약 cfgmgr 실행 시 아래와 같은 에러가 발생한다면
      Method error (/usr/lib/methods/cfgefscsi -l fscsi1 ):

        0514-061 Cannot find a child device.

8. lsdev -C|grep fscsi 로 FC SCSI I/O Controller Protocol Device를 확인한다.
    확인 시 1개 이상의 device가 보인다면 하나를 disable 해준다.

9. 참고로 할당된 PVID 값을 clear 하려면
     chdev -l hdisk2 -a pv=clear 을 사용하기 바란다.

자~ 다음에는 본격적으로 DB PureScale 를 설치해 보도록 하겠다.~

uDAPL 설치가 끝났고 시스템도 Reboot 했다.
자~ 이제 smitty 상에서 InfiniBand의 기본 Configure 세팅을 해보자~
기본적으로 AIX 단에서 아래와 같은 세팅이 필요하다.
1) Infiniband Communication Manager 추가 및 세팅
2) inet 상에서 network interface : ib0 세팅하기
3) /etc/dat.conf file 에 format 추가하기
4) /etc/hosts 파일에 format 추가하기

아래는 InfiniBand의 Subsystem 세팅법 절차이다.
==========================================================================
1. Log in as a root

2. smitty icm

3. Add an Infiniband Communication Manager 선택(2번째칸이다)

4. 아래와 같이 기본 세팅을 한후 Enter~~
   
Infiniband Communication Manager Device Name icm
Minimum Request Retries [1]
Maximum Request Retries [7]
Minimum Response Time (msec) [100]
Maximum Response Time (msec) [4300]
Maximum Number of HCA’s [256]
Maximum Number of Users [65000]
Maximum Number of Work Requests [65000]
Maximum Number of Service ID’s [1000]
Maximum Number of Connections [65000]
Maximum Number of Records Per Request [64]
Maximum Queued Exception Notifications Per User [1000]
Number of MAD buffers per HCA [64]

5. icm Available  Infiniband Communication Manager 이 추가된 것을 확인 할 수 있다.

6. smitty inet
- select "Change/Modify Characteristics ..."
- select "ib0" (the infiniband interface)
- set the following:
* network interface: ib0
* IP address : whatever you want (say, 10.10.1.10)
* Netmask : (whatever), say 255.255.255.0
* Adapter: iba0
* Port Number: 1 or 2 (see below **)
* Partition Key: -1 (it’s the default)
- hit Enter, let the command execute to completion; should say "ib0 changed"

7. System Reboot
 - Shutdown -Fr

8. /etc/dat.conf 에 아래의 내용 추가
 - hca0 u1.2 nonthreadsafe default /usr/lib/libdapl/libdapl.a(shr_64.o) IBM.1.1
"/dev/iba0 1 ib0" " "

9. /etc/hosts 에 아래의 내용 추가
- 10.1.1.10       dbcni1ib
   10.1.1.9        dbcni2ib
   10.1.1.8        dbcni3ib

10. lsdev -C |grep ib 로 확인하면 InfiniBand 가 Available 하게 보인다.

 

   
11. 각서버의 노드별 IB Interface 정보를 볼수 있다.

    1) dbcni1

 

   2) dbcni2

 

   3) dbcni3

InfiniBand 의 물리적인 설정이 끝나게되어, 드디어 AIX에 논리적인 세팅을 하게 되었다.
pureScale의 설치 전 우리는 이름도 참 희안한 uDAPL이라는 녀석을 설치하게 되었다.
근데 어거 어디서 다운 받지? 처음에는 되게 찾기 힘들었다.

팀원들의 도움으로 그녀석의 위치를 알아내게 되었다. (주소는 아래와 같다.)
uDAPL Dwonload : https://www14.software.ibm.com/webapp/iwm/web/reg/signup.do?source=aixbp&lang=en_US&S_PKG=udapl

다운을 받게 되면 아래의 파일셋을 확인한다.
1) udapl
2) U825645.bff
3) iz82909.epkg.Z

아래는 uDAPL의 세팅 절차를 보여준다.
====================================================
1. Log in as root
2. *.bff 파일이 있는 디렉토리에서 smitty update_all
3. Change "accept new license agreements" to "yes". (중요하다! 원래는 기본 no로 되었는데 yes로 필히 세팅)
4. InfiniBand ifix 설치(iz82909.epkg.Z)
    -> emgr -e iz82909.epkg.Z
5. Verify the ifix Installation
    -> emgr -l
6. lslpp -l udapl.rte 로 설치된 uDAPL을 확인 할 수 있다.
7. shutdown -Fr

다음은 설치된 InfiniBand의 Configure 설정방법을 알아보도록 하겠다.

 

InfiniBand Switch와 Adapter간 케이블링 작업을 우리 팀의 하드웨어 엔지니어들이 소리소문도 없이 끝내버렸다.

작업과정을 지켜보지 못한 아쉬움으로 기념사진이라도 남겨본다.

InfiniBand가 설치된 Rack의 뒷모습인데… 전반적으로 지저분하다.

 

InfiniBand Switch의 뒷태만 확대해 보았다.

 

이건 p550 서버에 장착된 InfiniBand Adapter다.

 

이제 DB2 pureScale 테스트를 위한 기초공사는 어느 정도 마무리 되었으니, 7월부터는 본격적으로 소프트웨어 설치 및 설정을 해봐야겠다.

드디어 오랫동안 박스 안에서 잠자던 InfiniBand Switch를 깨워서 Rack에 태워줬다.

InfiniBand Switch 아래층에는 이번 DSF 테스트의 Main이 될 p550 서버 되시겠다.

일차적으로는 이 서버를 2개의 pureScale Member와 2개의 CF로 구성할 예정이고, 추후 p750을 추가로 붙여볼 계획이다. ( 아니면, 남아도는 p550 서버들 중에서 한두 놈 더 잡아서 DSF 테스트에 동참시킬 예정이다. )

우리 팀 하드웨어 엔지니어들의 도움을 받아 필요한 장비들을 무사히 탑승을 다 시켰다.

InfiniBand Switch의 파란색 커버가 유난히 돋보인다. ( 나머지 애들은 다 시커먼데, 혼자 튄다. )

현재 우리 팀 서버실에 총 Rack이 5개가 있는데 ( 3개는 사용 중, 2개는 전시 중 ), Rack 정리가 잘 되어있지 않아서 DB2 pureScale 테스트와 관련된 장비들이 3개의 Rack에 분산되어 있다.

( 사진은 InfiniBand Switch가 장착된 Rack )

추후에 서버실이 정리가 되면 Rack 하나에 DSF 테스트 관련 모든 장비들을 몰아놓을 예정이다.

추후에 할 일들이 점점 쌓여만 간다.

IBM DB2 의 오랜 숙원이었던 Active-Active Feature, pureScale 이 어느덧 3번째 수정 팩까지 나왔다. ( 나온 지 벌써 6개월이 지났다. )

하지만 까다로운 Prerequisite 때문에 그 동안 기능 테스트는 고사하고 설치 조차 엄두도 못 내고 있었는데, 때마침 어느 고객에게 출가해있었던 AIX 서버가 오랜 방황을 끝내고 최근에 돌아와서, pureScale을 본격적으로 설치/구성 해보고 기능 테스트까지 해볼 수 있는 기회가 오게 되었다.

사실, AIX 서버가 임대 나가는 바람에 pureScale을 위해서 예전에 구매해놓았던 고가의 네트워크 장비인 InfiniBand Switch/Adaptor 가 1년이 넘도록 서버실 한 구석에 처박혀 있었는데… 드디어 빛을 보게 된 것이다.

우선 pureScale 설치/구성은 07월부터 본격적으로 시작하기로 하고, 오늘부터 3일 동안은 구성 계획을 수립하고 필요한 장비를 설치하는 작업을 진행할 예정이다.

현재 pureScale 구성에 가용한 장비들을 나열해 보면 다음과 같다.

▷ IBM p550 Express [ 8Core 32GB ] : 1대 ( 2 LPAR )

▷ IBM p750 [ 32Core 32GB ] : 1대

▷ QLogic InfiniBand Switch / Adapter : 1대 / 3개

▷ IBM SAN Switch : 1대

▷ IBM DS4700 : 1대

▷ IBM x3650 M2 : 2대

그리고 하드웨어 구성은 장시간의 회의 결과, 아래와 같이 할 예정이다.

물론, 진행하다가 상황에 따라 얼마든지 바뀔 수 있겠다.

오늘은 회의하다 지쳐서… 하드웨어 구성은 다음으로!