[2011-07-06] InfiniBand Configure 세팅을 해보자!

uDAPL 설치가 끝났고 시스템도 Reboot 했다.
자~ 이제 smitty 상에서 InfiniBand의 기본 Configure 세팅을 해보자~
기본적으로 AIX 단에서 아래와 같은 세팅이 필요하다.
1) Infiniband Communication Manager 추가 및 세팅
2) inet 상에서 network interface : ib0 세팅하기
3) /etc/dat.conf file 에 format 추가하기
4) /etc/hosts 파일에 format 추가하기

아래는 InfiniBand의 Subsystem 세팅법 절차이다.
==========================================================================
1. Log in as a root

2. smitty icm

3. Add an Infiniband Communication Manager 선택(2번째칸이다)

4. 아래와 같이 기본 세팅을 한후 Enter~~
   
Infiniband Communication Manager Device Name icm
Minimum Request Retries [1]
Maximum Request Retries [7]
Minimum Response Time (msec) [100]
Maximum Response Time (msec) [4300]
Maximum Number of HCA’s [256]
Maximum Number of Users [65000]
Maximum Number of Work Requests [65000]
Maximum Number of Service ID’s [1000]
Maximum Number of Connections [65000]
Maximum Number of Records Per Request [64]
Maximum Queued Exception Notifications Per User [1000]
Number of MAD buffers per HCA [64]

5. icm Available  Infiniband Communication Manager 이 추가된 것을 확인 할 수 있다.

6. smitty inet
- select "Change/Modify Characteristics ..."
- select "ib0" (the infiniband interface)
- set the following:
* network interface: ib0
* IP address : whatever you want (say, 10.10.1.10)
* Netmask : (whatever), say 255.255.255.0
* Adapter: iba0
* Port Number: 1 or 2 (see below **)
* Partition Key: -1 (it’s the default)
- hit Enter, let the command execute to completion; should say "ib0 changed"

7. System Reboot
 - Shutdown -Fr

8. /etc/dat.conf 에 아래의 내용 추가
 - hca0 u1.2 nonthreadsafe default /usr/lib/libdapl/libdapl.a(shr_64.o) IBM.1.1
"/dev/iba0 1 ib0" " "

9. /etc/hosts 에 아래의 내용 추가
- 10.1.1.10       dbcni1ib
   10.1.1.9        dbcni2ib
   10.1.1.8        dbcni3ib

10. lsdev -C |grep ib 로 확인하면 InfiniBand 가 Available 하게 보인다.

 

   
11. 각서버의 노드별 IB Interface 정보를 볼수 있다.

    1) dbcni1

 

   2) dbcni2

 

   3) dbcni3