GPFS 구성 확인

 

 

[GPFS 구성 확인하기 -> 모두 root권한으로 수행해야 함]

1. manager node ( Master node ) 확인하기
- mmlsmgr 커맨드로 확인
- [예시]
[root@inwas1:/] mmlsmgr
file system manager node
---------------- ------------------
Fileupdn_gpfs 100.100.1.3 (in_was1_gpfs)
handy_gpfs 100.100.1.3 (in_was1_gpfs)
log_gpfs 100.100.1.3 (in_was1_gpfs)
mail_gpfs 100.100.1.3 (in_was1_gpfs)
web_gpfs 100.100.1.3 (in_was1_gpfs)

Cluster manager node: 100.100.1.3 (in_was1_gpfs)

-> 5개의 Filesystem이 구성되어 있고, 100.100.1.3 node가 Manager node로 설정되어 있음.

2. 각 Filesystem이 사용하고 있는 Disk ( NSD 정보 ) 확인
- mmlsnsd 커맨드로 확인
- 각 Filesystem 별로 NSD명과 실제 논리 Device명과의 mapping 정보를 알 수 있음.
- nmon 등에서 Disk I/O 가 많은 disk가 발견되는 경우 어디의 Filesystem에서 I/O가 심한지
이 mapping 정보를 바탕으로 확인 가능함.
- [예시]
[root@inwas1:/] mmlsnsd -M

Disk name NSD volume ID Device Node name Remarks
---------------------------------------------------------------------------------------
Fileupdn1 C0A8C95B4AA88F92 /dev/hdisk5 in_was1_gpfs server node
Fileupdn1 C0A8C95B4AA88F92 /dev/hdisk5 in_was2_gpfs server node
-- 중략--
Fileupdn3 C0A8C85B4D01E0DD /dev/hdisk25 in_was1_gpfs server node
Fileupdn3 C0A8C85B4D01E0DD /dev/hdisk25 in_was2_gpfs server node
data1 C0A8C95B4AB36169 /dev/hdisk6 in_was1_gpfs server node
data1 C0A8C95B4AB36169 /dev/hdisk6 in_was2_gpfs server node
data10 C0A8C95B4AB36175 /dev/hdisk15 in_was1_gpfs server node
data10 C0A8C95B4AB36175 /dev/hdisk15 in_was2_gpfs server node
-- 중략--
data7 C0A8C95B4AB36171 /dev/hdisk12 in_was1_gpfs server node
data7 C0A8C95B4AB36171 /dev/hdisk12 in_was2_gpfs server node
data8 C0A8C95B4AB36173 /dev/hdisk13 in_was1_gpfs server node
data8 C0A8C95B4AB36173 /dev/hdisk13 in_was2_gpfs server node
data9 C0A8C95B4AB36174 /dev/hdisk14 in_was1_gpfs server node
data9 C0A8C95B4AB36174 /dev/hdisk14 in_was2_gpfs server node
mail1 C0A8C95B4AB8CCC7 /dev/hdisk30 in_was1_gpfs server node
mail1 C0A8C95B4AB8CCC7 /dev/hdisk30 in_was2_gpfs server node
mail10 C0A8C85B4F42EF85 /dev/hdisk43 in_was1_gpfs server node
mail10 C0A8C85B4F42EF85 /dev/hdisk43 in_was2_gpfs server node
-- 중략 --
mail8 C0A8C95B4AB8CCD0 /dev/hdisk38 in_was1_gpfs server node
mail8 C0A8C95B4AB8CCD0 /dev/hdisk38 in_was2_gpfs server node
mail9 C0A8C85B4F42EF84 /dev/hdisk42 in_was1_gpfs server node
mail9 C0A8C85B4F42EF84 /dev/hdisk42 in_was2_gpfs server node
nsd_tb1 C0A8C95B4A9F942A /dev/hdisk26 in_was1_gpfs server node
nsd_tb1 C0A8C95B4A9F942A /dev/hdisk26 in_was2_gpfs server node
waslog1 C0A8C95B4A9F9434 /dev/hdisk2 in_was1_gpfs server node
waslog1 C0A8C95B4A9F9434 /dev/hdisk2 in_was2_gpfs server node
-- 중략--
waslog5 C0A8C85B4DDF9028 /dev/hdisk41 in_was1_gpfs server node
waslog5 C0A8C85B4DDF9028 /dev/hdisk41 in_was2_gpfs server node
web_app1 C0A8C95B4A9F943F /dev/hdisk4 in_was1_gpfs server node
web_app1 C0A8C95B4A9F943F /dev/hdisk4 in_was2_gpfs server node

3. Filesystem 안의 disk 상세정보 확인
- mmlsdisk 로 확인 하며, Failure Group 및 status 정보확인 가능함.
- [예시]
[root@inwas1:/] mmlsdisk Fileupdn_gpfs
disk driver sector failure holds holds storage
name type size group metadata data status availability pool
------------ -------- ------ ------- -------- ----- ------------- ------------ ------------
Fileupdn1 nsd 512 -1 yes yes ready up system
Fileupdn2 nsd 512 -1 yes yes ready up system
Fileupdn3 nsd 512 -1 yes yes ready up system

- Fileupdn_gpfs 라는 Filesystem 은 3개의 disk로 구성되고 Faillure Group은 -1 로 동일
- status 는 모두 정상.

4. Filesystem 안의 disk간의 Fragmentation 확인
- mmdf 커맨드로 확인
- [예시]
[root@outwas1:/] mmdf log_gpfs
disk disk size failure holds holds free KB free KB
name in KB group metadata data in full blocks in fragments
--------------- ------------- -------- -------- ----- -------------------- -------------------
Disks in storage pool: system (Maximum disk size allowed is 207 GB)
waslog1 21058560 -1 yes yes 18392576 ( 87%) 38904 ( 0%)
waslog2 21058560 -1 yes yes 18398464 ( 87%) 39608 ( 0%)
waslog3 21058560 1 yes yes 18586368 ( 88%) 20152 ( 0%)
waslog4 21058560 1 yes yes 18582784 ( 88%) 21808 ( 0%)
waslog5 21058560 1 yes yes 18580992 ( 88%) 15384 ( 0%)
------------- -------------------- -------------------
(pool total) 105292800 92541184 ( 88%) 135856 ( 0%)

============= ==================== ===================
(total) 105292800 92541184 ( 88%) 135856 ( 0%)

Inode Information
-----------------
Number of used inodes: 9513
Number of free inodes: 415447
Number of allocated inodes: 424960
Maximum number of inodes: 1000448

- log_gpfs라는 Filesystem은 5개 disk로 구성되어 있으며, 비교적 균등하게 file의 data가 분배되어 있음을 알수 있음.
- 부가적으로 inode 가 부족한지에 대한 정보도 기재되어 있으므로 이에 대한 추가적인 확인도 가능함.
- 만약, disk별로 파일이 균등하게 분배되지 않고 있다면 online상에서 restrpe 가능함.
( 다만, 심각한 I/O를 일으키기 때문에 업무가 거의 없는 시간대를 골라서 해야 함 )


5. GPFS config 정보 확인
- mmfsadm dump config 커맨드로 확인
- 각종 parameter에 대한 정보 수접가능함.
- pagepool size 나 maxFilesToCache 수치 정도만 튜닝. 나머지 parameter는 굉장히 많으나
사용량을 봐가면서 튜닝을 할필요가 있으며, 장애 시 FailOver time을 단축시킬 수 있는 parameter도 확인 가능함.
튜닝 관련 파라미터는 아래 URL 참조
http://www.ibm.com/developerworks/wikis/display/hpccentral/GPFS+Tuning+Parameters

 

출처: https://cloudit.tistory.com/18 [REAL STORY]cloudit.tistory.com/18