GbEクラスタのLinpack計測結果

ギガビットイーサネットの調査/計測/

GbEクラスタのLinpack計測結果

2003-08-16T00:11+09:00 matsu

GbEクラスタの処理性能を計測するため,Linpackベンチマークを計測した.

Linpackでの計測結果
Nを変化させる
NBを変化させる
まとめ

Linpackでの計測結果

Linpackで総合性能の計測を計測してみた.バージョン情報を以下に示す.

ATLAS: バージョン3.4.1
mpich: 1.2.5
lam: 6.5.9
hpl: バージョン1.0

また,ここで示すパラメータのうち,共通のものを以下に示す.

P      :       2
Q      :       4
PFACT  :    Left
NBMIN  :       2
NDIV   :       2 
RFACT  :    Left
BCAST  :   1ring 
DEPTH  :       0 
SWAP   : Mix (threshold = 64)
L1     : transposed form
U      : transposed form
EQUIL  : yes
ALIGN  : 8 double precision words

この記事での機器の略称一覧表.

NIC/HUB	略称	名称
NIC	3COM	3Com 10/100 Managed NIC 3C905CX-TX-M
NIC	MELCO-32B	メルコ LGY-PCI32-GT
NIC	MELCO-32	メルコ LCI-G1000T32
NIC	MELCO-64	メルコ LCI-G1000T64
HUB	MELCO-8P	メルコ LSW-GT-8W
HUB	PLANEX-8P	PLANEX FXG-08TE
HUB	NETGEAR-8P	NETGEAR FS2108

Nを変化させる

まず,NBを適当な値120に固定してNを変化させてみた.

縦軸はGflopsで,横軸はNである.Nは10,000から1,000間隔で21,000まで変化させた(グラフでは横軸は8,000から22,000となっている).以下最高値.

3COM lam: 7.17Gflops
3COM mpich: 7.17Gflops
MELCO-32 lam: 9.42Gflops
MELCO-32 mpich: 9.968Gflops

lamではMELCO-32は3COMの1.3倍,mpichでは1.4倍弱である.また,最高値をが出たときのNの値は20,000であり,例の計算式

最適N=sqrt(メモリ全容量*0.8/CPU数)

のとほぼ一致する(メモリ全容量=1024,000,000バイトx4ノード,CPU数=4x2).

NBを変化させる

次にNを最高値がでた20,000に固定し,NBを変化させてみた.

縦軸はGflopsで,横軸はNBである.NBは20,40,80,120,160,200,240,280,320で計測した.以下最高値.

3COM lam: 7.298Gflops(NB=160)
3COM mpich: 7.262Gflops(NB=160)
MELCO-32 lam: 9.767Gflops(NB=240)
MELCO-32 mpich: 10.31Gflops(NB=240)

3COMとMELCO-32では最高値となるときのNBの値が異なる.NBは粒度を表していて,1ノードあたりのメモリ容量や通信性能によって最適なNBが異なる.今回は3COM,MELCO-32ともに同じマシンで実行していて異なるのは通信性能のみである.最適なNBの値の違いは通信性能の違いのみが影響しているものと考えられる.NBのチューニングの結果,lamではMELCO-32は3COMの1.2倍,mpichではMELCO-32は3COMの1.4倍となった.

まとめ

今回の計測結果のまとめを以下にしめす.

総合性能でのMELCO-32の優位性: 通信性能ではMELCO-32は3COMの約1.7倍のバンド幅だったが,総合性能では1.7倍に至らなかった.これはLinpack値の通信性能の影響度が100%ではないので当然である.
lamとmpichでのMELCO-32の優位性の違い: MELCO-32はlamでは3COMの1.2倍,mpichでは3COMの1.4倍のLinpack値がでた.mpichの方がGbEの導入効果が高いことになる.また,全体的にmpichでのLinpack値はlamのものよりも高い.
最適NB値の違い: MELCO-32と3COMでは,通信性能の特性が異なるので,最適なNB値も異なる.MTUをチューニングするとこれがどう変化するのか興味深い.