ファイヤープロジェクト
GbEクラスタのLinpack計測結果
2003-08-16T00:11+09:00   matsu
GbEクラスタの処理性能を計測するため,Linpackベンチマークを計測した.
Linpackで総合性能の計測を計測してみた.バージョン情報を以下に示す.
ATLAS
バージョン3.4.1
mpich
1.2.5
lam
6.5.9
hpl
バージョン1.0
また,ここで示すパラメータのうち,共通のものを以下に示す.
P      :       2
Q      :       4
PFACT  :    Left
NBMIN  :       2
NDIV   :       2 
RFACT  :    Left
BCAST  :   1ring 
DEPTH  :       0 
SWAP   : Mix (threshold = 64)
L1     : transposed form
U      : transposed form
EQUIL  : yes
ALIGN  : 8 double precision words
この記事での機器の略称一覧表.
NIC/HUB略称名称
NIC3COM3Com 10/100 Managed NIC 3C905CX-TX-M
NICMELCO-32Bメルコ LGY-PCI32-GT
NICMELCO-32メルコ LCI-G1000T32
NICMELCO-64メルコ LCI-G1000T64
HUBMELCO-8Pメルコ LSW-GT-8W
HUBPLANEX-8PPLANEX FXG-08TE
HUBNETGEAR-8PNETGEAR FS2108
まず,NBを適当な値120に固定してNを変化させてみた.
縦軸はGflopsで,横軸はNである.Nは10,000から1,000間隔で21,000まで変化させた(グラフでは横軸は8,000から22,000となっている).以下最高値.
3COM lam
7.17Gflops
3COM mpich
7.17Gflops
MELCO-32 lam
9.42Gflops
MELCO-32 mpich
9.968Gflops
lamではMELCO-32は3COMの1.3倍,mpichでは1.4倍弱である.また,最高値をが出たときのNの値は20,000であり,例の計算式
最適N=sqrt(メモリ全容量*0.8/CPU数)
のとほぼ一致する(メモリ全容量=1024,000,000バイトx4ノード,CPU数=4x2).
次にNを最高値がでた20,000に固定し,NBを変化させてみた.
縦軸はGflopsで,横軸はNBである.NBは20,40,80,120,160,200,240,280,320で計測した.以下最高値.
3COM lam
7.298Gflops(NB=160)
3COM mpich
7.262Gflops(NB=160)
MELCO-32 lam
9.767Gflops(NB=240)
MELCO-32 mpich
10.31Gflops(NB=240)
3COMとMELCO-32では最高値となるときのNBの値が異なる.NBは粒度を表していて,1ノードあたりのメモリ容量や通信性能によって最適なNBが異なる.今回は3COM,MELCO-32ともに同じマシンで実行していて異なるのは通信性能のみである.最適なNBの値の違いは通信性能の違いのみが影響しているものと考えられる.NBのチューニングの結果,lamではMELCO-32は3COMの1.2倍,mpichではMELCO-32は3COMの1.4倍となった.
今回の計測結果のまとめを以下にしめす.
総合性能でのMELCO-32の優位性
通信性能ではMELCO-32は3COMの約1.7倍のバンド幅だったが,総合性能では1.7倍に至らなかった.これはLinpack値の通信性能の影響度が100%ではないので当然である.
lamとmpichでのMELCO-32の優位性の違い
MELCO-32はlamでは3COMの1.2倍,mpichでは3COMの1.4倍のLinpack値がでた.mpichの方がGbEの導入効果が高いことになる.また,全体的にmpichでのLinpack値はlamのものよりも高い.
最適NB値の違い
MELCO-32と3COMでは,通信性能の特性が異なるので,最適なNB値も異なる.MTUをチューニングするとこれがどう変化するのか興味深い.
matsu(C)
Since 2002
Mail to matsu