Reprints from my posting to SAN-Tech Mailing List and ...

2011/06/11

[san-tech][02006] InfinBand 3D Torusいろいろ

Date: Wed, 20 Jan 2010 14:42:36 +0900
--------------------------------------------------
2012/03/16
[san-tech][03479] Slide/Video: HPC Advisory Council Switzerland Conference 2012 (March 13-15, 2012) 
--------------------------------------------------
2012/03/02
"3D Torus Topology with InfiniBand at San Diego Supercomputing Center"
 January 30, 2012, HPCWire
 Sponsored Content by Mellanox Technologies
  http://www.hpcwire.com/hpcwire/2012-01-30/3d_torus_topology_with_infiniband_at_san_diego_supercomputing_center.html
--------------------------------------------------
InfinBand 3D Torus関係情報をまとめました

Sandia Red Sky関連 (ビデオ、Sonoma WS資料、公開パッチ等)
FPGAベース 3D Torus (QPACE (eQPACE):QCDマシン、EXTOLL project)
Fat-Treeと 3D Torusトポロジーイメージでの比較
Fat-Tree資料
3D Torus以降 (Dragonfly、豆腐)


==========
Sandia Red Sky関係

"Is Sandia National Lab's Red Sky Really Able to Deliver a PUE of 1.035?",
 2009年11月22日
  http://perspectives.mvdirona.com/2009/11/22/IsSandiaNationalLabsRedSkyReallyAbleToDeliverAPUEOf1035.aspx
Red Sky Time Lapse, 2009年11月16日
  http://www.youtube.com/watch?v=mNW9cYY4tqc
  Red Sky設置定点ビデオです。上記 Perspectiveにテロップをまとめてありますが、
  上記で指摘されているように、PUE=1.035は疑問です。

InfiniBand協力会社のプレスリリース
"System Fabric Works Makes Key Contributions to Sandia's Latest
 Institutional Cluster Called RedSky", Fri, Nov 13, 2009
  http://www.infinibandta.org/content/pages.php?pg=press_room_member_item&rec_id=617

Red Skyで採用する 3D Torusについての説明
2009 International Sonoma Workshop - The Lodge at Sonoma, March 22 - 25, 2009
  http://www.openfabrics.org/archives/sonoma2009.htm
"IB Routing for Torus & Mesh Topologies", Bob Pearson, System Fabric Works
  http://www.openfabrics.org/archives/spring2009sonoma/wednesday/mesh.pdf
"OpenSM Update", Sasha Khapyorsky, Voltaire
  http://www.openfabrics.org/archives/spring2009sonoma/wednesday/opensm.pdf
OpenSM
  https://wiki.openfabrics.org/tiki-index.php?page=OpenSM

公開関連パッチ (ポストは、Jim Schutt, Sandia Red Skyメンバー)
"[PATCH 00/11] Add new torus routing engine: torus-2QoS", 20 Nov 2009
  http://www.spinics.net/lists/linux-rdma/msg01438.html
"[PATCH 00/12] Add specialized multicast support to new torus routing engine: torus-2QoS"
 18 Dec 2009
  http://www.spinics.net/lists/linux-rdma/msg01938.html
"[ofa-general] [PATCH 1/2] opensm: avoid LASH use-after-free when switch is deleted from fabric."
 August 28, 2009
  http://kerneltrap.org/mailarchive/openfabrics-general/2009/8/28/6362043/thread

Sandia Red Sky 3D Torusに特に注目する理由は別にします。
==========
FPGAベース 3D Torus (QPACE (eQPACE):QCDマシン、EXTOLL project)

ドイツ(欧州)では FPGAで 3D Torusを実現しています。有名なのは Cellベースの
QCD専用マシン:QPACE (eQPACE) です。QPACE(eQPACE) については以下のワーク
ショップが詳しいです:
eQPACE Meeting Feb 2009
Network Specification and Software Data Structures for the eQPACE Architecture
 February 9th and 10th, 2009
  http://www.fz-juelich.de/jsc/juice/eQPACE_Meeting/
ネットワーク関係プロジェクトメンバー:
High-speed Network Interface with Collective Operation Support for Cell BE (NICOLL)
  http://www.tu-chemnitz.de/informatik/RA/dw/doku.php?id=research:projects:nicoll
FPGA Implementation of a 3D Torus Communication Network
  http://moby.mib.infn.it/~simma/tnw/

QPACE (QCD Parallel Computing on the Cell Broadband Engine)
  http://en.wikipedia.org/wiki/QPACE

EXTOLL project
  http://ra.ziti.uni-heidelberg.de/index.php?page=projects&id=extoll
"An FPGA-Based Custom High Performance Interconnection Network"
 Mondrian Nussle, et al.
 International Conference on Reconfigurable Computing and FPGAs, 2009
  http://doi.ieeecomputersociety.org/10.1109/ReConFig.2009.23
"Acceleration of the hardware-software interface of a communication
 device for parallel systems",
 Mondrian Nuessle, Disser/tation, 18.2.2009.
  http://madoc.bib.uni-mannheim.de/madoc/volltexte/2009/2246/
  http://madoc.bib.uni-mannheim.de/madoc/volltexte/2009/2246/pdf/dissertation_nuessle.pdf
HyperTransport Center of Excellence, University of Heidelberg
  http://ra.ziti.uni-heidelberg.de/coeht/
==========
Fat-Treeと 3D Torusトポロジーイメージでの比較

InfiBandを利用した HPCの多くは Fat-Treeトポロジーを採用しています。
CM-5は Fat-Treeを最初に採用した大規模マシンなので (CM-5用に開発)、以前
紹介したビデオは Fat-Treeの動きが良くわかります:

> "Database Supercomputing on the CM-5"
>   http://www.youtube.com/watch?v=1EcJmPHpJ_k

これをみると解るように、上位層スイッチにはより多くのバンド幅が要求され
ます、多くのサイトで大型 Voltaireを導入せざるおえない理由でもあり、
(いろいろな意味での) システム規模の制限につながります。Sunの超大規模
スイッチもありますが・・・
実は、上位層も同じ規模のエッジスイッチで構成することも可能です。例えば
筑波大学の T2Kとか。

Torsten Hoefler's Network Topology Repository!
  http://www.unixer.de/research/topologies/
HPCネットワークトポロジーを可視化したものです、太い部分はネットワークが
集中しています (=高バンド幅スイッチが必要)。
下側 2つは Cray XT (3D Torus) です。ネットワークが均一化されています。
どこにも巨大センタースイッチは存在しません。Cray XT4を紹介した際に
「ノード間ネットワークのセンタースイッチラックはどこですか?」
と聞かれることがありましたが、そもそも存在しません。

作者の Torsten Hoefler博士、Indiana Universityは MPI関係で著名な方です
Torsten Hoefler's Home Page
  http://www.unixer.de/

InfiniBandエッジスイッチを採用した 3D Torus構成とすることで、今までの
InfiniBandベース大規模システム構築際のネックになっていた、高額な大規模
スイッチを避けることが可能となります。

しかしながら、当然、双方ともに短所長所があります。
特に 3D Torusルーティングの安定度や管理ツール。
==========
Fat Tree資料

オリジナル
"Fat-trees: universal networks for hardware-efficient supercomputing"
 Charles E. Leiserson, IEEE Transactions on Computers,
 Vol. 34 , no. 10, Oct. 1985,
  http://courses.csail.mit.edu/6.896/spring04/handouts/papers/fat_trees.pdf
※CM-5につながります
Theory of Parallel Hardware, MIT, 6.896, Spring, 2004
  http://courses.csail.mit.edu/6.896/spring04/

Fat Treeについては以下の講義資料も良いかもしれません
CIS5930 Parallel and Distributed Systems, Spring 2009
Florida State University
  http://www.cs.fsu.edu/~xyuan/cis5930/
Lecture 11 Fat-tree and its performance issues
  http://www.cs.fsu.edu/~xyuan/cis5930/lect11_fattree.ppt
他にもあるかもしれませんが・・・

実際には Fat Tree系も研究が進められています。
"Fat trees and skinny switches", 24 August, 2008
  http://storagemojo.com/2008/08/24/fat-trees-and-skinny-switches/
Mohammad Al-Fares, Ph.D. Candidate, University of California, San Diego
  http://cseweb.ucsd.edu/~malfares/

Publications, Torsten Hoefler (トポロジーイメージを作成された方)
  http://www.unixer.de/publications/
"Optimized Routing for Large-Scale InfiniBand Networks", HOTI 2009
  http://www.unixer.de/publications//?pub=93
"Multistage Interconnection Networks are not Crossbars"
 Torsten Hoefler, 08/22/08
 Lawrence Berkeley National Lab. presented in Berkeley
  http://www.unixer.de/publications/img/hoefler-lbnl08-slides.pdf


毎学会のように提案されていて、はっきりいって追いかけきれません。
3D Torus等は省略します
==========
3D Torus以降 (Dragonfly、豆腐)

3D Torusの次の HPC用ネットワークトポロジー候補を 2つど紹介しておきます

"Cost-Efficient Dragonfly Topology for Large-Scale Systems"
 John Kim, Northwestern University, William Dally, Stanford University,
 Steve Scott, Cray, Dennis Abts, Google
 IEEE Micro, vol. 29, no. 1, pp. 33-40, Jan./Feb. 2009
  http://doi.ieeecomputersociety.org/10.1109/MM.2009.5
Dragonflyは次期 Cray (HPCS) での本命と言われています

アカデミックの中心研究室
Stanford Interconnection Network Research
Prof. William J. Dally
  http://cva.stanford.edu/projects/icn/

以下の報告で、Dragonfly: 3D Torus: Fat Treeを簡単に比較しています:
"Of FLITS and FLOPS: Balancing Energy and Interconnect Performance",
 K. Scott Hemmert, Sandia National Laboratories, Salishan 2009
  http://www.lanl.gov/orgs/hpc/salishan/salishan2009/pdfs/hemmert-salishan-2009-final.pdf
  Comparison of Theoretical Modern Networks
[san-tech][02005] Salishan 2009: Theme: Energy-Centric HPC: Systems and Applications (09/04/27-30)

次期 Crayネットワークチップ (Gemini) 関連情報
Cray XT5 Code Porting Workshop, 13-15 july 2009
 CSCS Swiss National Supercomputing Centre
  http://www.cscs.ch/468.0.html
"Interconnect"
  http://www.cscs.ch/fileadmin/user_upload/customers/CSCS_Application_Data/Files/Presentations/CPW09_Interconnect.pdf
"Gemini Software Development Using Simulation",
 Kevin Peterson, Cray Inc., CUG 2009, May 7, 2009
  http://www.cug.org/5-publications/proceedings_attendee_lists/CUG09CD/S09_Proceedings/pages/authors/16-18Thursday/18A-Peterson/18A-Peterson-paper.pdf
  http://www.cug.org/5-publications/proceedings_attendee_lists/CUG09CD/S09_Proceedings/pages/authors/16-18Thursday/18A-Peterson/18A-Peterson-slide.pdf


国産技術
"Tofu: A 6D Mesh/Torus Interconnect for Exascale Computers"
 Yuichiro Ajima, Shinji Sumimoto, Toshiyuki Shimizu, Fujitsu
 Computer, vol. 42, no. 11, pp. 36-40, Nov. 2009
  http://doi.ieeecomputersociety.org/10.1109/MC.2009.370
"A new architecture with a six-dimensional mesh/torus topology achieves
 highly scalable and fault-tolerant interconnection networks for
 large-scale supercomputers that can exceed 10 petaflops."

"Tofu stands for "torus fusion" or "torus-connected full connection".

関連?
"大規模InfiniBandシステムにおける経路更新手法の提案"
 中島 耕太,久門 耕一,成瀬 彰,住元 真司 (富士通研)
 ネットワーク技術,2009年並列/分散/協調処理に関する『仙台』サマー・ワークショップ
 SWoPP仙台2009
  http://ci.nii.ac.jp/naid/110007358825
--------------------------------------------------
 2011/06/22
[san-tech][02988] 講演資料:3rd Symp. of the HyperTransport COE (2010/02/08. 09)、SMP用ボードが 3種

"The 3D Torus architecture and the Eurotech approach"
 June 20, 2011, HPCwire
  http://www.hpcwire.com/hpcwire/2011-06-20/the_3d_torus_architecture_and_the_eurotech_approach.html

0 件のコメント:

コメントを投稿