SAN Switch 中間那條線ISL 要不要連?

長久以來 Datacenter storage network 不論是FC SAN or IP SAN 都會導入多重路徑 MPIO設計
為的是避免實體線路中斷導致的設備失效
多重路徑 MPIO 的好處也可以提供更高的頻寬支援更多設備IO需求

一般來說MPIO不外乎 兩座SAN Switch A 與 B
Storage與Server 各至少有一條線路接上 SAN Switch A 跟 B


以圖下的標準設計來說

Server A 到 Storage 的路徑就會有下列四條

1. AA1 -> Switch A -> A1
2. AA1 -> Switch A -> A2
3. AB1 -> Switch B -> B1
4. AB1 -> Switch B -> B2

任何一條路線掛掉 都還是有機會走其他路線



可是也聽過有另一種說法
SAN Switch A/B 中間如果也把它聯起來 像是下圖的ISL接線方式呢?

Server A 到 Storage 的路徑就會有下列四 + 四條

1. AA1 -> Switch A -> A1
2. AA1 -> Switch A -> A2
3. AB1 -> Switch B -> B1
4. AB1 -> Switch B -> B2
5. AA1 -> Switch A -> Switch B -> B1
6. AA1 -> Switch A -> Switch B -> B2
7. AB1 -> Switch B -> Switch A -> A1
8. AB1 -> Switch B -> Switch A -> A2

乍看之下 HA 容量加倍耶 不過後續問題可能比較多喔

• 首先是,當初為了HA而切出來的Switch A, Switch B 隔離的路徑就相通了,
  這樣就有可能導致Switch A or 路徑A上面出事, 連帶把B一整串拖下水
  比如說 某個豬頭 Switch A 設定錯誤 連帶整個環境一起掛點
  路徑 B 某個點用量過高 可能連 路徑A一起爆炸
• Storage / Server OS Path 可管理上限
  Storage 本身 每個 Volume or Share 可能只有1024路徑, 甚至 Storage全部就只能有1024路徑
  Server OS 本身 如ESXi 6 maximum 1024 paths. 換算4 paths MPIO 可以接到256 datastores. 但是如果用 8 paths, 只能接到128 datastores. 某方面來說很有機會超過
• MPIO Paths多一倍 但是Server可用總頻寬 並不會多一倍
  原因還是卡在Storage -> SAN Switch, SAN Switch -> Server 這邊
• ISL license 也是要錢 錢 錢

比較這些問題過後 HA double 好像就沒來的那麼有用
畢竟所有設備都已經有Multi paths了 Switch A/B 中間接個ISL 來個錦上添花
得到的好處好像也不見得比上面會遇到的問題來的多
究竟是 Z > B or B > Z.
就看Architect 決定囉