|
||
|
Junior Member
  加入日期: Jan 2002
文章: 864
|
請教 LSI SAS raid 的最佳切法
hi:
又來請教 vxr 大或其他前輩的經驗了。雖然被 2208 咬中的傷口尚未痊癒，仍預計購入 lsi 3108 的 raid card。目前會接兩個 expander, 每個 expander 是 12 顆或 24 顆硬碟，未來會再串接更多 expander。若是硬碟都要做 raid6, 不知道每個 raid6 drive group 要用多少顆比較恰當呢？另外做好的 drive group 若是再做成 raid60 會有什麼風險嘛？還是這樣子太操卡片了，就只做多個 raid6 group 穩穩用就好了呢？ 感謝建議和經驗分享，謝謝。 |
|||||||
2014-11-05, 07:14 PM
#1
|
|
|
Junior Member
加入日期: Jan 2002
文章: 864
|
另有一個問題，以前 lsi sas2 陽春版的 backplane 都是 8087 一進一出，所以如果用了兩個 backplane 那就沒什麼選擇，卡上的兩個 8087 port 就分別接兩個 backplane。
但是我看一下，現在 lsi sas3 陽春版的 backplane 都是 8643 兩進兩出，所以如果用了兩個 backplane, 那你可以選擇老方法，卡上兩個 port 分別接兩個 backplane。但是也可以卡上兩個 port 先接進 backplane-A, 然後再由 backplane-A 兩個 port 去串 backplane-B。後者的接法不知道有沒有額外的優點哩？ |
||
|
2014-11-05, 11:13 PM
#2
|
|
|
Elite Member
加入日期: May 2002 您的住址: 地球的上面..
文章: 5,854
|
"不知道每個 raid6 drive group 要用多少顆比較恰當呢？"
視管理者而定 "另外做好的 drive group 若是再做成 raid60 會有什麼風險嘛？還是這樣子太操卡片了，就只做多個 raid6 group 穩穩用就好了呢？" DG最好是愈單純愈好.. R60是一個混合式RAID, 他的條帶結構比較複雜.. 這會提高 "災後救援" 的成本... "但是我看一下，現在 lsi sas3 陽春版的 backplane 都是 8643 兩進兩出，所以如果用了兩個 backplane, 那你可以選擇老方法，卡上兩個 port 分別接兩個 backplane。但是也可以卡上兩個 port 先接進 backplane-A, 然後再由 backplane-A 兩個 port 去串 backplane-B。後者的接法不知道有沒有額外的優點哩？" 我想你指的應該是expander "現在 lsi sas3 陽春版的 backplane 都是 8643 兩進兩出" 我只有看到SAS-INx2,SAS-OUTx1的model... 你從哪個model看到兩進兩出的呢?? "所以如果用了兩個 backplane, 那你可以選擇老方法，卡上兩個 port 分別接兩個 backplane。" 這是典型的dual-port應用 single HBA to multi-expander "但是也可以卡上兩個 port 先接進 backplane-A, 然後再由 backplane-A 兩個 port 去串 backplane-B。" 這種可以建立 "最不便宜" 的樹狀架構(tree technology)... 最完善的MPIO(LSI的MPIO需要買key...)... 一個獲益就是2phy links會被RAID f/w識別去combine成一個port.. I/O吞吐量可以大幅提升... 此文章於 2014-11-06 10:59 AM 被 vxr 編輯. |
|
2014-11-06, 10:56 AM
#3
|
|
|
Junior Member
加入日期: Jan 2002
文章: 864
|
vxr 大又辛苦您打字回覆了...
drive group 用多少顆你說視管理者而定，所以即使接到 32 顆也不會有什麼問題就是了，還是說十幾顆一組會比較好哩? R60 那就省略。我底層會是 linux lvm， 所以就一組一組加進 lvm 就好了。 是的我前文所說的 backplane 是指 backplane with expander。 supermicro 目前我看到全系列帶 sas3 expander 的機殼都是 8643 兩進兩出，譬如 846 或 847 都是這樣。如果 expander 帶 failover 功能的都是 8643 四進四出。四進四出的不考慮的話，我很好奇兩進兩出的怎麼接會比較好。 card-port1 接 1 號 expander, card-por2 接 2 號 expander 還是 card 兩 port 接 1 號 expander, 1 號 expander 兩 port 串 2 號 expander 我看說明書沒有提到後者接法可以有 link failover 的功能，但不知道實務上是否會有這個功能哩。 supermicro 提到 failover 的似乎都是帶有兩個 expander chip 的 backplane。 對了提醒您一下，supermicro 官網上很多 sas3 的機殼都剛上架，所以說明書什麼的下載鍊結都是錯的。可能你要直接去 http://www.supermicro.com.tw/support/manuals/ 找其他 -> sas3 backplane 的說明書，才能得到比較正確的資訊。大部分的 sas3 backplane 說明書我看都還沒有上架。 此文章於 2014-11-06 02:15 PM 被 tbsky 編輯. |
|
2014-11-06, 02:06 PM
#4
|
|
|
Elite Member
加入日期: May 2002 您的住址: 地球的上面..
文章: 5,854
|
直接看圖說故事..
我想會更容易清楚..  |
|
2014-11-06, 07:02 PM
#5
|
|
|
Advance Member
加入日期: Sep 2005
文章: 307
|
引用:
在Figure 3中 如果第2顆Expander壞了，那接在該晶片之後的所有Expander及磁碟是否就通通失效？ 在Figure 5中 Initiator AB一定要兩張一模一樣的RAID卡嗎？ 在RAID組態中要不要特殊設定？還是AB卡都設定同樣的參數就行？ 就圖中的連接兩張卡各是8-PORT，那運作中的總頻寬是SAS x16還是SAS x8呢？ 此文章於 2014-11-07 12:13 AM 被 我要開機啦 編輯. |
|
|
2014-11-07, 12:10 AM
#6
|
|
|
Junior Member
加入日期: Jan 2002
文章: 864
|
引用:
vxr 大，圖有了可是沒有故事啊。這些圖似乎都是 sas2 時代畫的，不知道有沒有 sas3 的圖呢，感覺似乎有點不一樣。例如您的圖五，sas2 時代在圖五的硬碟一定必須是 dual port sas drive。但是類似的圖我看 lsi sas3 expander chip 介紹畫的，裡面有 sata 硬碟。但是沒有解釋，所以也不知道是否只是示意呢。 另外聽到有人說 sas port bonding 效益不大，只有 30% 而已。那也許我應該各接一個 expander。也沒有看到任何人解釋 sas port bonding 到底有沒有 link failover 的效果。 |
|
|
2014-11-07, 01:46 AM
#7
|
|
|
Elite Member
加入日期: May 2002 您的住址: 地球的上面..
文章: 5,854
|
引用:
我覺得你搞錯了... 這些圖都是來自LSI SAS 3.0 Expander開發文件.. 只能擷取部分, 我不能提供整份文件.. SAS 2.0和3.0 topology本來就差異不多 除了SAS 3.0 expander多了DataBolt加速器 "另外聽到有人說 sas port bonding 效益不大，只有 30% 而已。那也許我應該各接一個 expander。也沒有看到任何人解釋 sas port bonding 到底有沒有 link failover 的效果。" 如果你接SSD, 他會有巨大效益... 甚麼30%. 我當初M4 SSDx8丟下去測, 根本不是30%那回事... |
|
|
2014-11-07, 06:52 AM
#8
|
|
|
Elite Member
加入日期: May 2002 您的住址: 地球的上面..
文章: 5,854
|
引用:
在Figure 3中 如果第2顆Expander壞了，那接在該晶片之後的所有Expander及磁碟是否就通通失效？ Yes... "在Figure 5中 Initiator AB一定要兩張一模一樣的RAID卡嗎？" 最好是一樣 "在RAID組態中要不要特殊設定？還是AB卡都設定同樣的參數就行？" 如果對於LSI RAID, 那需要購買坑爹的MPIO key... "就圖中的連接兩張卡各是8-PORT，那運作中的總頻寬是SAS x16還是SAS x8呢？" 對於一個initiator, 運作的會是一條wide link(x4) |
|
|
2014-11-07, 07:07 AM
#9
|
|
|
Junior Member
加入日期: Jan 2002
文章: 864
|
引用:
您說的沒錯，是我搞錯了。我後來看到一張一模一樣的圖，只是裡面標示為 sas2, 所以 LSI sas3 chip 的介紹只是把圖上的 sas2 變成了 sas3, 那張圖講的東西跟您的圖五是不同的，應該是 HA 之類的，只是效果類似吧。圖在此 http://cimage.tianjimedia.com/uploa...0WH231X_500.jpg 此文章於 2014-11-07 12:08 PM 被 tbsky 編輯. |
|
|
2014-11-07, 12:06 PM
#10
|
|
