在CNET電腦專區 SATA RAID完全攻略的[http://taiwan.cnet.com/computer/sys...102159-5,00.htm 實戰測試--HD Tach 3],其Raid5 的 平均寫入,3顆HDD時,為62.4(MB/s);4顆HDD時,為15.7(MB/s)

在 THG 的RAID 5等級測試：搭配三至八個硬碟,可以知道越多顆硬碟組Raid5,其循序寫入越高(只有5MB/s多?)
跟上面的又不同 結論?

而在 THG 的 便宜可靠的RAID 5儲存裝置大評比 文章中的所說的 峰際科技的RocketRAID 1640 跟我們所用的RockRAID 454 是同一顆晶片hpt374,所以效能應該差不多.(4棵 SATA HDD , Raid5 其循序寫入只有2.5MB/s多?)

而在 iThome 的 磁碟陣列卡 －喬鼎FastTrak TX4310,其循序寫入SATA I 硬碟 22.82MB/s ,SATA II 硬碟 34.35MB/s

* Raid 5 ref:
* [http://taiwan.cnet.com/computer/sys...102159-1,00.htm CNET電腦專區 SATA RAID完全攻略 2005/10/28]
* [http://taiwan.cnet.com/computer/sys...20102277,00.htm CNET電腦專區 SATA RAID備援功能大檢測 2005/11/02]
* [http://www.thg.com.tw/article_000077600.html 便宜可靠的RAID 5儲存裝置大評比 2004/8/26]
* [http://www.thg.com.tw/article_000083900.html RAID 5等級測試：搭配三至八個硬碟 2004/10/1]
* [http://www.ithome.com.tw/itadm/article.php?c=36998 磁碟陣列卡 －喬鼎FastTrak TX4310 2006-05-04]
* [http://alienraid.org/article.php?st...ark&mode=print]
* [http://ccjsun.riken.jp/ccj/doc/Benc...ench99Apr.html]
* [http://homepage3.nifty.com/sekin/Ac170/index.html]
* [http://www.codon.com/docs/software-RAID.html]
* [http://forums.storagereview.net/ind...ST&f=2&t=22957]

在上一part 中,被各種 資料 搞混了...
為什麼會有這問題,主要是架了一台 Raid5 Storage Server ...

當弄好硬體的電源分配 及 build kernel 2.6 driver
開始 備份 舊電腦上的資料,1顆IDE 80G,1顆IDE 160G,1顆SATA I 200G,1顆SATA I 250G,
花了 四天.....

RAID5 有這樣慢嗎?

測了一下 write throughput 7.5MB/s !!! 好慢啊!
難怪copy 四天....

網上看了這多的資料....
好像正常又感覺怪怪的...

又打電話問 峰際科技 Taiwan FAE,及 發 english email 問 原廠.
先打電話問 峰際科技 Taiwan FAE;
Taiwan FAE 說:資深工程師說應該有 30~40MB/s,()及 try kernel boot parameters noapic or acpi=off , 試了沒有大幫忙...
曾問過 Taiwan FAE, RAID的 BLOCK SIZE 有沒有 影響 ?
那個FAE 說 沒影響...

後來發 english email 問 原廠
原廠 回 email , 只有 很慢 ,低於平均值...

後來決定去借了8顆 IDE 5400rpm 160G , 再試一下不同的BLOCK SIZE 有沒有影響?(還好有借到,怕重新建立RAID5後,BLOCK SIZE 沒影響其效能還是跟之前一樣就慘了,還要再花四天 copy 資料)

上次 建立 RAID5 , 其 BLOCK SIZE 選 512KB , 這次 就選 default 64KB

想不到 write throughput 44MB/s ,喔 找到兇手了,原來是 BLOCK SIZE 設太大
原先 RAID資料 說,用於 WEB Server ,其 BLOCK SIZE 要小,因為IO 次數多
用於File Server ,其 BLOCK SIZE 要大,throughput 才高
就選了 RAID卡上 第二大的選項 512KB , 因為 準備要儲存的檔案都是 以G做單位的 多媒體 影片

之後 就把 舊RAID5 重新建立,就在 重新 copy 資料時, RAID 卡 嗶嗶叫 , 慘了 有 HDD 掛了
後來 修復 RAID5(rebuild) , 又嗶嗶叫了 , 又壞一顆 HDD ,
大家要知道 RAID5 只能撐 一顆 HDD 壞,兩顆HDD 壞,就代表 資料 全毀了

再去借 HDD (原先那八顆還了,再借回來),試了一下 BLOCK SIZE 128KB, write throughput 一樣沒變
read throughput 從 85MB/s 降到 72MB/s

不想再try 了,BLOCK SIZE 就用 64KB , 不想 try 32KB 了,已經弄兩周了,邁入第三周...
BOSS 想念我嗎?

各項 測試 資料:

由於 主要是 用 Linux 架 Storage Server
但是 在同樣的平台下,也有跑 Windows XP SP2,做為測試及對照
HD Tach 3.0 free 的,只能測 read throughput
HD Tune 2.x 也是

PS:後來發現 有兩套SW 可以 測 write throughput
一套是 bench32 , 一套是 Iometer(Open Source)

發現 NTFS write throughput 很低阿..
* Windows XP SP2 NTFS
* write throughput: (就用copy + 人工計秒)
* 當 64KB BLOCK SIZE , 9.5MB/s
* 當 128KB BLOCK SIZE , 6.8MB/s
* 當 512KB BLOCK SIZE , 2.4MB/s

* Linux EXT3 BLOCK SIZE 4K
* read throughput: (time cat file > /dev/null)
* 當 64KB BLOCK SIZE , 85MB/s
* 當 128KB BLOCK SIZE , 72MB/s
* write throughput: (time cp file raid5)
* 當 64KB BLOCK SIZE , 44MB/s
* 當 128KB BLOCK SIZE , 44MB/s

PS:
Windows 下的 HDD benchmark SW,
只能測read throughput, 有HD Tach, HD Tune
能測read/write throughput, 有bench32, Iometer

PS2:
Linux 下的 HDD benchmark SW,
只找到 Iometer

以上 是從 部門個人的 wiki 轉貼出來的

實驗 結果 是
Linux 的 EXT3 寫入 較高 (高很多, 不過由於 OS 是要用 Liinux , 就沒有去研究 Windows 的狀況)

另外 , 也符合 另一位 RD 過去的工作經驗 , EXT3 比 NTFS 快

不過 近期 又發現 "EXT3 比 NTFS 快" 好像是錯的

因為 NTFS-3G 的 測試報告
http://www.ntfs-3g.org/performance.html

(剛剛看了一下 是 Random File Operation , EXt3 輸很多)

有興趣的朋友 可以 試試 HighPoint RocketRAID 454 + Linux OS + NTFS-3G

Promise sx4000 series
送的 IDE 線 , 真的是 1對1 的線
不過 是只能 1 port 對 1 HDD 嗎 ? 不知道耶!

這個報告裡面, reiserfs 是最猛的.

而且 EXT-3 還蠻糟糕的. 不知道是不是有其他最佳化的因子沒有處理.

可能是要相容EXT2的關係吧？
記得EXT3其實就是EXT2+日誌管理系統而已。
但是EXT3有一項是其他日誌型檔案系統所比不上的優點 ----- 改變磁區大小

EXT3 還有下一代
EXT4 出現喔...

也許會改吧 ...

我記得 EXT4 是 減少 "fragmentation" (檔案破碎) 的情況

所以 linux 以前 都騙我 說 linux 不會有 fragmentation 的狀況,
所以 不用 重組

Ext - 4

http://en.wikipedia.org/wiki/Ext4

最重要跟 ext3 的差異: 支援 1 exbibyte (1 exbibyte = 2^60 bytes )
跟 extent support

extent:
http://en.wikipedia.org/wiki/Extent_(file_systems)
就是上面所說 "可以避免 fragmentation" 的方法.


如果說要找各種不同檔案系統的 特色, 可以看這個表
http://en.wikipedia.org/wiki/Comparison_of_file_systems



===================================================

另外有個有趣的小技術:
Tail Packing.
http://en.wikipedia.org/wiki/Tail_packing
可以把小檔案塞入同一個小區塊. (一個 4k 區域 可以放 1000 個 4 byte 的小檔案, 而傳統方式需要空間是4k * 1000 = 4000k.)

也許就是 ReiserFS 對於小檔案比較猛的原因吧.