找到問題點了，自回也自幹一個。
我機殼前置USB 3.0 PORT太少，再加上我的USB 3.0 HUB線太短，所以HUB是直接接前置USB。
我測速時讀卡機是直接插在HUB，HUB上額外接了一個懶得拔下來的XBOX 360搖桿，可能就是這樣導致速度上不去。
我剛剛插主板上的後置USB 3.0 PORT之後，速度就上去了。

之後把搖桿從HUB上拔掉，再次插讀卡機測速。
讀取速度雖然還是跟直接插後置的小有差距，但考量到便利性，這樣的差距還在可接受範圍。