感謝各位提供的方法, 試了全部無效.

最後是為了試eccctw 建議的那個軟體, 去安裝完美解碼包,
再試一次用格式工廠壓RMVB, 就可以壓出正確的RMVB 檔了,
畫質看起來一模一樣, 但只佔220MB, 還不錯!

所以結論應該是編碼器太爛.