下載 MPEG-2 VIDEO VFAPI Plugin，把 m2v.vfp 丟到 AviUtl 的資料夾底下，這樣就可以用 AviUtl 開啟 MPEG-2。
或者用 DVD2AVI 讀取 MPEG-2，存成專案檔 .d2v，AviUtl 和 TMPGEnc 都可以直接開啟 .d2v。

XviD 的 B-frame 設定在第一行的設定後面，有一個 "more" 的按鈕，按下去，在裡面。
使用新軟體的時候，可以很大膽的每一個選項都按按看，甚至沒有選項的地方也給它滑鼠左鍵右鍵亂按看看，說不定會發現一些隱藏的密技。
有很多功能都可以這樣挖出來

由於不太清楚你說的「不順暢」是什麼樣的情況，是播放的時候會跳格、掉格，還是影像跟不上畫面，還是畫面前後亂跳，還是... 各種的情況。
還有播放的軟體，播放的時候究竟是哪一個 Decoder 在解碼... 等等詳細的軟體設定和使用的環境情況。
由於資訊太少，所以可能無法對症下藥，提供有用的解答。

我建議使用 AVS2AVI or VirtualDubMod 壓 XviD + B-frame，是因為這些軟體可以處理 B-frame lag 的問題。這個問題會造成影音不同步。不過這個差異很小，一般人不會察覺，我想你說的「不順暢」的情況應該不是這個問題。
所以換用軟體可能幫不上忙。

方向不對、無用的回答會浪費您的時間測試。
所以如果能夠多提供一點詳細的說明，不但節省找問題的時間，也會幫您更快解決問題。
這樣所有的問題提出來，只要一篇回答就結束了，就解決了，會有效率許多