應該是你的設定的問題，不過已經很久沒有用這類程式，未能提供解決方法。
以前我多數用Gordian Knot，你可以試一下。

在你的情況，因為已經有壓好的XVID，所以最簡單的做法就是自己從DVD抽取AC3，然後用NanDub將TMPG造的XVID再MUX一次便可以。