我也是用YAMB，它是MP4Box的GUI，現在最新版本是1.5

一般用VirtualDubMod轉出來的x264 AVI，可以利用YAMB把它分離出.H264
這個.H264檔跟.AAC或是.MP4的AAC音訊檔就可以用YAMB mux成.MP4影音檔案格式

至於decoder，我去年底用ffdshow解x264/ateme的結果是碰到大量deblock的部份就不太理想，drop frame很嚴重
不曉得新版的ffdshow有沒有改善，anyway，我現在是用CoreAVC來解H.264
CoreAVC的確是目前最理想的解碼器，也沒有跡象顯示它有降低畫值的疑慮

最後關於MKV封裝，我最初也是都用MKV來包VDM轉出來的x264 AVI跟AC3，沒有出過問題
或許安裝完整的x264 codec試試看有沒有幫助