小弟以下發言純為猜測，錯了還請指正...

小弟認為您也不用管什麼overlay不overlay的問題
既然一開始顯示卡的overlay被搶走了,那麼您在播放視訊檔案時，Directshow自然找不到overlay,因此會改用software render的方式將圖秀出來,這下問題就來了,Software Render的方式通常用的是RGB格式,而XVid解壓縮出來的格式不是YUV就是I420,所以轉換是一定要的,從您的圖看來,似乎就是在轉換上出了問題,建議您找個工具"Graphedit"來播放您的視訊檔案,該軟體會將視訊檔案解壓縮的流程以方塊圖示秀出,您就可以看出那個環節出了問題囉...
另外,小弟不清楚Windows轉換的方式啦,但在linux下,您想讓RGB24的視訊正確秀出來,您的顯示模式也必須調成24bit才行...所以搞不好將您的顯示模式調成24bit,問題就能獲得解決了.