你跟他的意見並沒有衝突，重點在起源

就我所讀過的古文，確實沒有看到有對四有禁忌的敍述

http://www.hudong.com/wiki/4的禁忌4的禁忌 - 古代

在古代中国，“四”并不是一个不吉利的数字，人们对于“四”并无特别的忌讳。古时中国人认为偶数代表吉祥，而四属于偶数，因此并不代表凶兆。另外在道教文化中，“四”代表四象，有圆满之意。又如年分四季，地分四方，城市有四郊，盖房要四至。送礼时应送四、六或八样，婚嫁时应送四彩礼，以示吉祥。风水上“四”代表四绿文昌星，有利学生和文职工作者。

可見四的禁忌是近代（可能最近一、兩百年，甚至不到）才開始有的

基本上我也覺得這沒什麼好禁忌的，純粹自己想太多，你的老祖宗都不禁忌了，你又有什麼好禁忌的？