樓主的想法或許比較保守點，但也不是全然有錯。
大家想想，之前鬧的沸沸揚揚的城仲謀上賓館事件與
王志堅上賓館事件，為什麼城仲謀與王志堅都堅稱
只是去辦公事或上廁所，大家一樣會投以有色眼光？
孤男寡女去泡溫泉，外人的確是沒啥好批評。但是
我個人以為樓主有告知雙方這樣可能會引起他人
誤會，那對方不聽，也就算了。只要那女同事的丈夫
不以為意，那他人的看法又算什麼呢?
不過愚以為泡溫泉還是不太像吃個飯泡杯茶一樣，
通常感情已經要有一定程度，兩人才會讓對方看到
自己較為隱私的一部份。(簡單講，就是比較有可能會
發生qk的意外事件喔)

不過以道德為由趕人的話，也需要看情況，不可以無限上綱，
誠信是最重要的，如果一個員工對公司不誠信，對顧客不誠信，
那趕他走或許比較合理。以這種婚姻道德為由趕人，除非你是在政界，
否則實在是太牽強了!

建議樓主，事先做好紀錄，如果有天女同事的老公來公司找碴的話，
你也可以有個台階下，到時公司如果看苗頭不對，要fire人也可以比較有理由!