如果是特意請你吃飯而殺豬，那豬確實是因你而死的。

所以如果主人知道客人吃素，就不會為了請他而殺豬，這樣豬就不會死了，他吃素以減少殺生的目的也就可以達到了。
如果明知道他吃素，還是故意殺豬請他吃，那麼客人當然可以拒絕，因為
1. 我本來就一直吃素，不習慣吃葷，心理會有排斥感
2. 硬要吃的話，想到被殺死的生命，心理會難過
3. 如果真的接受了，那麼這隻豬確實是因我而死，而且被我吃下肚了，這樣我確實是造了殺生的業

所以客人當然可以拒絕，如果明知道對方吃素還要強迫對方吃豬肉，那麼我會覺得有問題的是這位主人。
如果不知道對方吃素而準備了豬肉，客人表明自己是素食者不吃肉，那麼主人也應該尊重客人的意思，不應強求。如果因為對方不吃肉拒絕自己的好意而不高興，那麼我還是會覺得這是主人的問題。每個人有自己的習慣和信仰，不吃肉就不吃肉吧，隨他去，尊重不同的想法，這樣就不必為了這種事情而不高興。