不要每次都答應, 偶而找些理由回絕 (例如與別人約好要如何如何的...).
要是一直解決不了, 就想辦法換主管吧或直接找主管說清楚 (有很大的機率不久後也等於要換主管).