如果延續人類生命是作為人類的義務之一,不生小孩的確是自私.
問題就出在,是否認同[延續人類生命]是人類的義務?

你的父母被祖父母生下來,然後生下你養育你.
他們享有得到生命被養育成長的權利,也負起創造養育生命的責任.

你不生小孩,那你只享受權利,不盡義務,當然是自私的.

當然,若無法認同此為權利義務關係,就不算自私.
不過話說回來,通常自私的人,就是不認為他有某些該有的義務.