你的解讀很正確，印象中很老的中學課本上面寫，國民有服兵役及受國民教育之義務(後者同時也是權利)。

在男子義務當兵的時代，逃避兵役當然是有罪的。

小孩沒受國民教育，遭舉發監護人要受罰。

沒去投票呢？－－沒有任何罰則。可見投票決不是義務。