古時候，賽夏族和身高不足三尺﹝90公分﹞的矮人族隔大東河而居。矮人身材雖短小，但臂力驚人，且長於巫術，由擅長農耕技術，賽夏族人每年稻栗成熟時，必請矮人前來點檢穀物結實狀態，並共行祭祀，已卜豐收。可是矮人性好女色，常到賽夏部落調戲婦女，或用武術迷誘。族人受其凌辱痛苦不堪，但無力也不敢正面報復，遂設計消滅矮人。在一次豐年祭時，賽夏族人暗中將兩族交界懸崖上矮人休息的大樹底部切去大半，塗上泥巴偽裝。矮人於歌舞後，一一攀上大樹休息。隱藏在草叢中的賽夏族勇士，一擁而出推倒大樹，矮人便掉入萬丈深淵而亡。

矮人倖免於難的只有祖母「老柯可」、勇士「瑪陸瑪路」、「達吉歐」三人，他們雖然知道中了賽夏人的詭計，卻咎由自取，於是逃往不可知的東方。矮人滅亡後，賽夏人終於解除了痛苦，可是稻栗不再年年豐收，族人為慰藉矮靈，乃舉行矮靈祭。初時每年一次，後改為兩年一次，與豐年祭合併進行。因由朱姓頭目主謀害死矮人，每次祭典均由朱姓族人主祭。時間在稻熟之後的農曆十月中旬。