1958年5月16日，蔣介石將台灣防衛總司令部、台北衛戍總司令部、台灣省保安司令部及台灣省民防司令部等四個單位，以保安司令部為基礎，於1958年7月1日併編為「台灣警備總司令部」，8月14日黃杰從總統府參軍長轉任警備總部總司令。

戒嚴時期，警備總部在國內民主運動的群眾事件中，扮演著統合憲警等情治機關的重要角色，期間遭到警總或保安司令部迫害的民眾難以精確統計，因此只能根據政 治受難者概略的推算。在它獨攬大權的四十七年中，以軍法處理的政治案件高達三萬到六萬件，受難人數者多達十四到二十萬；其中大約有三千到四千人遭到處決。

警備總部的前身台灣省保安司令部，位於臺北市西寧南路，原為日治時代淨土宗東本願寺，國民黨來台後改為刑場，特務稱為「大廟」，台灣人則稱為「閻羅殿」， 1970年遷至博愛路。保安處的囚房，三坪押房關二十人，必須站著睡覺，在一九五○年代初，常秘密處決人犯，因此被喻為「修羅煉獄」。

1987年解嚴後，警備總部已於1992年7月31日起裁撤，同年8月1日另成立海岸巡防司令部，2000年2月「海巡法」立法通過，2月1日成立「行政 院海岸巡防署」，軍管、海巡分置，「軍管區司令部」成為本部銜稱，為因應「國防二法」施行，貫徹「軍政、軍令一元化」，「軍管區司令部」於2002年3月 1日正式修編為「國防部後備司令部」，正式確立軍警分立，化解戒嚴時期的軍民對立狀態，但「後備司令部」的前警總原址至今還是籠罩著一層神祕的面紗。