二戰結束後，台北市中華路鐵路沿線搭建起一整片違章棚屋，聚集了一千餘戶無處容身的難胞，蕪雜零亂、殘破不堪，成為1950年代台北市的獨特景觀。戒嚴時期，蔣介石總統下令整頓中華路市容，拆除道路兩側違章建築，也就是棚戶。居住於道路兩側的居民，若想遷入中華商場，需分攤建築費，待商場落成，即可入住。
當年在戒嚴時期臺灣省政府周至柔省主席、警備總司令黃杰將軍，指定警總副總司令李立柏將軍趕緊成立「指導會報」，來負責協調相關機關。包括省政府、警總、北市府等單位共同組成了「中華商場整建委員會」。此一委員會由當年時任臺北市市長的黃啟瑞來擔任主任委員。
隔年1960年3月初，假藉臺北賓館由省政府主席周至柔召集會議作出最後決議。決定拆除原有中華路鐵道旁的三列臨時棚屋，並現地整建出8棟鋼筋水泥式的三層現代化樓房。建築費用近4千7百餘萬元，全數由未來要申請居住的住戶，以預付20年租金之方式來籌措。
當年鐵道旁的棚屋區，從1960年6月間由東側的931間開始逐步拆除。先居民自行拆除棚屋後，再由警察電訊所遷移電話桿線與電話亭，接著再由臺電公司遷移地下高壓電纜，並協同自來水公司遷移水管，最後再由警總商借軍方工兵推土機，來清除地面建築物與積土。