1899年（明治32）台灣總督府決定興建縱貫鐵路，由鐵道技師長谷川謹介規劃，在台北市區從原本清代的北城牆外緣（忠孝西路），新增至中華路(原西城牆外緣)，因此日本人拆除西城牆，並在上面鋪設縱貫鐵路以及開拓林蔭大道。1949年，大批外省籍難民湧入台北，為了安置這群人，中央便委託台北市警民協會，沿著行經中華路的鐵道東側，搭建臨時性質的簡易竹造棚屋，之後隨著湧入該處寄居的人越來越多，毫無限制的擴建之下，形成雜亂的大型違章建築群，造成不少衛生、治安問題，還被批評為「都市之瘤」。因此促成中華商場的興建。
1961年中華商場依著鐵道興建而成，在那鐵路尚未地下化的時代，北上列車進入台北車站前，必定會經過商場西側的鐵道，聳立在鐵道旁的中華商場成為中南部旅客對台北的第一印象，象徵台北繁華、摩登的景象。鐵路聲，是每個曾經生活在中華商場裡的居民，難以抹去的生理時鐘記憶。
1987年以前，台北市內的台鐵縱貫線都是以平交道與市區道路交叉，隨著戰後台灣經濟逐漸發達，使得台北都會區的交通運量逐漸增加，平交道成為都市交通運輸的重大阻礙，西區受限於道路寬度無法全面興建路橋疏導阻塞問題，特別是西門町的中華路路段，交通堵塞問題日趨嚴重。因此，這個難以解決的問題，導致後來台北鐵路地下化的都市改革。