赤嵌樓位於臺南市赤崁街與民族路交叉口，原為荷蘭人所建。最初於1624年荷蘭人佔領大員，並建造熱蘭遮城以鞏固統治權；後因1652年發生郭懷一抗暴事件，荷蘭人於1653年在此築城並命名為普羅民遮城，而當地人士因其係建在赤崁地方，乃稱之為赤嵌城。康熙22（1683）年施琅領軍擊敗鄭軍，結束了鄭氏治臺時期，翌年臺灣納入清帝國版圖；赤崁樓仍沿鄭氏時期之用以儲藏軍械火藥之倉庫。清康熙60（1721）年以朱一貴為首之鄭氏時期遺民大張反清復明之旗幟，首當將赤嵌樓正門鑄有荷文四字鐵鑄門額拆掉，以此鐵材鑄造兵器。直到清乾隆15（1750）年知縣盧鼎梅將縣署移建於赤嵌樓右側，加以修護管理，定時開放供人參觀，而有府城八景之一「赤嵌夕照」的美名。同治初年，供奉觀音佛祖的信徒們，在城樓上建造大士殿。清法戰爭時期，劉銘傳命臺灣知縣沈受謙拆毀荷蘭時期的城樓，人士殿因而受到波及。清光緒12（1886）年沈知縣為了振興文教，在赤嵌樓北側建蓬壺書院，同時，將赤崁樓樓基填平，在高臺上建造文昌閣、五子祠及海神廟。迄今仍維持清光緒12年樣貌。現今赤嵌樓外觀特徵為現今尚存海神廟、文昌閣兩建築及荷式之遺跡，外圍的一組三開間格局乃由正背之四支檐柱連線通過中央四支金柱構成，此一組面寬三開間之格局；金柱與檐柱間尚有一磚牆及附璧柱。