日本愛國婦人會是日本戰時之主要婦女團體之一，總部設於臺北，並於各州廳所在都市設有支部。臺南支部興建於1920年代，日大正年間（另一說法為1940年代，日昭和15年），當時包括兩個部份，北面一棟為婦人會本館，南面一棟為宿舍，中央為一廊道相連。二戰後，各地之愛國婦人會均移交紅十字會，然而由於紅十字會並不需要太大之空間，於是便將前棟出租予美國新聞處，兼具領事業務及文化業務，並設有一圖書館。臺美斷交之後，美方撤離，但把其中圖書館之藏書捐給臺南市政府，紅十字會乃將房舍租給市府當成是圖書館中區分館，後棟則作為紅十字本身及附設托兒所使用。