明朝初年，为归德侯府和汉王府;清朝为江宁织造署、江南总督署、两江总督署。清朝康熙、乾隆皇帝下江南时均以此为“行宫”。1853年太平天国占领南京定都天京，洪秀全在此兴建了规模宏大的天朝宫殿。1864年清军攻破天京后，焚毁宫殿建筑，复建了两江总督署。林则徐、曾国藩、李鸿章、左宗棠、刘坤一、张之洞、端方等均任过两江总督。

1912年1月1日，孙中山在这里宣誓就任中华民国临时大总统，建立了中国历史上第一个共和制的国家政权一一中华民国临时政府。

1912年4月孙中山卸任后，在这里成立了南京留守府。先后为江苏讨袁军总司令部、北洋政府江苏都督府、江苏督军害江苏督办公署、副总统府、宣抚使署、五省联军总司令部、直鲁联军联合办事处等机构。黄兴、张勋、程德全、冯国璋、李纯、齐登元、孙传芳、张宗昌等分别担任军政主官。

1927年3月，北伐军占领南京，这里先后成为国民革命军和北伐军的总司令部，以及军事委员会办公处。国民政府成立不久，即移驻这里办公。1928年10月，行政院和参谋本部分别以东苑 (东花园)、西花园为办公处，直至1937年11月国民政府迁往重庆。谭延阁、蒋介石、林森先后任国民政府主席，谭延阁、孙科、汪精卫、蒋介石等曾任行政院长。

1937年抗战全面爆发。12月南京沦陷后，这里先后被日军第16师团部和伪维新政府、汪伪政府立法院、监察院、考试院伪交通部和铁道部等机构所占用。

1946年5月，国民政府还都南京后，这里仍为国民政府所在地，东苑 (东花园则成为国民政府社会部、水利部、地政部和侨务委员会办公处。1948年5月，蒋介石、李宗仁在“行宪国大”上分别当选总统”、"副总统”后，国民政府改称总统府。直至1949年4月23日解放军占领南京，24日凌晨占领总统府。