提起淳王府，准确地说，北京城应该先后有三座。
第一座位于故宫正西，美丽的太平湖畔。奕譞在十九岁那年，作为醇郡王，奉旨与懿贵妃叶赫那拉氏的妹妹成婚。按咸丰惯例，应先行分府出宫，他受赐的府邸就成了第一座淳王府。
后来，因光绪在这里诞生，后入宫成为皇帝。按雍正立下的规矩，凡有皇帝出生的府第，要作为“潜龙邸”保护起来，应缴还给皇室，或升为宫殿，或改为供奉神佛菩萨的庙宇，不再有人居住。
于是慈禧另赐王府给奕譞，并拨出白银十六万两重新修缮。这就是座落在什刹后海北岸的第二座淳王府。也就是后来人们常说的北府。
一九零八年，溥仪登极为宣统皇帝，父亲载沣被封为监国摄政王，理应搬迁。于是，隆裕太后赐旨，决定给载沣建造一座全新的王府。地址确定在西苑三海集灵囿紫光阁一带。然而后来，武昌起义打响了推翻清王朝的第一枪，建造第三座淳王府的计划未能实现。