1982年，上海市城市规划建筑管理局鉴于古代建筑损坏严重，而优秀近代建筑也有损坏现象，在上报国务院的《〈上海市城市总体规划方案〉建筑保护规划说明》中，提出应该保护的155处（群）历史建筑初步名单（其中近代建筑46处）[6]。1985年，上海市文物保管委员会拟订了近现代优秀建筑调查方案，并会同南市区房地产管理局，在该区内作试点调查。1986年，上海市领导将此项任务交给上海市建设委员会，由上海市规划建筑设计院负责调查，掌握了300余座近现代优秀建筑，包括照片、图像等在内的资料[7]。1986年，国务院在《上海市城市总体规划方案的批复》中指出：“要保护好有历史文化价值的代表性建筑物”[6]。
1988年11月10日，建设部和文化部发出《关于重点调查、保护优秀近代建筑物的通知》，其中确定近代建筑的建筑年代是清道光二十年（1840年）至1949年，重点在宣统三年（1911年）至民国34年（1945年）[7]，并要求各地在此基础上按文物保护法有关规定，将各地优秀近代建筑申报和公布为全国重点文物保护单位和省市级文物保护单位[6][7]。同年12月，上海市人民政府将建设部、文化部的来文批给上海市建设委员会会同上海市文物管理委员会办理。上海市建设委员会、上海市文物管理委员会召开有关单位参加的会议，决定将已调查掌握的300余处建筑物名单打印成册，分送由上海建筑学会开出的专家名单，广泛听取意见[7]。
1989年1月14日，上海市建设委员会、上海市文物管理委员会召开评定会议[7]，会同上海市城市规划建筑管理局、上海市房产管理局、同济大学建筑与城市规划学院、上海市城市规划设计院、民用建筑设计院、华东建筑设计院和上海市建筑学会等单位[6]，邀请上海著名建筑专家和文物专家陈植、吴景祥、冯纪忠、罗小未、李德华等参加，会后，定下59处优秀近代建筑[7]。于1989年8月30日，向建设部、文化部推荐此59处为全国重点文物保护单位的优秀近代建筑；同时向上海市人民政府请示：在未批准之前，“先作为市级文物保护单位，以便及早些进行保护。”同年9月25日，上海市人民政府批复同意此59处列入上海市文物保护单位的优秀近代建筑。1993年7月14日，上海市人民政府在又批准了上海市文物管理委员会、上海市城市规划建筑管理局新上报的2处为上海市文物保护单位的优秀近代建筑[6]。此61处即上海市第一批优秀历史建筑。
1990年8月24日，为了加强优秀近代建筑的保护工作，上海市城市规划建筑管理局、上海市文物管理委员会、上海市房产管理局共同草拟了《上海市优秀近代建筑保护管理暂行规定》，报上海市人民政府审批。随后《上海市优秀近代建筑保护管理暂行规定》修改为《上海市优秀近代建筑保护管理办法》。1991年12月5日，上海市人民政府发布《上海市优秀近代建筑保护管理办法》，规定在优秀近代建筑原定两个保护级别（全国重点文物保护单位、上海市文物保护单位）基础上，增加了第三个保护级别，即“上海市建筑保护单位”。还规定：“在优秀近代建筑的保护范围内，不得进行新建工程或擅自对其他建筑进行改建、扩建工程。”“在优秀近代建筑建设控制地带内新建、改建和扩建的建筑物、构筑物，须在尺度、体量、高度、色彩等方面与优秀近代建筑相协调，不得破坏原有的环境风貌。”[6]
1993年3月19日，上海市规划院根据《上海市优秀近代建筑保护管理办法》提出一批优秀近代建筑名单，经上海市城市规划管理局、上海市文物管理委员会、上海市房产管理局联合审议，筛选增补，确定了175处属上海市建筑保护单位的推荐名单。1994年2月15日，上海市人民政府批复同意此175处为上海市建筑保护单位的优秀近代建筑[6]。此即上海市第二批优秀历史建筑。
1997年12月14日，上海市人民政府对《上海市优秀近代建筑保护管理办法》修正并重新发布。1999年9月28日，上海市人民政府批复同意将162处建筑列为上海市优秀近代建筑保护单位，并按《上海市优秀近代建筑管理办法》进行保护管理。此即上海市第三批优秀历史建筑。
2002年7月25日，为了加强对上海市历史文化风貌区和优秀历史建筑的保护，上海市第十一届人民代表大会常务委员会第四十一次会议通过，并由上海市人民代表大会常务委员会公告第70号公布了《上海市历史文化风貌区和优秀历史建筑保护条例》[1]。首次将保护建筑的对象由1949年以前建成的近代建筑扩大到建成30年以上的建筑[8][9]。并对保护建筑名称作了修改，由原来的“上海市建筑保护单位”更名为“上海市优秀历史建筑”[10][11]。2004年12月30日，上海市人民政府设立历史文化风貌区和优秀历史建筑保护委员会，为上海市人民政府领导下统一领导和统筹协调上海市历史文化风貌区和优秀历史建筑保护工作的议事协调机构[12][13]，由分管副市长杨雄担任主任[13][14]。2004年9月11日[15]，上海市人民政府下发了《关于进一步加强本市历史文化风貌区和优秀历史建筑保护的通知》，明确了“建立最严格的保护制度”的指导意见[13][15]。
2003年6月[8]，上海市房屋土地资源管理局、上海市城市规划管理局按照《上海市历史文化风貌区和优秀历史建筑保护条例》的程序[16]开始第四批上海市优秀历史建筑的认定工作[8]。2004年10月18日，上海市房屋土地资源管理局和上海市城市规划管理局对第四批上海市优秀历史建筑名单进行公示[17]。2005年10月31日，上海市人民政府批复同意将234处建筑列为上海市第四批优秀历史建筑[8]。
2010年9月17日，上海市第十三届人民代表大会常务委员会第二十一次会议通过，并由上海市人民代表大会常务委员会公告第24号公布修正过的《上海市历史文化风貌区和优秀历史建筑保护条例》[2]。2013年10月11日，根据《上海市历史文化风貌区和优秀历史建筑保护条例》的相关规定，正式启动第五批上海市优秀历史建筑的推荐申报工作[18]。2014年6月14日，上海市第五批优秀历史建筑的推荐申报完成区县推荐、社会征集、专家推荐等环节，初步锁定近四百处推荐名单[19]。2015年3月17日至2015年3月26日，由上海市历史文化风貌区和优秀历史建筑专家委员会专家评审通过的419处第五批上海市优秀历史建筑初步名单向社会公示[20]。从公示的第五批优秀历史建筑名单来看，以往四批的名单中，郊区的优秀历史建筑入围少的现象得到了改善[21]。且优秀历史建筑将覆盖上海市全部17个区县[3]。公示后，对反馈意见进行了梳理，再次经过专家评审，最终形成426处第五批优秀历史建筑正式名单上报上海市人民政府。[22]2015年8月17日，上海市人民政府批复同意将此426处建筑列为上海市第五批优秀历史建筑[5][22]。
各区境内上海市优秀历史建筑数量统计
区
第一批
第二批
第三批
第四批
第五批
总计
黄浦区
32
72
41
62
83
290
徐汇区
7
48
35
48
115
253
长宁区
7
11
31
47
25
121
原静安区
7
25
26
25
62
145
普陀区
2
5
2
3
12
原闸北区
1
1
7
5
14
虹口区
4
12
11
31
40
98
杨浦区
3
4
7
12
19
45
闵行区
1
1
宝山区
1
1
2
嘉定区
4
4
浦东新区
2
47
49
金山区
3
3
松江区
1
3
4
青浦区
13
13
奉贤区
2
2
崇明区
1
1
2
总计
61
175
162
234
426
1058