海瑞的改革触动了权贵利益，他们为了自己的特权、财产，纷纷上书弹劾海瑞，要求朝廷把他给罢免。刑科给事中舒化指责海瑞是个奇葩，建立的制度都“非人情”“创新奇之法”“出寻常之外”，建议让他当个闲职就可以，不应该掌握实权，否则“祸害百姓”。吏科给事中戴凤翔受徐阶指使，弹劾海瑞“庇奸民，鱼肉缙绅”“勾结倭寇，攻陷城池”，这都哪跟哪啊，戴凤翔口中的奸民，就是那些告发地主侵占土地的农民，被鱼肉的缙绅，是那些清丈土地后，利益受损的地主；而所谓的勾结倭寇，更是子虚乌有。海瑞向来刚正不阿，列举大量事实，反驳戴凤翔的胡说八道。
此时，远在北京的高拱见徐阶已经被整，复仇的目的已经达到，便示意吏部，批准戴凤翔的奏疏，以海瑞“志大才疏”为由，将应天巡抚职务罢免。消息传来，江南百姓纷纷痛哭，为海瑞打抱不平。隆庆四年二月，海瑞改任总督南京粮储。即将赴任时，朝廷又下令罢黜其南京粮储都御史职务，该岗位职责由南京户部侍郎兼任。这不是玩人吗？前脚把海瑞调过去，后脚又说这个岗位取消了，愤怒之余，无处可去的海瑞写下了《告养病疏》，请皇帝允许自己辞职。隆庆皇帝没有意见，都听高拱的，准了！于是海瑞离开南京，重新回到自己的老家琼州，很快，高拱也下台了，但新上任的首辅张居正也不喜欢海瑞，中央的、地方的官员常常推荐他，可张大人就是不用。