海瑞任教谕四年，始终如一地坚持以礼为教，认真讲道论德，解释经义治事，作风实事求是，行为脱俗，实为难得。四年中，将郡庠治理得有条有理，业绩突出，受到肯定，这已经充分证明了他的能力。福建的学政十分欣赏海瑞，向上着力推荐了他。嘉靖三十七年（1558年），他被提升为浙江省严州府淳安县县令。
海瑞在淳安任内，制定兴革条例，在整顿社会治安、兴修水利、发展生产方面做了许多工作，政绩为时人所称许。
海瑞刚到任时，发现当时流亡在外的百姓竟有千人之多。海瑞从小和穷人在一起，知道农民不到过不下去时，绝不会外出逃荒。他深入百姓调查研究，发现地主和农民的土地占有很不合理。淳安县原本就山多地少，田里不长东西，山上只出茶、竹、杉、柏，少有别的树木，百姓十分困苦。而官吏富豪又占地众多，串通舞弊，玩弄各种花样逃税，农民少地或无地，却要负担虚报土地的税役，负担十分沉重。大地主有权有势，虽有土地几百亩，却无“分厘之税”，在视察中，他不断地为老百姓的赤贫所震惊。经过调查，看到这种不合理现象后，他立即决定，重新清丈土地，按实际土地征税、征役，他还采取分配荒田、借贷耕牛和种子、三年后起征税役等措施，从而减轻无地少地农民的负担，使更多外逃他乡的农民回到了淳安，为淳安县生产的恢复和发展创造了有利的条件。
淳安徭役的情况也类似。每丁少的要出一两二钱银子，多的要十几两。富绅们往往有办法为自己找到减免的途径，穷苦农民却只能默默忍受。海瑞看穿了民不聊生的根本原因，指出这不单是地方官员的无能，其实是不法官员做官只知中饱私囊，根本不顾百姓死活。即使有一些尚存良心的官员，但是为了保住自己的官位或名份，也是不惜牺牲百姓的利益。百姓日子过得清苦，大家都说是朝廷税赋所致。其实，朝廷所定税赋有明确规定，该减免的不减免，该节省的不节省，这不是朝廷所为，这其实是地方官员的问题。海瑞采取有效措施，重新丈量各家土地，重新核定各家应该承担的徭役。
海瑞所采取的这一系列措施受到老百姓的热烈欢迎，淳安县经济很快复苏，生产蒸蒸日上，出现了安居乐业的好形势。
嘉靖四十一年十二月（1562年），海瑞从浙江淳安调任江西兴国任知县。
借助在淳安时的从政经验，海瑞任兴国知县时工作热情不减，紧锣密鼓地裁减冗员，丈量土地，减轻老百姓的负担，工作做得井井有条。
首先是整顿屯田。明初时朝廷在兴国县给军队划拨了一部分土地，军队并没有耕种这些土地，而是全部出佃。军队还让佃农多开垦了许多土地，还侵占周边农民的田地，令周围的百姓敢怒不敢言。海瑞就将军队多开垦出来的荒地补给周围的农民，还免去他们应上缴给军队的军粮。这样，既减轻了百姓的负担，又使军队对管理自己的屯田更为精心。
然后是清理关卡。兴国的关卡本是为了抵御盗贼和土匪才设置的。但这些关卡在防御方面没起到什么作用，反倒成了一些地方官员捞取外快的手段。因此，海瑞取消了大部分关卡，调整了其余的关卡，并明确规定其职责，使之在关键时刻发挥应有的作用。
任兴国知县期间，他还均赋役，招抚逃民。在明初，由于兵乱、灾荒等等，许多农民外出逃荒，他们本来应该承担的赋役就连年累计。兴国村民数量大幅度减少，可赋役仍坚持原定标准，这样，余下的村民负担就更重了，于是有更多的人流失，造成恶性循环。因此，海瑞下决心免去了逃民所欠的赋役，并且重新核定了各村的人口，丈量了各村的土地，确定了新的赋役标准，减轻了农民的负担。这一政策吸引了很多逃民回归，于是，土地又重新耕作，县里从中也得到不少收益。
他在最基层的政府机构中，学到了一般管理的知识，积累了必要的经验。同时，他向世人展示了自己的品格风貌。由于他的人品端正，刚直不阿，又一心为百姓办事，因此很受百姓欢迎。他离开淳安和兴国的时候，百姓自发组织起来欢送，几乎不得脱身，最后还是乘夜从小路脱身。百姓的支持，也坚定了海瑞的信心，使得他能够下决心批评皇帝，勇斗大官，威信也不断提高。
