宋太祖尊重法治，但并不是一味地严法、苛法。他以仁治天下，在尊重法律的同时，也讲人之常情，做到法制与道德的双结合。这里有个故事：宋太祖登基的第二年间，在金州安康郡(今陕西安康)有个叫马从记的百姓，妻子早死，留下他和儿子马汉惠。后来马从记又续弦，娶一寡妇，带来一位男孩，马从记为他取名马再从。马从记的亲生儿子马汉惠长大以后，品行不端，道德败坏，逞强为霸，横行乡里。继弟马再从因看不过马汉惠的所作所为，经常加以劝告，马汉惠竟将继弟马再从残害至死。做父亲的马从记十分气愤，同全家人商量后，便与续妻共同杀死了残暴的儿子马汉惠。马从记大义灭亲，在封建社会里可算是个忠良之人，因而受到乡人的赞誉，但却触犯了刑法。因为从法律上来说，马从记杀人就是犯罪，按律当斩。于是，金州防御使仇超、判官左扶就将马从记夫妇及全家人逮捕，以杀人罪斩杀了马从记全家。马从记因大义灭亲杀死儿子马汉惠，却被官府斩杀之事在乡里反响很大，此事传到朝中，被宋太祖知道了。他对金州官府的判决勃然大怒，斥道：“大义灭亲，罪岂至死！”他从道德的观念认为，马汉惠横行乡里、残害继弟的行为已经构成对社会秩序和伦理道德的破坏，罪当诛杀。其父母将马汉惠杀死是大义灭亲，虽然从法律程序上讲不过去，但从情理上却是行得通的。金州官府不问是非就将马从记判死刑，是钻了法律空子，故判定死罪，又将马从记的全家诛杀，简直是惨无人道。因此，宋太祖怒责金州官府故入死罪，草菅人命，立即命有关部门严肃查处，结果仇超和左扶等人都被杖流海岛。宋太祖通过对金州大义灭亲案的干预，是让地方官对判死刑的这类法律案件持慎重的态度，以防止下官草菅人命。为了使判处死刑的量刑做到程序规范化，宋太祖根据金州大义灭亲案的处决不公、不合情理这一问题，专门发布了一道诏令：“对犯大辟需判处死刑的犯人，应当送所属州、军鞫(勘验狱辞)处之，不得随意处断。”《道德经》中说：“法令滋章，盗贼多有。”老子以自己的法制观念，针对法规、法令说出了这样的话，带有极深的哲学色彩。他这句话的意思是说，法令越多，那么社会上的盗贼就越多。如果没有了盗贼，那么就没有法令了。但老子的意思并不是说没有了法令，社会上也就没有了盗贼，他这句话含有法令应谨慎，不要太多地限制人民，而使一些盗贼钻法令的空子，依法犯法的本意。从上例来看，金州马从记夫妇大义灭亲，金州防御使仇超和判官左扶就是依据杀人者死的法令，来武断地判定马从记夫妇及全家杀人，杀人者当死，从而使案情简单化，草菅了人命。如果仇超等人对金州大义灭亲案持慎重态度，进行详细的审理，给马从记定个越俎代庖罪而酌情轻判，且不罪及其他人，于情于理就顺畅多了。如此，宋太祖决不会盛怒，而仇超等人也决不会被杖流海岛了。在封建社会里，由于皇帝本身就是法律，皇帝可以生活在法律之外。在这种体制下，官吏很少有法制意识，他们把皇帝的话当做是最高法律。所以宋太祖过问金州大义灭亲案，又下诏不得随意对死刑做处断之后，各地方的司法审判官员，在地方上审案都十分谨慎，对案件不敢轻易判决，许多案子都要上奏听从圣裁，而造成了从一个极端走向另一个极端的倾向，又使宋太祖哭笑不得。在当时的历史条件下，这是一件令他犯难的事，他很难解决这个矛盾，找不到症结，认识不到这种弊端缘自专制社会本身。他气恼地方官吏没有法制意识，唯皇帝之言为法制，他又很清楚地知道，地方的官吏这种做法无非是推卸责任，因此下诏对诸州道府进行了严厉批评，又下令让地方司法部门“依法断狱，毋得避事妄奏取裁，违者量罪停罚。”国家制定法律法规，一方面要严厉打击和制裁危害社会的犯罪分子；另一方面也要防止一些执法者依据法律法规办客观上犯法的事，宋太祖经常考虑这个问题。三国时对于法律的制定，在刘备和简雍君臣之间有过讨论。当时蜀国旱灾，粮食歉收，于是刘备便下了禁酒令：酿造酒者以刑论处。当时有官吏从民家搜出酿造酒的工具，论罪要将这家藏酿具者与酿酒者一样定罪。为了纠正偏颇，简雍与刘备一块儿外出游观景物时，见有一个男子行于道，简雍借机说：“这个人欲行奸淫，怎么不把他抓起来呢？”刘备说：“卿怎么知道这个人要行奸淫呢？”简雍正色答道：“这个人身上带着淫具，与家中有酿酒具欲酿酒者是一个道理。”刘备知道简雍的用意后大笑，因而将收藏酿酒具的人释放。据法犯法，说明法规的解释往往有不周全的地方，有漏洞，这是需要加以防范的。
有鉴于此，宋太祖在法制建设上很是慎重：一方面，他认为国家必须有法制，必须以法制来积极维护社会秩序、保护人民的利益；另一方面，他又认为制定的法律不能伤害人民，不能用法律去草菅人命。为此他要求各地的司法官要依法断狱，而对需判死刑的人，规定州、军要勘察清楚，仔细审讯，详细调查后再做决定，以防止草菅人命。从某种程度上说，法律与道德是对立的。从道德中的“礼”演变而来的“理”是用温和的方式教化人民，而“法”却是用暴力手段来解决问题。但从实质上来看，“法”的依据恰恰又是“理”。包拯、海瑞等之所以能够成为流芳千古的清官，其根源就是他们在执法时时刻把“公理”放在心中。俗话说，杀人偿命，欠债还钱，是天经地义的事情。凡事都是有得必有失，在你以损害他人的利益或生命为代价的前提下得到了本来不属于你的东西时，你就必须为此付出代价，而衡量它的中介，就是“法”。作为对社会具有普遍约束力的法，从理论上讲，对每个人都是公平的，无论是位高权重的高官，还是家财万贯的富商，在法律面前一律平等。但是，由人制定的法毕竟带有一些时代和文化的烙印，实施起来难免有一些例外。集中司法权，限制地方官随意用刑，徇私枉法、草菅人命，是宋太祖对各地百姓的一个极大的恩典。宋太祖曾对身边的宰辅们说：“五代诸侯跋扈，大多枉法杀人，而朝廷置之不问，刑部的职能几乎废罢。而且人命关天，姑息藩镇，能这样吗？”于是下令，各州府判决死刑案件结束后，应将有关案宗及时上报中央，由刑部负责复核，经审查核实无误后，州府才能根据刑部的最后意见处理。人无完人，每个人在一生中都会犯或大或小的过错。而法律，其主要目的并不是惩罚犯罪的人，而是警诫人们不要犯罪，即古书中所说的“非罔人也”。因此，对犯法之人如何处置体现出一个国家和一个君主的治理理念。宋太祖被称为爱民如子的贤君，自然十分珍惜老百姓的生命。他即位伊始，便下令窦仪等人参照前代法律，并根据目前社会的现实，重新修订了《宋刑统》30卷及《编敕》4卷。这样，对各级官员尤其是主管刑狱的官员来说，为他们断案和处理民间诉讼提供了参照，避免他们在断案中任意用刑，徇私枉法。对百姓而言，从中也明白了哪些事情是违法的，知晓了什么事情该做，什么事情不该做，这从客观上减少了犯罪率。初建时期的宋朝由于没有自己的法典，而采用了唐朝的《唐律》和后周的《大周刑统》。虽然有法可依，但正如老子所说的“法令滋章，强盗多有”，司法者或者擅自专杀，或者避事枉奏，换言之，即执法者可以钻空子，随意判案。为此，执法者是否称职，如何任用称职之人也就成了关键问题。皋陶说：“非其人居其官，是谓乱天事。”有司法权的官吏如果法制观念不强，法制执行也难以健全，宋太祖纵然今天一个诏令，明天一纸圣裁，也根本无法解决问题。在这种情况下，他认识到，必须建立一套系统的法制制度，从法制体制上进行变革。大凡办任何事情，历史的经验都应加以高度认识。这就要谈到宋朝以前的司法状况。五代时期的司法特点，基本上是以军校治狱，武人司法，实行军事干预。为此，在军队组织中设置了马步司左右军巡院狱。由不懂法律甚至无视法律的军人来审理和判决案件，这种状况直接导致了州镇专杀、司狱者轻视人命的严重后果。
对五代时期这种由无视法律的军人来审理和判决案件的状况，宋太祖十分憎恶。正是为了避免州镇专杀，司狱者轻视人命的现象，他就将司法权集中到中央，确立了分工明确的司法机构，设置上大体仿效唐朝。唐朝司法制度是大理寺负责详断各地奏报案件，并设大理狱关押犯人；刑部则负责复查全国死刑已判案件及官员叙复、昭雪等类事。由于五代时期法制的全面破坏，军校治狱，武人司法，唐代这一明确的司法分工已是名存实亡。宋太祖即位后，就按唐朝的机构设置司法官，并且对唐朝制式的司法机构进行了改革。为了防止大理寺用法之失，就把大理寺改成慎刑机构，不再设监狱，而把监狱移归到御史台(专掌监察、执法)。慎刑机构的一个“慎”字，足以体现宋太祖的某种心迹。宋太祖之所以改变大理寺的职责范围，目的是平衡司法机构各部门的权力，使司法各部门互相牵制。这样，中央的司法机构就成了由大理寺负责详断奏报案件，刑部负责复查，御史台负责执法的三权制约格局，使任何一个司法部门都不能单独完成处理案件之事。正可谓“天网恢恢，疏而不失”，宋太祖以道家的仁慈之心，对司法机构进行改革，对后世影响极大，金、元、明诸朝都因袭此法。宋太祖特别痛恨五代时期藩镇滥用刑罚、滥杀无辜的恶习。的确，在五代时期，无论是皇帝还是藩镇大将，对人命全不当回事，很多人都死于无辜。后晋时期更是如此，有一次36名使者受派到全国各地去征敛，临行前后晋出帝石重贵竟各赐宝剑一把，授意这些使者可以任意杀人。于是，各路使者都带着大批吏卒，手执刀杖，有恃无恐，对人民财产进行掠夺式的征敛，凡有抗命不交财物的一律斩杀，民死无数。五代时期，中原地区的几个王朝事实上都有法典，但由于这一时期皇帝的法制观念多半并不强，虽有法律，那也只是为约束百姓而制定的，并且在执行力度上也是根据自己的脾气、性格、心情的好坏去执行。后唐明宗时，虽然明宗李嗣源在治理国家上有些建树，但在执行法律上也只是逢场作戏。譬如，有一日他听到巡检使浑公儿奏报说，有两个人用竹竿在练习格斗，犯了不准私自习武的罪。于是明宗就派石敬瑭前去察看处理，石敬瑭找到那两个用竹竿练格斗的人，不分青红皂白，就将那两个人杀死，回复明宗。到了第二天，枢密使安重诲奏称说，昨日那两个人并非是私自聚武，练习格斗，而只是在玩小儿游戏，根本不足以论法。后唐明宗在位时，虽与物无竞，兵革罕用，可在执行法律方面如同儿戏，因而被后人说是“夷狄之性”。在五代时，任何一个国君和大将，在杀人和论罪时，都不会考虑法律上的程序，他们往往只根据需要和喜厌便随意地杀人论罪。《同光律》规定：“强奸罪男子处死，妇人无罪。”后晋时却改为“奸罪为奸有夫妇人，不论强、奸(顺)，男女一概处死。”又如，《同光律》规定：“盗窃赃满绢三匹以上处死。”而到了后汉，却改盗窃罪为：“窃盗一钱一文以上处死。”由于这种法律是少数人制定的，所以随意性很大，体现了很强的专制独裁因素。这就是五代时期的法制状况。由此可以想到，崇尚法度的宋太祖何以会一提起五代时期的滥用刑罚、杀害无辜就切齿生恨。为了矫正五代时用法随意的恶习，在建国的第三年，宋太祖即下令将死刑的最终复审权收归刑部。下令诸州自此凡定死罪之案，一律录案上奏，由刑部详加复查。《诗经》中说：“惟彼二国，其政不获；惟此四国，爰究爰度。”说的是周王憎恨殷国暴虐荒政的事，周王为此生出慨叹：四方的国家该向哪里取法？宋太祖愤恨五代时的虐政滥刑，即位后立整法制，朝廷过问枉法杀人问题，由此加强了国家的法制，以法治国。宋太祖取法于前人，取法于公理，因而也就有了开创性的成分。开创就未免有欠完善。尽管宋太祖明确了司法机构的分工，但司法工作仍有问题，譬如大理寺和刑部在司法事务中发生了分歧，大理寺卿李符和刑部尚书张仙在工作职责上互相对抗。李符检断案、判案或重或轻，张仙则多所驳正，两人屡至忿竞，往往案牍积滞影响了判案效率。对此宋太祖明察详断，知是大理寺持权轻而重其法，于是诏令：“诸州所上案牍，令大理寺、刑部共同裁断以闻，诸道巡检捕盗使臣，凡获寇盗，不得先行考讯，即送所属州府。”这样，对各地所报案件，就改成两个机构共同办理，进一步加强了刑部的权力。
宋太祖通过加强执法和司法的管理，给执法人员以约束，避免了官员滥用法律，维护了法律的公正，保证了社会秩序稳定有序的发展，也保证皇权的继承和巩固。宋太祖登基以后，面对着国内的权力分散的局面，大刀阔斧地进行了改革。在军事上，他改革禁军，以兵法治军；在行政上，他运用“杯酒释兵权”的方法，削减了节度使的权力，形成了君强臣弱的局面；在人事上，他广揽人才，把有用之才聚集在自己身边；在法律上，他严明刑法，以法制国。通过一系列的措施，宋太祖把全国的权力和平地集中到了自己的手中，使新建立的宋政权得以巩固。
