司马迁和《史记》所取得的伟大成就，同他出身的太史世家有着密切的关系。据《史记·太史公自序》说，司马迁的祖先，最早可上溯到传说时代颛顼时的重黎氏。重黎氏担任“火正”官职，专门掌管地上的事情，与专门掌管天上事情的“南正”官职在分工上有所不同。在周宣王时代，重黎氏的后人程伯休父失去了重黎氏世代相传的职守，担任“司马”官职，从此便以官为氏，称司马氏。
司马迁在《自序》中引这一渺茫的传说，是为着表明自己的家世是一个悠久的“史官世家”。只是到了春秋战国时期，由于时局纷乱，曾经中断了很长时间，一直到了司马迁的父亲司马谈，才重新开始了司马家族的“史官”世业。史官虽不十分显要，但其家族世代掌管太史的官职。在他们的心目中，修史是一项崇高的事业。他们为此奉献了自己一生的精力。
司马谈生活在西汉王朝的文帝、景帝时代，他学识渊博，自小就立志出任史官，献身于史学方面的事业。古代的史官叫做“太史”，是掌管历史与天文的官职，秩禄是六百石，与下大夫和县令的秩禄相当。司马谈当时以一个史学家和天文家的身份在朝廷担任官职。
汉武帝建元年间（公元前140年—公元前135年），司马谈终于如愿以偿，做了“太史令”，从此一步一步实现他献身史学的理想。
但是，随着社会经济的发展和封建政权的巩固，封建统治者对内需要加强中央集权的专制统治，对外需要反击匈奴的掠夺侵扰，因而已不再满足于“无为而治”、“与民休息”的统治办法，到汉武帝时，一代儒学大师——董仲舒的学说被采纳，其思想代替黄老思想而成为了当时的统治思想。持黄老思想的司马谈常常感到很压抑、苦闷，但他并未因此而放弃自己的观点，在其文章《论六家要旨》中，司马谈对阴阳、儒、墨、名、法、道六家的学说分别进行了评述，大力推崇道家思想。思想上与当时统治思想的悖离也并没有使司马谈放弃献身史学的理想，一方面，他跟随汉武帝参加各种祭祀典礼，并和祠官宽舒共同制定了祭祀后土的仪式，履行他作为“太史令”的职责；一方面，他抽时间整理古籍古史。在整理过程中，司马谈常常感叹自孔子之后，史事零乱，无人著述，因而撰述历史逐渐成了司马谈的夙愿。
司马谈致力于史学的态度自然也影响到了他的儿子——司马迁。司马谈对儿子寄予了很大的希望，他希望司马迁能继承自己的事业，当上史官，为社会的史学事业做贡献。因而在司马迁很小的时候，就督促司马迁学习以历史为主的知识。
有关司马迁童年时代的生活，流传下来的资料很少，唯有《自序》中所述的“耕牧河山之阳”。古人称“河之北，山之南”为“阳”，芝川镇正在龙门山南。司马迁从六世祖先以来，世代为官，父亲又任汉太史令，他怎会在童年时代有过在山河之间耕作、放牧的经历呢？这种情况的原因我们不得而知，但在龙门山下，司马迁感受壮丽山川的恩赐，面对秀丽山川，耳闻种种历史故事和龙门山神话传说，引起他无数天真的遐想。可以说，“耕牧河山之阳”的日子同他后来的成长不能脱离干系，或许由于某些特殊的情趣，因此被他写入《自序》之中。
同样，他的少年时代资料亦少有流传，《自序》中也只是写道：“年十岁，则诵古文”几个字而已。像司马迁所出身的这样一个家庭，父亲又担任汉太史令，学识渊博，精通历史和天文历法，他童年时代虽然有过“耕牧”的经历，但他的读书识字、写字的学童生活，早在童年时代已经开始。事实上不仅是开始，而是在10岁以前已经阅读了包括“经书”在内的大量古书。这对于司马迁这样出身的学童来说，应属于正常现象。《汉书·艺文志》也曾对司马迁所处时代的学童生活有生动记载。其言曰：
古者八岁入小学，故《周官》保氏掌养国子，教之六书，谓象形、象事、象意、象声、转注、假借，造字之本也。汉兴，萧何草律，亦著其法，日：“太史试学童，能讽书九千字以上，乃得为吏。又以六体试之，课最者以为尚书御史、史书令史。吏民上书，字或不正，辄举劾。”六体者，古文、奇字、篆书、隶书、缪篆、虫书，皆所以通知古今文字，摹印章，书幡信也。
在汉朝的时候，小学教授学童识六书，习六体。一个学童想步入仕途，还必须能背诵一些制度条文，并能“推演发挥”其精义，而且还要会写9000个字，才可以当县或郡的一个文书。在当时，如果还会“八体”的书写，县就可以推荐到郡，郡又推荐到太史，太史把上述科目检验一下，最优秀的就可以做尚书、御史等官。在当时，无论官吏或老百姓上书，文字如果写的不正确，还要受到弹劾。汉武帝时，“[石]建为郎中令，书奏事，事下，建读之曰：‘误书，马者与尾当五，今乃四，不足一，上谴死矣！’甚惶恐”。可见，一个字写得不正确，竟可能因此而丢掉性命。在这样重视文字的官僚制度之下，对于一个学童来说，负担是相当重的。
在司马谈做了太史令的这一年，司马迁随父亲来到了长安，从此，他的生活进入了一个新阶段。
