为了保护蕾切尔的名誉，杰克逊进行了几十次的决斗，其中有两次身负重伤，但都奇迹般地活了下来。最有名的一次决斗发生在1806年，当时有个叫查尔斯·迪金森的人，在杰克逊政敌的刻意挑唆下，当着杰克逊的面肆意污辱他的妻子蕾切尔，试图通过这种方式逼杰克逊与他决斗。政敌相信迪金森一定能够取得胜利，那样一来，杰克逊这位前参议员和未来的总统就会轻易地被干掉。
不出这些人所料，火冒三丈的杰克逊为了捍卫妻子的荣誉，果然向迪金森提出了决斗的要求。
迪金森是田纳西州著名的枪手，27岁的他已在决斗中打死过26个人，枪法可以说是百步穿杨。比起迪金森，杰克逊对于决斗虽然很有经验，但绝对算不上是一个神枪手。有一次，他朝一个向他冲过来的印第安人连开数枪都没有把对方打倒，最后只好用枪狠敲那人的头，才结束了拼斗。
当时许多人都劝杰克逊不要意气用事，不要冲动，但杰克逊决心为了妻子蕾切尔的荣誉与迪金森决一死战。两人各自找了朋友做裁判，约定在一个空旷的田野上决斗。因为决斗在田纳西州是非法的，所以杰克逊和迪金森两人从田纳西州赶了一天一夜的路来到了肯塔基州的哈里森米尔斯。
1806年5月30日，星期五，在阿里森米尔斯红河岸边的一片林中空地上，当阳光刚越过林梢时，已经准备好决斗的杰克逊和迪金森一脸警惕地盯着对方，两人的眼中都闪过一丝凝重。毕竟，决斗并非儿戏，子弹是不长眼睛的，一旦有任何疏忽，所要付出的代价，就是自己的生命。
按照决斗的惯例，决斗的两人应该面对面相距24英尺站定，然后端起手枪做出决斗的准备姿势，接着，由裁判下令后两人同时开枪。如果两人都未被对方击中，那么双方就要重新在相距24英尺的地方站好，等待裁判再次下令以后，才能开第二枪……直到双方中有一人先中弹倒地为止。
迪金森见过世面，老谋深算，决斗时还没等裁判发令，，他就抢先举起枪，瞄准杰克逊心脏部位的大衣铜纽扣偷开了一枪。子弹击中了杰克逊的胸部，幸运的是距心脏还差一英寸。迪金森见杰克逊的大衣扬起灰尘，胸部剧烈扭动，可是却没有倒下，依然站立着，顿时吃惊地叫了起来：“天哪，难道我打偏了？”
此时，杰克逊的胸部慢慢渗出了血水，下一刻，鲜血如注，湿透了衣衫。但他以顽强的毅力坚持站住，趔趄了几步忍痛站稳，立刻向迪金森举起了枪。迪金森没想到杰克逊如此顽强，在杰克逊目光的逼视下，他吓得魂不附体，转身想溜，但是裁判立即命令他回原地站着。迪金森无奈，只好硬着头皮强作镇静，双臂交叉胸前站着，等杰克逊开枪。
杰克逊忍住钻心的疼痛，用仇恨的眼睛瞄准了迪金森，咬牙扳动了扳机。“砰”的一声，枪响了，迪金森双手一扬，上半身中弹，踉踉跄跄走了几步，应声栽倒在地。迪金森的医生尽力抢救，但他到那天夜里还是死了。
杰克逊离开决斗场地时，左脚靴子里已经全是鲜血，他大衣上那颗大铜纽扣早就被子弹击碎了。迪金森那一枪打断了他的两根肋骨，离心脏仅仅只差了一英寸。那件宽松的大衣，救了杰克逊一命。有传言说，在这次决斗开始的前一天晚上，杰克逊改变了大衣纽扣的位置，把它们往下挪了三英寸，所以本来瞄准了上部大铜纽扣的子弹没有命中心脏。
当时杰克逊的医生在给他清理伤口的时候，曾经面带惊异地说过这样一句话：“你伤得不轻，真不明白你怎么还能站着不倒？”杰克逊笑了笑，回答说：“即使他把子弹射进了我的大脑，我也要坚持站着直到把他打死为止。”
与迪金森的这次决斗使杰克逊威名大振，许多人因而不敢再放肆地辱骂他的妻子。杰克逊和蕾切尔的爱情共持续了34年，直到1828年他当选为美国总统。蕾切尔因长期的思想压力而体质虚弱，在进入白宫前因心脏病发作去世，终年61岁。他在蕾切尔生前给她写的信中就说过：“我唯一的抱负和最终的愿望就是跟你一起共享退休后的晚年。”蕾切尔去世后，杰克逊始终认为妻子是被自己的政敌害死的，他站在妻子墓前悲痛欲绝地说：“上帝原谅害死她的人，因为我知道他宽恕他们，但我决不能。”杰克逊身穿黑色丧服步入白宫，没有举行任何庆祝活动，这在美国总统就职史上是极为少见的。
不过决斗也让杰克逊付出了惨重的代价，1829年，当他就任美国总统进入白宫的时候，胸部还留着迪金森的那粒子弹以及在其他决斗中被射入体内的几粒子弹，这些子弹让他腹痛了一辈子。在担任总统之前，他一共进行过103次决斗，但被他打死的对手只有迪金森一人，尽管多数人都曾预料那一天该死的应是他杰克逊，不过他的决斗对手们始终没有打倒他这个“老胡桃木”。
杰克逊入住白宫之后，因为妻子的去世，加上他的“总统”身份，不能也没有人再向他提出过决斗的要求。不过在他成功连任美国总统后，却发生了一起针对他人身安全的刺杀事件，这也是美国历史上美国史上第一次有人意图暗杀在职总统。
事情发生在1835年1月30日，杰克逊以美国总统的身份来到国会山庄参加一位国会议员的葬礼。此时的美国，关于总统安全的保卫工作并没有像现在这样完善，除了十几名保镖和当地警方之外，就再没有其他安保措施了。
杰克逊一行前往山庄的时候，一个来自英国的失业油漆匠理查德·劳伦斯就悄悄地跟上了他们。他个头不高，穿着一件风衣，打扮得很普通，既没有刻意竖起领子也没有带帽子遮住自己的脸。当保镖们护卫着杰克逊进入国会山庄的时候，劳伦斯远远地潜伏在了外围，并没有上前。
他小心地观察着四周，直到确认并没有引起别人的注意后，这才若无其事地慢慢向国会山庄靠近。在他的口袋里，装着两把上好子弹的手枪，没错，劳伦斯此来并非是为了见见总统，表达一下自己的仰慕和敬佩，而是为了刺杀杰克逊这个总统。
国会山庄的安全布置并不算严密，劳伦斯找了个机会，避开巡视的保安人员，轻易潜了进去。当杰克逊进入葬礼仪式的房间时，劳伦斯离总统的距离较远，此时开枪，无论是子弹的冲击力还是准确度都得不到保证，所以他按下了立刻刺杀杰克逊的心思，耐心地等待着更好的时机。
经过观察，劳伦斯发现国会山庄内通往出口处的地方有一排石柱，如果杰克逊在葬礼仪式后要离开山庄，那里就是必经之地。所以他偷偷潜了过去，守候在两根柱子之间，就等葬礼结束，杰克逊从房间出来的时候，发动雷霆一击。
时间很快就过去了，那位国会议员的葬礼仪式并不冗长，当葬礼结束后，杰克逊果然如劳伦斯之前想的那样，从那间房间里出来，径直向着他藏身的地方走来。
此时，两人之间尚有一段距离。劳伦斯也不急于开枪，他在等杰克逊进入完全瞄准距离，因为在完全瞄准距离内，枪支无须调整仰角便确定能够击中目标的某个部分，在完全瞄准距离内开枪，这次刺杀才能做到十拿九稳。
很快，两人之间的距离就缩短到了不足两米，狂喜的劳伦斯当即不假思索，突然从柱子背后窜出，持枪就向杰克逊的心脏部位射击。然而，他今天的运气似乎非常糟糕，虽然他顺利躲过了巡逻的护卫潜入了国会山庄，并且成功接近了杰克逊，甚至来到他身前不足两米的地方，但是，他扣动扳机的一刹那，刺杀最为关键的武器——他的手枪却突然哑火了。
子弹卡在了枪膛内，怎么也射不出来。劳伦斯本人也当场愣了一下，然后下意识地再次扣动扳机，这一次，因为前一颗子弹卡在枪膛内的缘故，后一发子弹射不出，手枪炸膛了。
此时，周围所有人都惊呆了，劳伦斯也是大吃一惊。不过他的反应很快，立刻丢开这把已经变成废铁的手枪，取出另一把备用的，就要朝杰克逊射击。然而，令他意想不到的是，这一把手枪的第一发子弹，竟然也是一发“臭弹”！真不知道是劳伦斯太过倒霉还是杰克逊太过幸运，要知道，两把手枪都是臭弹的几率据说仅为1/125000。
因为两把手枪都卡壳而感到惊慌不已的劳伦斯还不死心，拔开枪膛打算取出这颗“臭弹”再向杰克逊射击。然而，他显然是小看了已经67岁高龄的杰克逊。戎马一生的杰克逊经历过惨烈的战火，而且在担任总统之前还是一个有过103次决斗经历的“决斗专家”，面对倒霉至极的劳伦斯，这个“老胡桃木”本能地举起手杖自卫。
就在劳伦斯清理出枪膛内的“臭弹”第四次把枪口对准杰克逊的时候，杰克逊已经一把抡起手杖，劈头盖脸朝劳伦斯打了下去。实心木手杖的分量并不轻，劳伦斯的脑门和后脑分别挨了几下，就被狠狠砸倒在了地上。随后，杰克逊以手杖压住他的脖子，将他轻易制服。
这次刺杀事件险些就让命大福大的杰克逊成为美国历史上第一个因为刺杀身亡的总统，但是两把戏剧性的手枪和两发戏剧性的“臭弹”，却让他创造了一个美国总统们至今无法打破的记录。
劳伦斯被捕后，警方对其展开审讯。这位32岁的刺杀者号称自己是英国国王的合法继承人，美国总统杀死了他的父亲，还拒绝让他得到一大笔钱。后来在法庭上经过仅仅五分钟的审理，法官就断定劳伦斯此人患有精神病，因而并没有追究其刺杀总统的法律责任。
从此以后，精神病就成为各种谋杀凶手最合适的借口了。虽然无法判定劳伦斯是真的患有精神病还是为了脱罪而假装的，但是他此后一生都被拘留在疯人院中，直到老死。
杰克逊是美国历来最病弱的总统之一，深为习惯性的头疼与腹痛，以及短促而频繁的干咳所苦。他经常咯血，甚至咳到全身震颤。他在纳许维尔安享了八年的退休生活后，于1845年6月8日因慢性肺结核、肺积水以及心脏衰竭等多重疾病而逝世，享年78岁。其遗言为：“噢，别哭，要当乖孩子，我们会在天堂重聚。”
他一生收养过两个儿子，一个是妻子蕾切尔的兄长谢佛伦·唐尼尔森之子，小安德鲁·杰克逊；另一个是杰克逊在克里克战争后所收养的克里克族养子林科雅。不过林科雅在1828年就因病身亡，死因是肺炎或肺结核，死时年仅16岁。
杰克逊在遗嘱中将全部房产留给了小安德鲁·杰克逊，另列举若干物品遗赠亲朋。杰克逊留予子媳与孙儿们若干名奴隶；留给孙子一柄佩剑，剑上铭刻训喻：“兹以此长保我壮丽联邦”。
二、“老胡桃木”的一生
安德鲁·杰克逊是美国历史上第一位平民出身的总统。他少年时期住在西部边远地区，在那里度过了独立战争年代。他从一名边区律师起家，当过众议员、参议员、州最高法院法官、州民兵少将。第二次美英战争中，他坚韧不拔，肯与士兵共甘苦，被誉为“老胡桃木”。在新奥尔良战役中，他率兵大败英军，振奋全国，成为举国闻名的英雄。他第一次竞选总统时失败，第二次才获胜，是美国第一位民主党总统。任内大力加强总统职权，维护联邦统一，颇有政绩，史称“民主政治”，几乎与第三届总统杰斐逊齐名。
杰克逊于1767年3月15日，出生于南卡罗莱纳州的沃克斯华移民区，他是苏格兰和爱尔兰移民的后裔。南北卡罗莱纳州称呼杰克逊为“本州子弟”，而他本人则一向表示自己出生于南卡罗莱纳。
杰克逊有两个兄弟，他是三兄弟中的老幺。出身农民的父亲在他还没有出世的时候就已经离开了人间，由于家境贫寒，他没有受过多少正规教育，很早就辍学帮母亲维持生计。父亲的死让本来已经一贫如洗的家雪上加霜，家中连买一块墓碑的钱都没有。杰克逊在贫困和艰难中度过了幼年时代，缺衣少食对他来说已是家常便饭，欺辱和讥笑在他幼小的心灵上留下了难以愈合的创伤，然而，艰苦的环境和艰难的生活使他变得勇敢、坚定，也养成了他鲁莽、固执、桀骜不驯的性格，并使他怀有一颗对受苦难者深切同情的心。
杰克逊于1787年迁居田纳西州。他自13岁起就加入大陆军团，在当地的民团中做信差。17岁开始自学法律，攻读法律大约两年后，他成为田纳西一位年轻的律师。当时的诉讼案大多是地权争执，或袭击与斗殴，他在法庭内的风度切合当时潮流。1795年，他因为与对方律师在法庭上相持不下，便愤而与其决斗。后来，因为从事土地买卖生意，杰克逊一家的经济条件才有了好转，购置了几百亩土地和一群奴隶，开始进入上流社会。
1796年，田纳西建州后，他他当选为田纳西州联邦众议员，成为该州第一位联邦众议员，很快又成为联邦参议员，但只做了6个月就请辞了。1798年，他被任命为田纳西最高法院大法官，这个职务一直担任了6年。
1802年，他被任命为田纳西州民兵司令，自他1801年从军起，就领导这支民兵。杰克逊粗中有细，有勇有谋，他的胆大和机智在军中甚为出名。1809年的一天，他正乘车外出，路经一片荒凉的旷野，被两个粗壮的劫匪拦住，他们命令他走出马车，交出财物，为他们跳舞。杰克逊装作吓坏了，告诉他们他只能穿拖鞋跳舞，而他的拖鞋放在车后的那个箱子里。车夫让他去取，杰克逊打开箱子，从里面掏出一把手枪，冲着两人喊道：“现在，你们这两个该死的恶棍，该为我跳舞了，跳吧！不跳我一枪一个崩了你们。”
