军队在普法战争中的无能早已令莫泊桑痛心疾首，尤其在镇压巴黎公社时表现出的凶残，更使莫泊桑深感厌恶。按照当时即将通过的新兵役法，他还得继续去炮兵部队服役7年，可是他却无法再忍受下去了。他是这样轻蔑地谈到法国军队的：“两个月来，本地的国民自卫军一直在附近森林里小心谨慎地侦察敌人，有时会开枪打死自己的哨兵；一只小兔子在荆棘丛中动一动，他们便立刻准备作战，现在却都要逃回自己的家里。”在另一封信中，他更轻蔑地说：“这些人以前只耍弄秤杆，现在手中拿了武器，操持上步枪，都高兴得几乎发狂；而且毫无理由地变成了使人望而生畏的人物。他们常常处决无辜的人，为的是证明他们会杀人；他们在普鲁士人还未光临过的乡间巡逻的时候，常用枪打死无主的狗，安安静静正在反刍的母牛和在草地里吃草的病马。”他这种对法国军队的厌恶，使他不愿再与之为伍，何况眼下，军队的主要任务是去扑灭由巴黎燃起而蔓延到了外省的一些骚动。于是他在7月30日写信给父亲，大声疾呼：“如果过3个月才能找到顶替的人，我就砸锅了……因为，要是新兵役法在这3个月之内就通过，我就得进第二十一炮兵团当普通士兵，那将比在后勤处还糟糕。”所幸父亲很快就找到了顶替的人，莫泊桑也终于脱掉了那身使他极感束缚的军装。而且，莫泊桑的父亲居斯塔夫不仅为他免除了兵役之苦，还重新为他找到了一个工作，使他免于饥饿之苦。莫泊桑的本意是想进公务不怎么忙的海军部作职员，而且，海军部位于国王街，与莫泊桑所在的蒙赛街仅一步之遥。可是，海军部长波托海军上将对他的申请只批了一句话：“没有空缺。”失望的莫泊桑再度想到了父亲居斯塔夫他在巴黎有不少交情。这样，老莫泊桑又奔走于名门显族之间，四处托情。几个月后，1872年3月20日，莫泊桑终于走进了海军部办公大楼这座他日后称为“楼船”或“办公牢房”的灰色建筑。他的小职员生涯由此开始了。
莫泊桑的职员生涯总的来说还算顺利：从部直机关到殖民地司、给养司、人事司。随着工作的变动，境况也不断小有改善：1872年10月，他成为编外科员，月薪125法郎，每年还有150法郎的奖金；1874年3月，他转为四等正式科员，同时提薪一次；1877年，他再晋一级，可见他还是有一定能力来应付公事的。除了一年的行伍生活，莫泊桑一生中唯一的固定职业就是职员。世界上恐怕没有哪一位作家比他更深切地体察过小职员生涯带给人的磨难了。他最了解那形式简单、机械、内容重复乏味、节奏一成不变的伏案工作是何等地麻木人的意识，消耗人的锐气，压抑人的机体。
当脱离“办公牢房”多年以后，莫泊桑回忆起这段经历，仍感慨万分：“人们二十岁时第一次走进这楼船，一直待到六十岁或者更长，在这漫长的时间里，不会有任何事情发生，整个生命都是在同一间糊着蓝色壁纸的狭窄而阴暗的办公室里度过的。人们年轻时进到那里，满怀热烈的希望。人们年老时从那里走出，行将就木。”他清楚地记得那个记账员勒拉老爹，也许他的生活就是浓缩了“船奴”悲惨的一生。他们一天天，一周周，一月月，一季季，一年年都完全一个样。每天总是在同一个时候起床，出门，到办公室，用午餐，离开办公室，用晚餐，睡觉。从来没有什么事情打乱过这些同样动作、同样事情和同样思想的永不变化的规律。莫泊桑提到勒拉老爹时，这样说道：“当他对着他的前任留下的那块小圆镜子——当他还是一个有黄金色的小胡子和鬈曲的头发的小伙子时，他曾背着布吕芒先生照过这块属于他的小圆镜子——看见的是一个有白色的小胡子和光秃秃的脑门的小老头时，这里便出现了一种深刻的非人道的倾向。生命耗散在无价值的往复中，而这种生命，本可用来追求幸福与创造的！”
在莫泊桑看来，小职员的苦难甚至超过了高炉旁被灼伤皮肤的炼铁工人和矿井里暗无天日的挖煤工人。这种看法固然有些偏颇，但是，正是基于这种切身经验，他才得以在日后写出一大批反映小职员生活的精彩作品。不过，小职员莫泊桑本人并不像他在《一个巴黎市民的星期日》中所写的主任科员帕蒂梭那样，自己年过半百，患了高血压症，才想到要去领略巴黎郊区的风光。
在上班时间，莫泊桑是个无精打采的公务员，而在工作之余，他却精神十足。在灰暗的办公牢房中，塞纳河这个美丽而静谧的意象总会浮现在他的脑海中。在鲁昂时，他就曾和几个好朋友经常畅游于塞纳河中，享受心灵的宁静和灵魂的超脱。塞纳河就在不远处，它从巴黎穿城而过；它清凉的气息掠过街道上繁杂的人流，拂进海军部的窗口。莫泊桑的目光时常从公文上抬起，装着是去翻找一份搁在窗台上的文件，短促地眺望一下远处的塞纳河，以及那些游船的白色桅杆。这个曾在海边生活过多年的诺曼底人，自从失去大海后，就把自己对于大海的渴望寄托在了塞纳河上。一到工作之余，被办公牢房压抑得愁眉不展的莫泊桑便像候鸟一样飞向塞纳河边。从那时起，在塞纳河上泛舟，便成了莫泊桑“巨大的、唯一的爱好”。
莫泊桑在塞纳河上度过的生活很疯狂，不久后，他和老友莱昂·封丹在马朗纳岛上游不远处阿尔让特伊的“小水手”咖啡馆租了一间顶楼，和一帮年轻人在那里建立了一个群居营。阿尔让特伊以产芦笋著称，这个群居营就起名为“芦笋国”。莫泊桑成了“芦笋国”的君主。后来，莫泊桑和几位伙伴又迁往下游的勃松，建立了一个以莫泊桑为主席的“克雷比特联盟”。莫泊桑在伙伴中享有如此的权威，是因为他具有令伙伴们钦佩的多方面的才能。他是划船的好手，他和封丹凑钱买了一艘船，名为“树叶号”，莫泊桑能独自轻松自如地驾驭它。他还是远足的健将，在不划船的季节，他便徒步旅行。1875年9月的一天，为了游览一个人迹罕至的山谷，他徒步行走60公里！他的勇武在伙伴中也是出名的。在“芦笋国”，他每天清晨同伙伴练两小时剑术，失败的总是伙伴。有一次，在萨特鲁维尔划船，登岸时，看到一个大力士摆擂台，一副趾高气扬，不可一世的样子。他拨开人群，上前较量，只几个回合，就把那大力士摔倒。
在塞纳河上的划船爱好者中，莫泊桑最亲密的伙伴有4个。两个是鲁昂中学时期的老友——“高帽子”潘松和“小蓝头”封丹；另外两个外号叫“托马霍克”和“独眼龙”。他们5人共同使用“树叶号”，共同生活在群居营里。在他们看来，船上有一个花枝招展的女人，不仅是一种装饰，而且是一种兴奋剂，能使他们快乐，令人陶醉，让他们疯狂，他们称这种女人为“舵手”。在短篇小说《苍蝇》中，莫泊桑就记述了他们一伙同一个绰号“苍蝇”的不平凡的女人长期厮混的往事。莫泊桑的这段经历为他以后中短篇小说的创作直接或间接地提供了许多的素材。所采取的态度和方法不同——有时用现实主义方法，表现出较为正确的观点；有时用自然主义的方法，表现出玩世不恭的态度，他根据这些素材写出的作品也就分为精华和糟粕。《衣橱》《一个儿子》《遁世者》就属于精华之列。
在做小职员期间，莫泊桑首次发表了小说《人手模型》，他的这篇小说是从他早年的一次实际经历中获得灵感的。1868年的夏天，他正在埃特尔塔海滨游玩，忽听说一个英国人在阿蒙门巨岩下游泳，被卷入急流。莫泊桑立刻跳上一只船，同一些渔民前去搭救。得救的英国人从此和莫泊桑相识，并请他去吃饭，以表谢意。莫泊桑这才知道，此人即英国诗人、文学批评家阿尔杰农·查尔斯·斯文伯恩。当时，斯文伯恩怪诞的心理和荒唐的生活方式还颇令莫泊桑费解，连他住房的景象也让莫泊桑感到惊异。特别是房内的一只人手模型，干巴巴的皮肤，裸露的黑色肌肉，雪白的骨头，还带着斑斑血迹。诗人在离开埃特尔塔时把这人手模型赠给莫泊桑。这“手”后来一直是莫泊桑的心爱之物，他还曾别出心裁地要把它拴在群居营门铃的拉绳上。但封丹说这会把来客吓跑的，好客的莫泊桑才改变主意，把这只“手”放在卧室里，直到他生命的末日。1875年，25岁的莫泊桑正式发表了小说《人手模型》，小说中杀人犯的手做成的模型竟然复活了，而且又开始图谋不轨，最后将“断手再植”方才平静下来。这篇小说受到了福楼拜的批评，他告诫莫泊桑不要向壁虚造，而要立足生活。但是《人手模型》能够被发表，也大大地鼓舞了莫泊桑致力于小说创作的兴趣和信心。再加上之前老师福楼拜对他的批评指导，他的思想豁然开朗，他更勤奋地投入到了短篇小说的创作之中。1875年10月，他激动地向母亲报告，他正计划写一个系列短篇小说，题为《小人物的荣辱》，而且他已经确定了6个题材。莫泊桑后来虽然没有使用“小人物的荣辱”作为总标题，但它却有着不容忽视的意义——它象征着莫泊桑现实主义文学观的基本确立。
1876年他发表的《福楼拜研究》一文，被福楼拜誉为人们所写的最好的福楼拜研究文章。莫泊桑1877年写的那篇《16世纪法国诗人》，也深受福楼拜的赞赏。但这位严师却一再告诫他不要急于发表小说作品：“小伙子，这样的东西还是不要发表为好。这是学斐耶的……这是学大仲马的……要把一切都忘掉……不要拜倒在任何人面前……不要操之过急！”所以在《人手模型》问世后的三四年间，莫泊桑没有发表过一篇小说。
1878年他调到会计部门工作以后，终日坐在科长鼻子底下，矛盾更加尖锐。他的科长以文学内行的口吻对莫泊桑进行了讥讽：“再让我们看一看莫泊桑先生的才能吧。他近来正忙于中、短篇小说的写作，也许他还有写长篇小说的雄心。可是据我看，他却连什么是长篇和中篇都不甚了解。”莫泊桑再也忍受不了这种刁难和打击。他决定放弃海军部较好的经济待遇，而请福楼拜帮助，于1878年12月调到公共教育部，在部长办公室做一名随员。1879年2月，莫泊桑的剧本《往昔的故事》终于上演；12月，又发表了《西蒙的爸爸》。这是他第一篇出色的小说，不过，这也只是小试锋芒。1880年1月13日，福楼拜终于在给出版家沙邦吉埃的夫人的信中作出了最后的判断：“小伙子确有才华，我可以向您证实这一点，我想我是懂行的。”
在长期磨砺之后，一颗文学的巨星，就要飞升于法兰西的文学苍穹了！福楼拜1880年对莫泊桑“确有才华”的断语绝不夸张。有人说：莫泊桑是克鲁瓦塞作坊里锻造出来的。的确，十余个春秋，福楼拜亲眼看着莫泊桑在千锤百炼中成长，再也没有谁比他更了解莫泊桑了。而在作出上述断语之后不几天，福楼拜读了莫泊桑的新作《羊脂球》以后，对莫泊桑的才华更加深信不疑。1880年2月1日，他在给外甥女科芒维尔夫人的信中热情洋溢地写道：“《羊脂球》，我的弟子的这篇小说，是一部杰作。今天早晨读了校样后，我坚持用‘杰作’这个词。这是一部结构精妙、富于喜剧性和观察力的杰作。”
