在中共满洲省委成员中，赵尚志是最早搞军事的人。当年，党在东北没有蓬勃的工农运动作为基础，早期的抗日义勇军基本由旧奉军和原土匪、山林队组成，在日军进攻下仅一年便纷纷溃散。赵尚志深感旧式武装难以依靠，虽身单力薄，却决心拉起一支共产党的军队。
义勇军失败后，接任中共满洲省委军委书记的赵尚志于1932年春赴巴彦地区，改造那里的土匪和杂色武装，并于同年秋打出了中国工农红军第三十六军江北独立师的旗号，成为党在北满建立武装的开拓者。
1932年4月，赵尚志任中共满洲省委军委书记，负责组织、领导反日武装斗争的工作。为了开展反日武装斗争工作，他根据省委指示，奔赴哈北地区的巴彦县境，找到了张甲洲率领的反日武装——东北工农反日义勇军（又称巴彦游击队）。“九一八事变”后，巴彦游击队成为北满成立较早、由中国共产党直接领导的抗日武装。最初的领导人张甲洲是清华大学政治系的毕业生，“九一八”后，他投笔从戎，经满洲省委同意，回到家乡巴彦县北部山边的张家油坊组织队伍，很快拉起了一支200多人的队伍，并在1932年5月23日，农历四月十八日庙会这天，正式打出抗日的旗帜。
这是一支利用各种社会关系，联合民团、士绅、知识分子，以及抗日山林队（土匪）组成的一支有一两百人的反日队伍。
很快，黄埔军校出身的赵尚志被委派协同读书出身的张甲洲。1932年5月，巴彦游击队新来了一位个子不高的参谋长。这个年仅24岁的年轻人化名李育才，人称“小李先生”，是满洲省委直接委派到巴彦游击队的省委代表，此前任职中共满洲省委军委书记。游击队里的许多人都感到“小李先生”不是一般人，但他们不知道，此人正是日后名震四海的东北抗联英雄赵尚志。
中共满洲省委为了加强对这支反日武装的领导，指派赵尚志打入到这支队伍中开展工作。一方面要把这支队伍转变为真正的工农反日义勇军，另一方面要帮助这支队伍明确斗争纲领。这时他化名李育才，人称“小李先生”，任参谋长。
为了把这支队伍建成党的抗日武装，树起一面鲜艳的抗日旗帜，他必须想办法使这支队伍发生根本转变。他首先整顿纪律，并从各队抽调品质好的战士，建立了以培训抗日骨干力量为主的教导队。教导队军纪严明，规定战士干部不许说土匪黑话，长官不许有军阀作风，官兵不许损害群众利益。全队要处处发挥先锋模范作用，成为全工农义勇军的中坚和榜样。教导队的成立，使部队逐渐发生变化，加强了队内的思想政治工作，改善了同人民群众的关系，部队素质有了明显提高。部队每到一处便向老百姓进行抗日宣传，通过召开群众大会、张贴标语等多种形式动员群众参加反日武装斗争，支援工农反日义勇军；号召群众行动起来，团结一致，拿起刀枪，抗日救国；宣布只要反日救国，不管什么人，义勇军都收留，携枪带马则更好。经过宣传动员，许多群众加入了队伍，一些游民、地主和富农子弟也前来加入工农反日义勇军。一时，队伍有了很大发展。
随着反日斗争的开展，工农反日义勇军逐渐壮大起来，成为党领导的活跃在哈北地区抗击日本侵略者的一支重要队伍。为打击日本侵略者扶植起来的伪县政权，振奋民众反日斗志，1932年8月，25岁的张甲洲和24岁的赵尚志一举攻下了巴彦县城，给敌以重创，“小李先生”也成了哈北一带很出名的人物。这是“九一八”后以中国共产党为领导力量的反日部队首次攻占县城。巴彦成了赵尚志抗日斗争的起点。
赵尚志善用骑兵，精良的骑术是身材不高的赵尚志在黄埔军校苦练的成果。1932夏，到巴彦不久的赵尚志便发展起一支600人清一色的骑兵部队，远途袭击是他经常运用的战法。1935年11月7日出版的敌伪报纸《盛京时报》曾这样描述赵尚志骑兵部队的威力：“匪首赵大队长尚志督部下党羽三千余名并带机关枪、迫击炮各数十门，军装整齐，枪械精锐。骑匪一千五百名，步匪一千五百名，扯五色旗，戴红袖标，着义勇军字样，风声鹤唳，耀武扬威，由山里汹汹而来。”该报道结尾处写道：“想赵尚志此次出山，督匪数千，果一拥而进，我拉林兵力单薄，仅有警察队、自卫团等，恐难济于事。”
1932年10月，在东兴指挥部队与敌人战斗时，赵尚志的左眼眶下被弹片击伤，骨质受损，后致左眼失明。不久以后，由于左倾错误的影响和队伍内部成份复杂，巴彦游击队在敌人的围攻下瓦解了。1933年1月，巴彦游击队在铁力遭到伪军和地主武装的袭击后，部队严重损失，赵尚志和张甲洲决定化整为零，暂时解散部队。当时的满洲省委认为赵尚志持有“满洲特殊论”的观点，错误地认为巴彦游击队的失败是赵尚志执行右倾路线的结果，并将游击队的失败归罪于赵尚志，令其作“深刻检查”。赵尚志性格倔强，不愿违心地讨好上级，据理申辩，坚持己见，中共满洲省委于是决定开除其党籍。
他不甘心受诬陷，回到哈尔滨千方百计寻找党组织，要申诉自己的意见。在此期间，他曾被日伪逮捕，因查无证据获释，但他和党组织却无法取得联系。在困境中，他抗日报国的决心丝毫没有动摇。
