马占山出生在一个贫苦的农民家庭，人称“马小个”。年轻时候被诬告成盗马贼，他一赌气离家出走，落草为寇。两年以后，接受了清政府的收编。他从小为人放马时练就了一身马上的好功夫，落草为寇时又练成了一手娴熟的枪法。激战中，他可以在马肚侧面藏起身子，用来迷惑敌人；也可以把头探在马前，开枪弹无虚发。

　　当时奉天的统领吴俊升非常赏识他。吴俊升这个人粗鲁、愚昧，说话常流口水，吐字不清，人们送绰号“吴大舌头”。1925年，第二次直奉战争结束，马占山被吴俊升提升为东北陆军骑兵旅长。后被派往黑河，担任警备司令。1931年10月10日马占山临危受命，19日夜抵达当时的省城齐齐哈尔。20日上午，就任黑龙江省代理主席、军事总指挥。

　　马占山就职后，不顾蒋介石的不抵抗命令，不理日军的恫吓，毅然肩负起抗日的重任。他说：“我是一省长官，守土有责，决不能将黑龙江寸土尺地，让于敌人。我的力量固然不够，他来欺负我，我已决定与日本拼命，保护我领土，保护我人民。”