1921年7月，中国共产党成立。中央领导机关十分重视东北地区工人运动的开展和在东北建党的工作。 1921年末，天津五四运动著名领导人之一、中共早期党员马骏来到哈尔滨。他通过授课和组织演讲会、报告会等形式，向学生宣传反帝反封建和救国救民的革命道理。

　　1921年11月，华盛顿会议签订的“九国公约”确认了美国提出的“各国在华机会均等”、“中国门户开放”等帝国主义列强瓜分中国的侵略要求。消息传来，全省群情激奋。在马骏的启发和指导下，进步青年韩铁声等于1922年2月2日首先发起成立了“哈尔滨救国唤醒团”，提出“唤醒同胞，群策群力”、“取消二十一条”、“反对国际共管中东路”等口号。随后，工、商、学各界也都迅速成立起救国唤醒团，并组成了全市总部。2月10日，哈尔滨救国唤醒团等20余个团体在道外滨江公园召开市民大会，抗议帝国主义的侵略行径。会后，群众冒雪举行示威游行，高呼：“反对国际共管中东路”、“还我青岛”、“取消二十一条”等口号。由华盛顿会议激起的全省人民的反帝爱国斗争持续一年之久。

　　1921年末，中共北京地委(1921年8月成立，负责北方各地党的工作)派地委委员、中国劳动组合书记部北方分部主任罗章龙到东北大连、沈阳、哈尔滨考察工运。罗章龙回北京后，向中共北京地委提出《关于东北工人的状况和在东北建党建工会的具体意见的报告》，认为北满是东北工业中心地区之一，产业工人较多且集中，较早接受十月革命和马克思主义影响，觉悟程度比较高，工人运动有一定基础，建议派人到东北进行建党工作。1923年3月初，中共北京地委根据罗章龙的建议，派负责北方铁路工会工作的陈为人和京汉铁路总工会秘书李震瀛到哈尔滨进行建党、建团工作。当时《哈尔滨晨光》(以下简称《晨光报》)反映民众呼声，很受广大群众的欢迎。陈、李即与《晨光报》主办人韩铁声取得联系，进入该报社并以记者身份广泛与文化团体、知识界接触，传播革命思想，将《晨光报》作为宣传反帝反封建军阀的思想阵地。在陈为人、李震瀛等人的努力下，《晨光报》在较短时间内迅速发展，发行量剧增，在哈埠占居首位。同时，陈为人、李震瀛等同志还创立了“哈尔滨通讯社”，开展对广大人民群众的革命宣传教育，为党团组织的成立作了充分的准备工作。

　　陈为人、李震瀛在开展革命宣传工作中，注意提高青年的阶级觉悟，先后发展汪洁曼、李铁钧、马新吾、陈毅可、刘天佑等5人为社会主义青年团员。1923年7月，成立中国社会主义青年团哈尔滨支部，汪洁曼任支部秘书。8月以后，中共北京区委(1923年7月成立，兼北京地委工作)和社会主义青年团北京区委分别派中共党员陈作霖和团员彭守朴到哈尔滨工作，增强了党团组织的力量。在此基础上，1923年10月，陈为人、李震瀛、陈作霖3人组成了中共哈尔滨组(亦称“中共哈尔滨独立组”)，陈为人为负责人。此时，哈尔滨有党员3人、团员6人。中共哈尔滨组的成立标志黑龙江人民反帝反封建军阀的斗争，进入了一个由无产阶级政党领导的崭新阶段。同年11月，陈为人、李震瀛创办了“哈尔滨青年学院”，吸引很多青年工人和其他劳动者参加学习，为发展、壮大党团组织创造了条件。

　　1925年10月8日，中共中央直属的中共北方区执行委员会成立，李大钊任区委书记，领导包括东北三省在内的北方党务工作。北京区委(兼北京地委)同时撤消。为进一步加强对黑龙江党组织的领导，10月，北方区委派刚从苏联回国的吴丽石到哈尔滨从事党的工作。吴丽石到哈尔滨后，首先整顿了党团组织，将现有5名党员组成一个小组，由马新吾任组长。之后，吴丽石、马新吾以小工身份进入中东铁路机车车辆总厂(位于三十六棚)和机车库(当时称“地包”)，在产业工人中开展工作，成立“东铁青年协进会”作为党领导工人斗争的公开组织，并在工人中先后发展张有仁、郎勋臣、赖永卿、王光录等4名党员，成立黑龙江第一个工人党支部——由吴丽石任书记的中东铁路工人党支部。在此期间，唐山、郑州、济南陆续转来姜文周、王麟书、刘金安、韩心怦、刘湘益等中共党员，遂在铁路总工厂和“地包”分别成立了三十六棚和“地包”两个党支部，书记分别由马新吾和姜文周担任。吴丽石还在大中专学校中开展学生工作，先后发展中俄工业大学学生吴宝泰、高诚儒，以及医科专科学校学生李作非、潘连山等人党。党组织除在工人、学生中加强工作外，在店员、手工业工人以及妇女中也开展了大量工作，并在斗争中发展共青团员，成立共青团店员支部，支部书记为纪幼柏。还由进步女青年才镜石等人发起成立“哈尔滨妇女协进会”，开办女子商店，以此为阵地，教育组织妇女开展“争取男女平等”、“拯救失业女同胞”等革命活动。

　　1925年末，中共哈尔滨支部改组成立中共哈尔滨特别支部，吴丽石任书记，高洪光任技术书记(秘书)。1925年末至1926年初，又有共产党员楚图南、海涛、苏子元、何安仁相继到哈尔滨工作。此时，哈尔滨特支有三十六棚和“地包”两个支部、党员20余人。哈尔滨特支隶属于中共北方区委。1925年10月，中共北方区委决定，在工作基础较好的哈尔滨成立北满地委。1926年4月，中共哈尔滨特支书记吴丽石在马家沟比乐街召开特支扩大会议，改组哈尔滨特支，成立中共北满地方委员会(亦称哈尔滨地委)，吴丽石任地委书记、高洪光任组织部长、海涛任宣传部长。会议同时决定成立共青团北满地委，团地委书记为杨韦坚(杨宁涛)。中共北满地委领导长春以北、哈尔滨及中东铁路沿线党的组织，地委机关设在哈尔滨。

　　1926年10月，中共中央决定东北三省党组织由中央直接领导，任命吴丽石为中央驻东北特派员兼北满地委书记。11月，中共中央派黄埔军校学生胡步三到北满地委负责军运工作。12月，杜继曾由奉天(沈阳)派到北满地委任技术书记。到1926年底，北满地委已建立了一些基层组织。其中，哈尔滨市内有“地包”工人支部、三十六棚工人支部、大学生支部、皮鞋工人支部、警察支部、道外混合支部；中东铁路沿线有双城、安达、长春、吉林、牡丹江、横道河子等6个支部。此外，穆棱、昂昂溪、绥芬河等地有党员活动。1926年11月，北满地委有党员73人，到1927年初，党员已发展到130人。中共黑龙江组织的发展、扩大，使党在群众中建立了基础，并成为群众运动的领导核心。

　　1927年“四一二”事变后，黑龙江地方党组织也遭到破坏。4月17日，吉林省滨江警察厅逮捕了北满地委军运负责人胡步三、地委军运委员兼警察支部负责人吴保祥、北满地委代理书记兼组织部长高洪光、地委委员高洁新和何安仁、地委交通员金永绪、地委工运负责人姜文周、共青团地委书记吴晓天、党员韩心怦和吴稚泉等10人。因上述共产党员自称加入国民党，始终未暴露共产党员身份，最后被吉林省法院以“共党嫌疑罪”判处1—3年刑期，1928年末“东北易帜”不久获释。经过“四月事件”，北满地委所属党员人数由原来的130人减至30余人，共青团员由原来的61人减至不足50人，党的力量遭到严重损失。

　　“四月事件”发生时，地委书记吴丽石正在上海。他得知党组织被破坏的消息后，立即赶回哈尔滨。5月，吴丽石在哈尔滨召开北满地委扩大会议，决定立即恢复北满地委和所属各支部的工作，整顿党的组织，加强保密工作。之后，北满地委工作开始恢复。