1921年7月1日,中国共产党成立。同年末,“五四”运动青年领袖、中共党员马骏到哈尔滨开展工作。1923年,中共北京区委陆续派陈为人、李震瀛和陈晦生到哈尔滨,开展建党工作。同年10月,东北地区第一个中国共产党的组织——中共哈尔滨组成立。
1925年夏,中共哈尔滨组改为中共哈尔滨支部。同年冬,哈尔滨支部改为特别支部。1926 年春,黑龙江地区中共组织进一步发展,中共哈尔滨特别支部改为中共北满地方委员会,吴丽实为中央驻东北特派员兼北满地委书记。
1927年10月,成立中共满洲临时省委,中共北满地方委员会撤销。同月,中共北方局派顺直省委组织部长陈为人到东北传达中央“八七”会议精神,并组建东三省省委。1929年7月14日刘少奇到奉天主持满洲省委工作。1930年1月,刘少奇到哈尔滨领导中东铁路工人斗争。同年8 月,在左倾冒险主义影响下,中共满洲省委改为中共满洲总行动委员会;同年10月,又恢复中共满洲省委。
1931年“九一八”事变后,东北地区沦为日本帝国主义的殖民地。满洲省委被破坏。12月,中央委派当时正在东北巡视的中央政治局候补委员、中央驻满洲代表罗登贤重组满洲省委。1933年4月,满洲省委召开扩大会议,决定组建新的满洲省委。新组建的满洲省委委员11 人,李实任书记。同年,中共中央机关迁至江西瑞金后,中共满洲省委由上海中央局和中共驻共产国际代表团双重领导。1934年,上海中央局遭受破坏,中共中央领导红军开始长征,东北各地党组织与党中央失去联系之后,中共满洲省委由中共驻共产国际代表团领导。1935年11月, 中共驻共产国际代表团决定撤销中共满洲省委。
1936年1月~1937年3月,东北地区先后建立了南满省委、北满省委、吉东省委、哈尔滨特委等4个隶属于中共驻共产国际代表团的党组织,其中除南满省委外,其余均在今黑龙江省境内。同年11月,中共驻共产国际代表团负责人相继回国,代表团设在海参崴的交通机关撤销, 中共东北各地党组织与上级联系完全中断。由于敌人残酷围剿,南满、北满、吉东3个省委彼此之间也很难取得联系,基本上各自独立领导本地区的工作。
1942年8月,在苏联远东地区整训的抗联部队编为教导旅。9月,在教导旅成立中共东北党组织特别支部局。同年冬,中共抗联教导旅委员会(亦称中共东北党委会)成立,中共东北党组织特别支部局自然撤销。
1945年9月15日,成立了以彭真为书记的中共中央东北局,随后从中央和关内各根据地抽调大批干部派来东北。在黑龙江地区先后建立起中共黑龙江、嫩江、松江、合江省工作委员会和中共绥宁省委、中共哈尔滨市委。不久,各省工作委员会先后改建为省委,省以下市、县、区也陆续建立了党组织。同年10月,中共东北党委会正式撤销。
1948年末,东北全境解放。在此期间,由于行政区划几经变动,到1949年4月,中共黑龙江地区党组织由原5省委1市委合并为中共松江、黑龙江两省委(哈尔滨市委划归松江省委所属),中共黑龙江地区县区级党组织已普遍建立。
1949年10月1日,中华人民共和国成立。这时的中共黑龙江地区省级党组织为中共松江、黑龙江两个省委。1953年8月,哈尔滨市改为中央直辖市,哈尔滨市委相应改为中央直属。1954年8月,根据中共中央和中央人民政府的决定,黑龙江省与松江省合并为新的黑龙江省。哈尔滨市改为省辖市。中共黑龙江地区党的组织由两省委合并为新的中共黑龙江省委,欧阳钦任书记。这时的黑龙江省委下辖3个地委,4个地级市委、68个县委和县级市委、139个基层党委、2.4万个总支和支部。各级党委的工作部门设置以及党的各项制度和工作秩序日臻完善。
1955年6月,根据中共中央关于建立省、市委书记处的决定,中共黑龙江省委于同年6月24 日成立书记处,欧阳钦为第一书记。
1965年10月,中共中央决定免去欧阳钦中共黑龙江省委书记处第一书记职务(调东北局),潘复生任中共黑龙江省委书记处第一书记。
1966年5月,“文化大革命”开始,中共黑龙江省委及其所属党组织受到严重破坏,各级领导干部被批斗,党组织相继陷于瘫痪。1967年1月,“造反派”夺权,由“黑龙江省红色造反者革命委员会”取代了中共黑龙江省委、省人民委员会。至此,黑龙江省第二届委员会的工作被迫中断。1968年2月,潘复生、汪家道电报中央,请示成立中共黑龙江省核心小组,并自荐任正、副组长。1970年3月,省核心小组改称中共黑龙江省革命委员会核心小组,潘复生任组长。1971年8月,中共黑龙江省第三次代表大会召开后,成立了新省委,汪家道为第一书记。省革命委员会核心小组自然撤销。1974年12月免去汪家道省委第一书记职务,由刘光涛主持省委全面工作,1977年2月刘光涛任省委第一书记。同年12月,中共中央免去刘光涛省委第一书记职务, 任命杨易辰为省委第一书记。
1978年6月,设省委秘书长,由陈俊生担任。省委下辖的地方党组织,在“文化大革命”初期的基础上,除个别建制变更,隶属关系改变外,基本稳定。1983年以后,由于机构改革和经济体制改革的不断深化,省内行政建制变动比较大,党的组织也随之相应进行了调整。
1983年9月,根据中国共产党第十二次代表大会通过的新党章的规定,建立了中共黑龙江省顾问委员会。省顾问委员会是省级领导班子之一,是省委政治上的助手和参谋。