早在4.2万年前的旧石器时代晚期，黑龙江地区已有人类的活动，先民开始用其猎取的大型动物的骨骼和兽皮等做材料来建造住所。到了距今6 000多年前的新石器时代，居住在黑龙江地区的先民开始定居，用天然石筑洞穴、砌石壁、铺地面，并开始利用木材做建筑居所的材料。在黑龙江省宁安县莺歌岭发现了距今三四千年前的新石器时代村落遗址。据测定莺歌岭遗址上层为距今3 000年左右，其下层距今约4 000年左右。每座房屋呈方形或长方形的半地穴式建筑，以土为墙、以石砌壁、以木材为支柱、以桦树皮做屋面防水材料，由此可见当时已能利用天然建筑材料建造房舍。
　　　　汉代，居住在黑龙江流域的“北沃沮”人，在半地穴式住房内已可用泥土垒成火墙（穿地龙）以御严寒。
　　　　唐渤海国时期，随着社会经济的发展，建筑形式及对建筑材料的运用达到了较高水平。唐天宝十四年（755年）渤海国迁都上京忽汗城（今黑龙江省宁安县渤海镇），此后采石已较普遍，该城周围产火山熔岩（玄武岩）。仿唐长安城兴建的龙泉府，其宫殿的台基、望柱、石狮、门枢等，皆用玄武岩修筑。当时中原砖瓦技术已传入黑龙江地区。1980年，考古发掘的一处在东京城西南15公里处渤海国古窑址共10多座，窑的结构平面呈平底袋状，因其数座排在一起，相当于今所称的“串窑”，每座窑由烟囱、窑室、火膛与火口组成。不仅可以烧制砖瓦也可烧制日用陶器。渤海国时期的砖，一般呈长方形。有一种长方形花砖，正面饰有缠枝花、喇叭花和梅花。在渤海国上京宫殿内发现的铺地方砖，上面饰有唐代流行的纹饰。此时的瓦，主要有版瓦和筒瓦两种，一端略粗大，一端略小，另外还有一种鞍型瓦，称“轩瓦”。并在上京宫城内还发现过琉璃瓦残片。此时，石灰也开始大量使用，庙宇、墓藏、宫殿等都以石灰作黏合材料用于石块、砖瓦的砌筑。
　　　　金代，是黑龙江地区经济发展较为兴盛时期，建筑材料业有新的发展，筑城、修宫、建殿、盖屋盛行使用砖瓦。金代的五国头城（今黑龙江省依兰县城北5公里处）就有烧制青砖作坊，并留有古建筑遗迹。金上京（今黑龙江省阿城市白城子）发现过龙纹砖、文字砖。在蒲峪路城（今黑龙江省克东县金城乡）出土过牡丹花砖。金代对建筑石的采用也较为普遍。金上京建筑石材和蒲峪路一带的建筑用石材均就近采自张广才岭的花岗岩和二克山的火山熔岩。
　　　　元代，砖瓦业亦有所发展，考古发现有瓦滴、筒瓦、版瓦等建筑饰件。
　　　　清代中、后期，随着“京旗移垦”以及此后的“开禁放垦”，一些满族人特别是大量的汉族人流入黑龙江地区。由于人口的增加，加之边陲建设的需要，砖瓦业得到较快发展，较重要的埠镇均建有砖瓦窑。如道光年间在双城堡立窑烧造砖瓦。从清咸丰十年（1860年）开始在平房、三棵树（今哈尔滨市）等地相继建起砖瓦窑；在巴彦苏苏城北五里河先后建窑5处，每年5～9月产青砖百万块。
　　　　清光绪二十二年四月（1896年6月），沙俄政府迫清政府签订了《中俄密约》，获得“东清铁路”（后称中东铁路）的修筑权。沙俄为加快“东清铁路”的修筑，到矿产资源丰富的二层甸子（今黑龙江省阿城市玉泉镇）拓办生产建设材料工场，辟山源进行开探，经近2年的开探和修建，于清光绪十八年（1902年）建成的以枝柴为燃料5日一次产16吨石灰窑5座，开始了黑龙江地区较大量生产石灰的历史。俄国人为了修建楼房，还在宾州（今黑龙江省宾县）城西北老山头山用炸药采石，然后将石头运至哈尔滨。从清光绪二十六年（1900年）开始掠夺开采，清光绪二十八至二十九年（1902～1903年），每日雇用华工1万余人之多，每年至冬季不得不停工。阿城东南35里小城子砂矿这时也被大肆开采，据载日出砂200万布袋（普特）可装火车90节车厢，由阿什河站专修支线通往该矿。与此同时，由于俄国制砖工艺的传入，黑龙江地区出现了红砖瓦，并于清宣统元年（1909年）开始使用，当时一般民宅禁用，多用于官府衙门、寺庙等建筑。
　　　　东北沦陷后，日本帝国主义出于掠夺和统治的需要，竭立扩大建筑材料生产。在黑龙江地区，日本侵略者投资500万日元（当时日币），于1935年11月建成投产设于哈尔滨三棵树地区设计能力为15万吨的水泥工厂（今哈尔滨水泥厂）。又于1938年筹建牡丹江水泥厂，1941年建成投产。在开始水泥生产的同时，日本侵略者又在齐齐哈尔建立“新进混凝土出强所”，进行水泥下水管、水泥瓦等水泥制品的生产。日本帝国主义为了达到吞并中国民族窑业的目的，把砖瓦业分为“家内工业”和“工场工业”。“家内工业”主要是中国人小规模生产的青砖瓦，所谓“工场工业”则是日本侵略者开办的较大规模生产红砖瓦的工厂。到1937年，黑龙江地区砖瓦厂有100多个，主要埠镇有3～5家不等的砖瓦厂，大部分为“家内工业作坊”，少量较大规模生产厂主要集中在哈尔滨、齐齐哈尔、牡丹江、佳木斯等大中城市，为日本人所把持。1938年，日本侵略者发布法令禁止中国人独立开设窑地，成立“窑业组合”，进行垄断性生产，民族窑业遭受打击，举步维艰。
　　　　由于长期遭受帝国主义的掠夺，黑龙江地区的建材工业发展十分缓慢。砖瓦业，在东北沦陷时期虽然有了角窑、轮窑等较为先进的窑种，但都为日本侵略者所把持，民族窑业仍普遍采用古老落后的马蹄窑，始终没有摆脱手工小生产方式。石材虽有丰富的储量，但因交通不便和社会不稳定等原因，采掘量甚少，重要的建筑石料要从朝鲜和中国山东等地运进。建筑材料生产技术，除哈尔滨、牡丹江水泥厂和柳毛石墨矿有一些机械作业外，其余砖、瓦、砂石、灰的生产，全是手工作业。
　　　　1945年抗日战争胜利时，黑龙江地区仅有水泥、石灰、砖瓦、石墨和少量水泥制品的生产，且工厂大部毁坏，只存散落在各地的小窑业。从1946年开始，人民政权逐步使被破坏的建材工场恢复生产。到1949年年末，黑龙江地区的建材工业总产值为700万元，占全地区工业总产值的比重不足1%；从业人员仅3 000多人，164个企业，绝大多数是私人开办的小砖窑。
　　　　1950～1952年的国民经济恢复时期，黑龙江地区的建材工业进入重点建设的轨道，恢复和新建了一批重点企业。1951年东北人民政府重工业部组织恢复牡丹江水泥厂，新建齐齐哈尔油毡纸厂。同时对原有的建材企业进行技术改造，填平补齐了设备，扩大了生产能力。经过3年的经济恢复与起步建设，黑龙江地区建材业的面貌大为改观，并为以后的发展打下了基础。
　　　　1953～1957年国民经济第一个五年计划实施期间，黑龙江地区经济建设速度加快，为了适应大规模基本建设的需要，国家投入资金发展黑龙江地区的建材业，填补了一批建材产品的空白。藻土石棉粉、玻璃纤维、石棉水泥瓦、浮石混凝土、轻质砖等一批新型建材产品相继问世。第一个五年计划期间，建材工业发展速度平均达到26.3%，较好地保证了黑龙江地区基本建设的需要。
　　　　1958～1960年的“大跃进”期间，黑龙江省的建材工业经历了一个曲折发展过程。在“鼓足干劲、力争上游、多快好省地建设社会主义”总路线的号召下，全省建材行业掀起大办建材业的热潮。水泥生产除哈尔滨、牡丹江两个大型骨干企业外，全省采用土法和土洋结合法的小水泥厂到1958年年末已达88个，设计能力达到年产40万吨水泥的水平；制砖业在支援其他行业建设和在农村逐步实现“住房砖瓦化”的口号下，据对省内31个市县统计，至1958年，全省建成砖厂507个；生产玻璃钢、灰碴砖、菱苦土门窗等新型建材品种企业相继建成。“大跃进”期间，全省建材企业还广泛动员群众破除迷信、解放思想，大搞技术革新和技术革命，如牡丹江水泥厂改进操作方法，使水泥小时产量由33.9吨，提高到46.48吨。到1958年年末，全省系统内建材企业由1957年的97个增加到249个，增长156.7%，总产值达到9 881万元。1958～1960年，国家和地方投资1 070万元，先后兴建了哈尔滨玻璃纤维厂、哈尔滨玻璃厂、牡丹江市陶瓷厂、哈尔滨市土法平板玻璃厂、晨明石灰厂、牡丹江云母矿、牡丹江石棉矿，这些新厂、矿的建成，部分产品填补了黑龙江省建材产品品种的空白。到1960年年末，全省建材业总产值达3.81亿元，在全省工业总产值中的比重上升到3.3%。“大跃进”式的高速度发展，也给全省建材业带来许多隐患，由于受浮夸风和瞎指挥的影响，做了一些违背客观经济规律的事情。盲目上马新建项目，不顾生产条件重复建设了一大批小水泥企业和制砖企业，全省小水泥企业到1960年年末发展到148个，全省几乎所有的市县都建设了水泥厂，大都是土法上马，且技术不过关，产品很少能够达到质量标准；制砖业产品质量也极不稳定。由此造成极大的浪费。到实施国民经济第二个五年计划末期，黑龙江省建材业占全省工业产值比重下降到1.7%，生产企业由1 000多个减到124个，国民经济第二个五年计划实施期间全省建材工业年平均递减9.5%。
　　　　20世纪60年代初，国民经济出现暂时困难，根据中央“调整、巩固、充实、提高”的八字方针，全国紧缩基本建设战线。在调整期间，全省建材工业进行重大调整，关、停、并、转了一部分企业，精减下放了一批职工，缩小了建材业的生产规模。这期间，建材工业发展的重点是保重点项目的开发和重点企业的生产。1960年8月，国家建材工业部在哈尔滨成立玻璃钢研究所，开始玻璃钢的研制；同年，哈尔滨玻璃纤维厂和平板玻璃厂建成投产；1961年2月，哈尔滨水泥厂研制成功油井水泥，满足了大庆油田建设的需要。
　　　　通过调整，黑龙江省建材工业发展速度得到恢复。1963～1965年，全省建材工业增长速度达到24.9%，在此期间除一部分中小企业恢复生产外，全省建材工业工作的侧重点放到重点企业的新材料、新品种、新工艺的研制和开发上。1963年3月，哈尔滨玻璃纤维厂设计了多排、多孔铂漏板拉丝新工艺，提高了纤维产量；1964年4月，该厂又研制成功石油管道包扎布，用于大庆油田，每年可节约大量棉布，获得国家建材部新产品奖；同年5月，东宁县建筑陶瓷厂采用9吨压力机成型法，用倒焰窑烧制成功陶瓷锦砖；哈尔滨玻璃钢研究所研制成功“系列玻璃端头”获国家计委、经委、科委联合颁发的新产品一等奖。同时，其他一批新成果也相继面世，如保温用粉煤灰泡沫混凝土、压延建筑玻璃、采用离心工艺生产环型普通钢筋混凝土电柱等，填补了黑龙江省建材产品的空白。
　　　　1966年“文化大革命”开始后，建材业同其他行业一样，生产受到干扰。在一段时间内，部分企业停产半停产，企业管理处于混乱状态。在这种情况下，一些企业排除干扰，建材生产也取得一定的发展。其间先后研制成功一批新的建材产品：膨胀珍珠岩填补了黑龙江省新型保温材料的空白；利用煤矸石生产水泥获得成功；鸡西市水泥速凝剂厂生产的红星一型水泥速凝剂达到国际同类产品水平；哈尔滨玻璃钢研究所研制的玻璃钢地面雷达天线罩在空军某基地投入使用；砖瓦企业综合利用工作取得进一步成果，凡有条件的县以上和部分社队砖瓦企业，实现了内燃烧砖，一些砖瓦企业开始余热利用；散装水泥推广工作开始启动；特别是因战备形势的需要，恢复和新建一批中小水泥企业，使全省的水泥生产能力由“文化大革命”前1965年的65万吨，到1975年年末增加到157万吨。
　　　　1978年1月，根据建材工业发展客观形势的需要，成立黑龙江省建材工业局。不久，中共第十一届三中全会召开，全省建材行业认真清理工作中“左”的思想，把工作重心转移到社会主义现代化建设上来。在中共黑龙江省委、省政府的统一组织下，认真总结经验教训，从国情、省情出发确定建材行业要打好速度、水平、志气硬仗的方针，确立狠抓增长速度、提高产品质量、扭亏增盈发展黑龙江建材工业的指导思想，全省建材行业在科学研究、新产品开发、技术革新、质量和效益上稳步发展。
　　　　水泥工业依靠技术改造，在不建新厂的情况下，水泥产量由1978年的212.5万吨，增长到1985年的424万吨，增长近1倍，年平均递增速度达到9.6%；平板玻璃制造业已基本淘汰了落后的小平拉工艺生产线，引上和浮法生产的平板玻璃占1985年总产量的90%；砖瓦生产全部实现机械化生产，并普遍采用粉煤灰、煤矸石做内燃材料，外部焙烧与坯内燃料共燃制砖工艺，空心砖工艺也开始采用；砂石生产在工程砂主产地装备采砂船和挖掘机，变过去的冬季生产为常年生产。石材开发引进先进的开采与加工设备，大理石、花岗石已经开始出口；非金属矿产资源开发由过去单一的石墨开采，发展到石墨、人造金刚石、硅线石、铸石等矿产资源的开采加工；建材机械产品由单一制砖机生产，发展为系列配套制砖机械。可以生产挤出机、双轴搅拌机、切坯机、输送机、破煤机、破碎机等建材机械。
　　　　引进先进技术改变了全省建材工业落后面貌。1980～1985年，全省建材企业分别与美国、南斯拉夫、联邦德国、罗马尼亚、丹麦、法国、奥地利、芬兰、日本、比利时等13个国家洽谈引进生产设备和技术，用以改进技术装备、增加新品种。如花岗石板、水磨石板、矸石空心砖、粘土空心砖、岩棉、白水泥、石墨润滑添加剂等生产、加工设备。
　　　　1979～1985年，全省已有32家建材企业生产的43个品种成为部、省级优质产品。其中部优质产品6种、省优质产品37种。1985年建材系统内优质产品产值达到1.4亿元，占系统内工业产值的40%。 到1985年，全省建材工业企业发展到2 521个。全省县营以上建材企业，完成工业总产值57 670万元，占全省工业总产值比重为1.65%。生产包括建筑材料、非金属矿和无机非金属材料三大类，100多个品种，其中主要品种为59个，不仅有传统的水泥、平板玻璃、砖瓦、砂石、灰等，还开发了新型墙体材料、装饰装修材料，以及为军工、石化、电力、食品工业和尖端科技配套的耐摩擦、耐高温、耐腐蚀、保温、隔热、消音材料。