清光绪二十三年至中华民国二十年（1897～1931年），沙俄在中国东北修建了中东铁路（俄文名为КнтайкаяВостоная Желвзная Днрогa，简.B.Ж.Д）［中东铁路俄文名称始终未变，而中文称谓随历史时期不同和翻译的差异有所变化。在条约中有称“中国东方铁路”“中国东省铁路”，在三岔口铁路开工典礼的徽章上称作是“大清东省铁路”，简称“东省铁路”“东清铁路”。清宣统三年（1911年）后改称“中东铁路”。］黑龙江地区中国自建的铁路也相继兴起。沙俄为扩张在中国东北的侵略势力，从19世纪80年代开始，即酝酿把拟建连接莫斯科和海参崴的西伯利亚铁路东段穿过中国东北。清光绪廿年至廿一年（1894～1895年），沙皇政府即着手制定有关计划。清光绪廿二年四月（1896年6月），沙俄诱逼清政府签订《中俄密约》。以后又陆续签订《中俄合办东省铁路公司合同》《中俄会订旅顺大连湾租地条约》（简称《旅大租地条约》）。清光绪二十三年八月初一（1897年8月28日）于东宁县境内的三岔口举行了中东铁路开工典礼。后因变更线路走向，铁路改在绥芬河出境。清光绪二十四年四月（1898年6月），中东铁路全线正式动工。清光绪二十九年闰五月廿日（1903年7月14日），中东铁路总工程师阿·依·尤戈维奇宣布全线竣工正式通车，是为黑龙江地区铁路运输之始。对于这条铁路的建成，沙俄的财政大臣斯·尤·维特直言不讳地说：“它使俄国能在任何时间内在最短的路程上把自己的军事力量运到海参崴，集中于满洲、黄海海岸及离中国首都的近距离处。相当数目的俄国军队在上述据点的出现，大大增强俄国在中国、并在远东的威信和影响（《红档杂志有关中国交涉史料选择》第169页）。”由于清政府对外屈辱退让，致使沙俄的蓄谋得逞。中东铁路干线西起满洲里，东至绥芬河，南支线北自哈尔滨，南抵大连湾，全长2 489.2公里。沙俄投资近3亿卢布（其中70%攫取自清政府的两次赔款，还有中国投入华俄道胜银行的股银500万两）。招募筑路工人由开始时的1万人，3年后迅速增加到20万人。铁路建成后有职工约3万人（1922年中国铁路只有12.5万人）。与列强在中国修筑的各条铁路相比，其规模最大。沙俄企图利用中东铁路控制东北、攫取资源。但清光绪三十一年（1905年）日俄战争后，南支线即被肢解，宽城子（今长春）以南割与日本。中东铁路只以干线为主进行运营。1917年俄国十月革命后中东铁路又被白俄分子控制达7年之久。直到1924年中苏（苏联）签约，双方委派官员共管为止。
　　　　中东铁路的建筑和营运，给东三省人民带来深重的苦难，也对东三省的政治、经济、文化产生了深远而复杂的影响。沙俄在铁路沿线共侵占中国官、民土地达20.0894万垧（清末为小垧，1垧为10市亩，约合0.667公顷），造成大批农民倾家荡产。而其中真正用于筑路所必需的土地只有29%。他们野蛮地砍伐沿线两侧和松花江两岸的森林，除作枕木和建筑用材外，运往俄国或高价出售。沙俄的肆虐欺诈，引起民情激愤，群起反抗。清光绪三十六年（1900年）义和团对沙俄侵略者发动围攻。他们提出“练会义和拳，打跑洋毛子”等战斗口号，在广大筑路工人的配合下，扒铁路、拆桥梁、砍电线、毁教堂。中东铁路建成后，铁路工人的罢工时起时伏。仅全线大罢工就有3次。先后驱逐了白俄中东铁路管理局长德·勒·霍尔瓦特和波·佛·沃斯特罗乌莫夫。
　　　　1925年10月，中共北方区执行委员会派吴丽石到哈尔滨，在中东铁路哈尔滨总工厂和地包（机务段）等处组织“东铁青年协进会”，作为共产党的外围组织。翌年建立中东铁路工人最早的党支部和中共哈尔滨特别支部，吴丽石任书记。1926年，在中共北满地区委员会领导下，中东铁路沿线站区陆续建立中共绥芬河、穆棱、磨刀石、双城、安达、横道河子、牡丹江等支部。共有党员50余人，占当时全北满党员人数的50%左右。1929年刘少奇任中共满洲省委书记期间，曾深入中东铁路哈尔滨总工厂活动。1930年3月刘少奇给中共中央写了《关于中东铁路工人斗争总报告》。中东铁路成为中国共产党领导黑龙江地区工人运动的重要基地。
　　　　中东铁路通车之后，黑龙江地区地方当局，为“便商民运输之利，且杜外人干预之谋”，于清宣统元年八月（1909年9月）建成齐昂（齐齐哈尔至昂昂溪）轻便铁路，全长29公里。中华民国建立后，穆棱煤矿公司于1925年建成穆棱铁路，全长59.4公里。鹤岗煤矿公司于1926年修建了鹤岗铁路，全长55.8公里。1927～1930年，黑龙江地区地方当局又陆续建成：洮昂（洮南〈今洮安镇〉至昂昂溪）铁路，全长250.6公里；呼海（呼兰至海伦）铁路，全长215.2公里；齐克（齐齐哈尔至克山）铁路，全长142.8公里。上述6条铁路共计752.8公里，为清末民初在黑龙江地区中国自建的民族铁路。截至1931年“九一八”事变，黑龙江地区境内的铁路有：中东铁路999公里，中国民族铁路752.8公里，合计1 751.8公里。
　　　　“九一八”事变后日本侵占黑龙江地区，同时派遣大批满铁人员控制黑龙江地区各铁路（除中东铁路外）。1932年，伪满洲国成立。南满洲铁道株式会社（以下简称满铁）控制的铁路名义上改归伪满交通部管辖，但在1933年2月又同满铁订立委托经营契约，将东北铁路的管理与建设权交给满铁。这些“托管”的线路称之为“国线”（又称“国铁”），由同年3月满铁在奉天（今沈阳）成立的“铁路总局”统辖管理。中东铁路在日本势力的全面包围之中，货源枯竭。苏联此时无力与日本竞争，经过几年的洽商，于1935年单方面将中东铁路卖给日伪。从此结束了中东铁路33年的历史。日伪买下了中东铁路以后，即将宽轨改成准轨（宽轨轨距为1.524毫米，准轨轨距为1.445毫米）。翌年10月，满铁把它总部的“铁道部”“铁路总局”和“铁道建设局”合建成“铁道总局”，从而实现日本对东北铁路殖民主义的“一元化”统治。铁道总局下设7个铁道局有3个在黑龙江地区；8个铁道工场，有4个在黑龙江地区；4个铁道建设事务所，有2个在黑龙江地区。1941年年底太平洋战争爆发，东北成为日本的重要军事补给基地，对东北铁路实行“战时体制”，完全置于军事管理的“强力统治”之下。
　　　　满铁一方面对原有铁路进行殖民主义的经营，一方面大力修建新铁路。日本为了实现霸占东北、吞并中国的侵略野心，在“东方会议”上就确立了“开发满蒙铁路计划”，企图在20年内建筑35条总长达8 800公里的“满蒙铁路网”。日本侵占东北期间，建成通车的铁路共有5 700公里，日本投降时尚在施工的有1 000公里。在黑龙江地区建成的新线有2 914公里。 日本控制铁路，除了军事运输，就是掠夺东北丰富的农林矿产资源。在伪满的出口贸易总值中，1937年输往日本的占49.9%，1940年增加到95.98%（含日本占领关内地区的出口贸易）。从东北输出到日本的主要是大豆、豆饼和其他农产品，还有煤、铁矿石和生铁，以及食盐和木材。哈尔滨、齐齐哈尔、牡丹江3个铁道局的总货运量，从1937年的1 518.5万吨，增至1943年的3 968.4万吨；客运量从1937年的1 303.4万人，增至1943年的5 475.1万人。日本占领者利用铁路加紧侵略，激起了中国人民的强烈反抗。哈尔滨铁路总工厂等处工人则经常采取怠工、罢工、破坏生产等方式进行反抗。在多次抗日战斗中，铁路工人起了重要的配合作用。
　　　　1945年8月15日日本侵略者投降后，黑龙江地区铁路也随之进入一个新的历史时期。在苏联红军进入中国东北的同时，中共领导的10余万抗日部队迅速在东北广大地区展开工作，首要的目标之一是接管铁路。但是，日本投降前夕，中华民国政府与苏联政府签订条约，规定中国长春铁路（以下简称中长铁路，即最初中东铁路所建线路）为中苏共有共营的商业铁路。日本投降后两国政府着手接管经营，成立了中国国民党政府与苏联政府共管的中国长春铁路管理局，国民党势力插入黑龙江地区铁路。根据当时的国际国内形势，1945年9月28日中共中央军委在给中共东北局的指示中明确指出：“我党现时在东北的任务，是建立根据地，是在东满、北满、西满建立巩固的军事、政治的根据地。”人民铁路的接管大体是按上述区域分别进行的。1946年1月，于郑家屯成立西满铁路管理局，后迁齐齐哈尔。同月于梅河口建立东满铁路管理局。是年5月于哈尔滨成立北满铁路管理局。这个时期，尽管东北时局变化起伏，但以哈尔滨为中心的4 000多公里铁路始终为人民政权所掌握。3个铁路管理局，除管理各自的线路外，还协助中长铁路维持通车。为加强统一指挥，1946年7月25日，根据中共东北局决定，成立东北铁路总局，统辖东北解放区各铁路，并向中长铁路派出军事代表。直至1950年5月1日，新的中长铁路管理局成立，同时东北铁路总局撤销。
　　　　日本侵略者投降时，东北铁路已遭严重破坏，进入东北的苏联红军又把部分通往苏联边境的铁路拆除。在现哈局管界内共计被苏联红军拆除的铁路线达824.5公里。一些机车、车辆、通信信号和给水、上煤设备也都被拆走或毁坏。为了支援解放战争，铁路员工提出“解放军打到哪里，铁路就修到哪里”的口号，开展立功运动，积极修复铁路设备，广泛搜集和献纳器材，努力完成运输任务。1947年5月～1949年2月，哈局有3 807人立功，占职工总数的11.3%，齐局有1 517人立功，占职工总数的7.1%。到1948年年底，哈、齐、牡3个铁路管理局和哈尔滨、牡丹江2个铁路工厂共修复机车213台。“毛泽东号”和“朱德号”就是其中修复最早的机车。1949年5～9月，齐局组织1 200名职工在被拆除的北黑线沿线搜集机车25台、客货车431辆、起重机16台、起道机431台，钢轨39 124根，以及其他各种铁路器材2 200车，大部分运往关内修复线路。毛泽东主席肯定了东北铁路工人在解放战争中的贡献，1949年4月在西柏坡接见3005次英雄列车司机长范永时说：“向铁路工人致敬！”
　　　　中华人民共和国建立后，经中苏两国政府商定，于1950年5月1日在哈尔滨成立新的中苏共管的中国长春铁路管理局，管辖原中长铁路线路。1952年12月31日，该铁路全部无偿移交中国。新中长铁路成立虽然只有2年8个月，但它的经验对中华人民共和国的铁路事业有着广泛而深远的影响。中长铁路把苏联铁路管理的经验运用于中国实际，创造出一套当时中国铁路的管理经验和先进工作（生产）方法。郑锡坤的超轴牵引、王吉奎的机车平均日行500公里以上、杨茂林的装车法、李锡奎的调车法、孙士贵的焚火法，都是在这一时期出现的。群众的学习创造和领导的总结推广，逐渐形成全路推广的“满载、超轴、五百公里运动”和“铁牛运动”。为巩固中长铁路的成果，推广“中长经验”，1953年1月1日成立的哈尔滨铁路管理局，除保持中长铁路管理局的管辖范围外，还划入了安东（今辽宁省丹东市）铁路分局，并为全国铁路培训和输送了大批干部。
　　　　为适应国民经济发展，从1956年1月1日起，将哈尔滨铁路局划分为哈尔滨和沈阳两个铁路管理局。此时哈尔滨铁路局的管辖范围较原来缩小一半，基本上以黑龙江省境内铁路为主。1958年“大跃进”开始以后，全民大炼钢铁，人民公社化运动兴起，铁路运量也随之剧增。由于“大跃进”中高指标严重脱离实际，铁路废除了必要的规章制度，新职人员大量增加，致使从1960年冬起，哈局运输出现严重困难。1961年初贯彻中央对铁路工作的指示，经过近1年的努力，全省铁路逐步改变了运输生产的混乱被动状况。1963年开始回升，到1965年恢复到1957年水平。
　　　　1966～1976年“文化大革命”，使经过调整稳步发展的全省铁路运输再次遭到了严重破坏。10年间，黑龙江省铁路运输生产三起三落：1966年上半年铁路运输在1965年的基础上呈上升趋势，下半年则开始逆转。上海“一月风暴”扩展到黑龙江省，“红卫兵”开始无票乘车大串连，企业生产停顿，运输生产无法完成任务，出现第一次下降。1969～1973年的“斗（争）、批（判）、改（革）”阶段，运输生产略有好转，1971年林彪反革命集团覆没后运输生产不断上升。但1974年开始“批林（彪）批孔（子）”后，全省铁路运输生产第二次下降。1975年邓小平主持中央日常工作，开始整顿各条战线。同年3月5日中共中央发出《关于铁路工作的决定》后，铁路运输生产较大幅度上升。同年底受江青反革命集团掀起的“反击右倾翻案风”的破坏，运输秩序再次混乱，运输生产出现第三次下降。1966～1976年“文化大革命”期间，省内新线建设有所成就，但整个运输生产遭到严重破坏。
　　　　1976年，粉碎江青反革命集团后，全省铁路开始走向改革之路。经过两年的整顿，扭转了混乱被动局面，恢复了正常运输秩序。从1978年中共第十一届三中全会后，到1985年，全省铁路在改革的道路上走出了两大步。1979～1981年，贯彻以调整为中心的“调整、改革、整顿、提高”的方针，对铁路运输进行挖潜、革新、改造，不仅利用现有设备全面完成运输生产任务，而且通过全面质量管理，为铁路的现代化建设打下基础。1982～1985年，全省铁路进行全面整顿，实施以经济责任制为中心的各项改革，使铁路进入新的发展阶段，实现由单纯的生产型向生产经营服务型转变。
　　　　至1985年，全省国有铁路营业里程［营业里程，又称营业公里或营业长度，是为铁路管辖范围内线路两端分界站（处）中心点间正线的实际长度。复线或多线时，按最短的一条计量］共有4 874.8公里，占全国铁路的9.55%。路网密度为每百平方公里1.08公里，超过全国平均密度的一倍。全省国有铁路延展里程［铁路线路延展里程，又称延展长度或延展公里，是指正线（含复线）、站线、岔线、段管线及特别用途线长度的总和］有6 095.5公里。黑龙江省境内铁路为哈尔滨铁路局管辖。至1985年，哈局为全国5个较大铁路局之一。全局职工已达249 613人，占全国铁路（以下简称全路）职工的8%。
　　　　至1985年，中华人民共和国成立37年来，哈尔滨铁路局共发送货物25.2亿吨，占全路的11.2%；到达货物19.3亿吨。发送旅客21.6亿人，占全路的10.3%；运输旅客22.9亿人。黑龙江省加上内蒙古自治区呼伦贝尔盟，每亿元工农业生产总值产生的铁路货运量，37年平均为36万吨。哈尔滨铁路局铁路运输对黑龙江省以至邻近的内蒙古自治区和吉林省的经济发展、城乡交流、巩固国防、国际贸易诸方面都发挥着重要作用。