一、唐代至明代时期
　　　　（一）渤海军和黑水军
　　　　渤海属于唐朝的地方政权。渤海国的军事力量以强大著称。它的军事体制，大体上仿唐朝中央政权的“十六卫”的建制而加以简化。“其武员有左右猛贲、熊卫、罴卫、南左右卫、北左右卫、各大将军一”，将军是为高级将领。唐开元十四年（726年），居于黑龙江下游的靺鞨黑水部为抵御渤海国北攻，遣使朝唐，唐封其酋长倪属利稽为黑水部都督府都督，统辖诸部刺史，并建立黑水军。
　　　　（二）辽代宫帐军和部族军
　　　　据《辽史·兵卫志》记载，“有兵一百六十四万二千八百”。辽军分为宫帐军、部族军、京州军及属国兵等。在黑龙江地区既驻扎有部族军，又时常有宫帐军活动。宫帐军为皇室禁军，随“皇帝行在之所”（时称“捺钵”）而调动“三十万骑”。黑龙江地区的混同江、永安山（大兴安岭南麓）一带为辽帝春、夏“捺钵”之所，也是宫帐军季节性的驻防区。
　　　　（三）金代上京都元帅府和上京留守司
　　　　北宋政和四年八月（1114年9月），居于黑、松两江流域的女真人首领阿骨打起兵反辽，大获全胜。北宋政和五年（1115年）建国号金，北宋宣和七年（1125年）灭辽。金袭辽制，建5京、14总管府、19路，国都设上京会宁府（今阿城境内）。北宋宣和七年（1125年）后出兵攻北宋，北宋靖康二年（1127年）北宋灭亡，徽、钦二帝被俘，囚于胡里改路（治所在今依兰县）。金军中实行“猛安”、“谋克”军事制度。“猛安”为千夫长之意，“谋克”为百夫长之意，300人为1“谋克”，10谋克为1“猛安”，平时“以佃渔射猎习为劳事”，战时“壮者皆兵”。金世宗大定二十四年（1184年）时，共有202猛安，1 878谋克，615 624户。在黑龙江地区的猛安谋克户约176 000余户，占全国1／4。其军事指挥机构，在上京设都元帅府，“掌征讨之事”。诸京各设留守司，为军政合一的机构，主官为留守，兼各路兵马都总管。各路设兵马总管府统领军务。
　　　　（四）元代在黑龙江地区的驻军
　　　　南宋端平元年（1234年），蒙古族领袖成吉思汗灭金，建立蒙古汗国。南宋景定元年（1260年）忽必烈于大都（今北京）称帝。南宋咸淳七年（1271年）建立元朝。黑龙江地区属元朝辽阳行省的开元路和水达达路。在军事上，于奴儿干（今苏联境内特林地方）设东征元帅府，统领军务。这个地区的吉列迷、兀者、骨嵬（今库页岛）、水达达等地的乡兵、乣军及在此屯戍的汉军，统受其管辖。元朝军队的兵种比较繁
　　　　杂， 按照民族、地区、任务加以编成。
　　　　（五）明代奴儿干都指挥使司及其卫所
　　　　明洪武元年（1368年），农民起义推翻元朝统治，建立了明朝。在原元东征元帅府故地设“奴儿干都司” 及所辖的“卫”“所”。统辖东北地区各民族的军民两政。奴儿干都司的治所设置在黑龙江入海口的特林（今苏联境内尼古拉耶夫斯克），所管辖的地区，东起苦夷（库页岛），西至鄂嫩河，南抵日本海，北边直至乌第河和外兴安岭。在这片广大地区内建立了384个卫、124个千户所，分布在东至库页岛北达外兴安岭，包括黑龙江、乌苏里江流域在内的广大地区。
　　　　二、清代时期
　　　　（一）宁古塔将军衙门
　　　　清康熙元年（1662年），清廷设“镇守宁古塔等处将军”，其管辖范围：西起贝加尔湖以东的鄂嫩河源头，东至库页岛，北抵外兴安岭山麓（包括乌第河流域），东南达日本海。清康熙十五年（1676 年）宁古塔将军移驻吉林乌拉（今吉林省吉林市），宁古塔城留副都统镇守。清初于宁古塔（今宁安）设“章京”管理军务政务。
　　　　（二）黑龙江将军衙门
　　　　清康熙二十二年（1683年），又设镇守黑龙江地方将军，与宁古塔分治。黑龙江将军衙门初设黑龙江城（瑷珲旧城）后迁黑龙江新城（瑷珲）、墨尔根（今嫩江县），清康熙三十八年（1699年）再移齐齐哈尔。将军为最高军政长官。下设副都统，或为将军副手，或单驻一方为地区主管。黑龙江将军衙门管辖范围，包括黑龙江中上游岸的广大地区，东至毕占河宁古塔界，西至喀尔喀车臣汗界，北至外兴安岭，南至松花江。辖区各副都统衙门有黑龙江城副都统衙门、墨尔根都统衙门、齐齐哈尔城副都统衙门、布特哈城副都统总管衙门、呼伦贝尔副都统衔总管衙门、呼兰城副都统衙门、通肯副都统衙门、兴安城副都统衔总管衙门。
　　　　（三）黑龙江驻防八旗军
　　　　黑龙江驻防八旗军原是清政府一支较为精锐的部队。八旗军兵源来自旗民。据《清史稿》记载，清康熙二十二年（1683年）编制为10 300余人，清康熙三十一年（1692年）兵员增加到19 003人。清同治八年（1869年）“设兵一万零三百余名”。清光绪三年（1877年）额兵为14 846名。驻防旗兵分驻齐齐哈尔、墨尔根、呼伦贝尔、布特哈、呼兰等处。据清光绪十三年（1887年）统计为1.48万人。
　　　　（四）黑龙江驻防新军
　　　　清光绪六年（1880年），在黑龙江设营务处，专责训练新军，为与旧八旗兵区别，特称“八旗练兵”。最初编有1 000人的马队，9 000人的步队。清光绪十二年（1886年）1 500人编为齐字营练军，集驻于齐齐哈尔城；清光绪十六年（1890年）由练军改编镇边军；清光绪二十六年（1900年）沙俄入侵，镇边军败溃，乃改编成制军；清光绪三十年（1904年）编有马步队10营，官兵3 300余名，改编为巡警军；清光绪三十二年（1906年）改名为巡防队。分驻于齐齐哈尔、呼伦贝尔、布特哈、呼兰、墨尔根、黑龙江城、兴安等地。
　　　　（五）黑龙江水师营
　　　　清顺治元年（1644年），清军入关后，清廷为防沙俄侵略，从吉林水师营调拨部分战船移驻黑龙江，归黑龙江将军节制。清康熙二十三年（1684年）定水师营制，在齐齐哈尔、墨尔根、黑龙江城水师营设总管。到清光绪三十一年（1905年）全部裁撤。
　　　　（六）黑龙江边防体制
　　　　清康熙二十二年（1683年）起，清廷为强化黑龙江地区的统治和抵御沙俄的袭扰，着手设立通往边境地区的驿站，并相应建立了卡伦（哨所）和巡边制度，并置交通要冲处设立驿站。
　　　　三、中华民国时期
　　　　（一）黑龙江都督府、护军使府、督军公署、督办公署
　　　　1912年3月，黑龙江巡抚改称都督，军政大权依然由封建军阀、旧官僚把持，人民并没有得到革命胜利果实。1913年10月，都督改称护军使，1916年，再改称督军。1925年1月，改督军为“督办军务善后事宜”，简称“督办”。1929年，张学良宣布东北“易帜”，服从国民政府后，黑龙江省最高军事机构改称东北边防军副司令长官公署，另设黑龙江政府，负责全省政务。
　　　　（二）驻黑龙江地区奉军、中东铁路护路军
　　　　清末黑龙江省驻有一协新军（第一混成协），巡防营20营；1914年统编为暂编陆军第一师，另编有骑兵一旅；1918年后，张作霖的奉军统治东北。奉军“易帜”前后，驻黑龙江地区的部队几经调整，共编20个师，还配有骑兵团，另有炮兵团、卫队团、宪兵队、山林警备队、辎重营等特种部队。1918年，设立中东铁路护路军，总部设在哈尔滨。有3个旅的兵力（驻地跨黑、吉两省），直到东北沦陷。
　　　　（三）海军吉黑防司令公署
　　　　1919年，北洋政府饬令当时海军部，从所属长江第二舰队中将“江亨”“利捷”“利绥”“利川”4艘炮艇调往东北水路。于1919年7月从上海北航，取道黑龙江口庙街，经伯力（哈巴罗夫斯克）入松花江，抵达哈尔滨。
　　　　（四）黑龙江省防军、黑龙江省警备队
　　　　1924年5月，黑龙江督军兼省长吴俊升颁发《省防军大纲》，将各游击队按陆军编为省防军，专任地方剿匪。1927年3月，龙绥两道所属各县地方游击队编为警备队。各县游击队改编为警备队后，设立黑龙江省警备队营务处于省城齐齐哈尔辖制全省警备队，并受督办公署指挥。
　　　　（五）驻黑龙江地区东北军
　　　　1928年，张学良主政东北军，将所有军队改编为国防军和省防军。国防军驻黑龙江有13个部队，省防军驻黑龙江有7个部队。1929年7月用武力强行接收原属中苏共管的中东铁路，于是爆发了中东路战争。结果奉军惨败，损失兵力两个旅1.1万余人，苏军几乎占领了同江、密山、东宁等全部边境城市。双方签订《伯力协定》后，恢复了中东路原状。
　　　　四、东北沦陷时期
　　　　（一）抗日义勇军
　　　　1931年10月，在北京的东北保安司令张学良任原黑河镇守使、旅长马占山为黑龙江省代主席。1932年5月，马占山就任黑龙江省救国军总司令。所部编成7个旅，约7万余人，转战于嫩江、黑河地区抗击日伪军。此后黑龙江省抗日义勇军的活动此起彼伏，留在黑龙江地区的东北军旧部也纷纷举义，抗日烽火遍及全省。在省境内从事抗日活动者不下3万余人。
　　　　（二）东北抗日联军
　　　　1931年“九一八”事变后，中共中央先后派罗登贤、杨靖宇、赵尚志、周保中、李兆麟等到东北组织群众进行抗日斗争。在黑龙江地区创建了珠河、密山、宁安、汤原、饶河、巴彦、海伦等游击队。1933年初，中共满洲省委先后将各地游击队扩编为6个军，并改称“东北人民革命军”。除一、二军活动于辽、吉地区外，其余4个军都转战于黑龙江地区，给日伪军以沉重打击。1935年8月，人民革命军改编为“东北抗日联军”。原编为7个军，逐步扩大为11个军，后又统一编为一、二、三路军。在东北沦陷的14年中，日本在东北常驻的关东军达70余万人。黑龙江地区抗联各路军，在日伪疯狂围剿、环境异常艰苦的情况下，始终坚持战斗），有力地打击了日寇的侵略气焰，牵制和消耗了侵华日军大量的军事和经济力量。1940年冬～1941年春，二、三路军主力先后退入苏境。1941年7月，改编为东北抗日联军教导旅，进行整训，同时派遣小部队返回东北，执行侦察和作战任务。1945年8月，苏联出兵东北对日作战，抗联教导旅组成小分队配合苏军作战，直至东北全境解放。
　　　　（三）伪满洲国军
　　　　为镇压沦陷区人民反抗，屠杀反日爱国军民，日军在东北扶植起来的伪政权，建有“满洲国军”。伪黑龙江省警备司令部设于省城齐齐哈尔，辖一、三、四3个混成旅及骑兵一、二、三、四旅，每旅2 000人左右。另有卫队团、炮兵营及3个独立骑兵大队，总兵员约2.1万人。伪满洲国军在黑龙江地区还驻有“江防舰队”，司令部设在哈尔滨市，配属军舰7艘，炮舰4艘，兵力约700 人。1935年以后，伪满军逐步进行整编。先设5个“军管区”，在黑龙江省区境内的第三军管区司令部设在齐齐哈尔，有兵力1.4万余名；第四军管区司令部设在哈尔滨，有兵力1.8万余名。1944年后分设11个军管区，在黑龙江省区境内的除原三、四军管区外，新设有六（牡丹江）、七（佳木斯）、八（北安）、十一（密山）4个军管区。此外，尚驻有3个铁路警护旅、7个宪兵团。
　　　　（四）日本关东军
　　　　在东北沦陷的14年中，日本在东北常驻的关东军达70余万人。1942年，对抗日联军进行了疯狂的围剿，投入“讨伐”的兵力超过20万人。
　　　　五、解放战争时期
　　　　（一）东北人民自治军、东北民主联军总部
　　　　1945年抗日战争胜利后，中共中央迅速抽调关内各解放区部队10余万人、干部2万余名进入东北。 1945年10月31日，中央正式决定成立东北人民自治军。1946年1月4日，东北人民自治军改称东北民主联军，总部初设在沈阳，后移至通化、长春，同年5月22日移到哈尔滨。同年6月，任命林彪为司令员兼政治委员，副司令吕正操、周保中，副司令兼参谋长肖劲光，副政治委员彭真、罗荣桓、高岗、陈云，参谋长伍修权，政治部主任谭政，政治部副主任周桓，后勤部长叶季壮，后勤部政治委员杨至诚。总部下辖东满、南满、西满、北满4个军区和东北军政大学、航空学校、炮兵学校和工兵学校及直属部队，共计31.9万人。
　　　　（二）驻黑龙江地区各军区
　　　　1946年1月，东北人民自治军改称东北民主联军后，将东北划为东南西北4个二级军区，黑龙江地区属北满军区（3月改称吉黑军区），辖松江、嫩江、合江、龙江、牡丹江5个省军区。各军区都建立了独立旅、团等地方武装。同年5 至6月间，吉黑军区（原北满军区）撤销，机构合于总部。牡丹江、合江、松江军区直属总部，嫩江、龙江军区划归西满军区。1947年5月西满军区撤销，嫩江、龙江军区亦直属总部。
　　　　（三）驻黑龙江地区炮兵部队
　　　　1946年11月中旬，根据东北民主联军总部决定，东北民主联军炮兵司令部在哈尔滨正式成立，朱瑞任司令员，邱创成任政治委员兼炮校政委，贾陶任副司令员兼炮校校长，匡裕民任副司令员兼参谋长。同时成立了炮兵政治部、后勤部。
　　　　组建了牡丹江军区炮兵团，组成了松江军区炮兵团，组建了合江军区炮兵团；1947年6月12 日，在牡丹江以炮校警卫营为基础，组建了炮兵第三团。
　　　　（四）驻黑龙江地区院校
　　　　1945年8月抗日战争胜利后，党中央派出曾在苏联学过航空技术的常乾坤、王弼率领30 余名航空技术干部，由延安到东北进行筹建东北民主联军航空学校。1946年3月1日，人民解放军第一所航空学校——东北民主联军航空学校正式成立（代号“三一部队”）。全校总人数为1 360人。同年10月航校迁至东安（今密山）。1948年1月，东北民主联军改称东北人民解放军，航校改称东北人民解放军航空学校。全校总人数增至1 979人。东北全境解放后，全校实有人数增至3 568人。1949年3月，校部迁至长春。
　　　　1945年8月，延安外国语学校迁移到哈尔滨建校，归东北民主联军总部领导。民主联军总部参谋长刘亚楼兼任校长。1948年底，东北全境解放，学校改由东北人民政府领导，并改名为哈尔滨外国语专科学校。
　　　　1945年10月，中国医科大学从延安开赴东北。1946年7月，学校经哈尔滨到达佳木斯以北的兴山（今鹤岗市）。解放战争时期，中国医科大学从兴山毕业19期学员，培养了1 731名医务卫生干部。1948年10月，迁至长春为军医大学。
　　　　1946年6月，东北军政大学（简称抗大）进驻北安东大营。1947年12月，东北军政大学移驻黑龙江省齐齐哈尔，校长兼政委林彪、副校长倪志亮，副政委吴溉之，副教育长曾国华（不久为教育长），政治部主任刘其人。辖5个教导团，辽东、吉林、合江3个分校，1个松江干校。
　　　　1949年10月，中华人民共和国成立后，改成中国人民解放军齐齐哈尔步兵学校。
　　　　六、中华人民共和国成立后
　　　　（一）驻黑龙江地区军区
　　　　1948年1月起，东北民主联军改称东北人民解放军。同年9月，东北人民解放军改称东北野战军。随后东北野战军司令部离开哈尔滨随作战部队向南移动。同年11月，野战军入关作战，驻黑龙江野战军大部开往前线，地方部队及部分驻军分属松江、龙江、嫩江、合江4个省军区，由东北军区领导。
　　　　1949年1月，分别组成松江军事部、龙江军事部、合江军事部、嫩江军事部。1949年4月，随着行政区划的改变，原龙江与嫩江军事部合并，改称为黑龙江军事部，驻齐齐哈尔；原松江与合江军事部合并，改称松江军事部，驻哈尔滨市。1953年1月5日奉东北军区命令：松江、龙江军事部改为军区。1954年5月1日，松江、黑龙江省公安总队合并于松江、黑龙江军区，原公安总队所属部队归军区领导，军区番号改称为“中国人民解放军松江军区兼公安司令部”“中国人民解放军黑龙江军区兼公安司令部”。同年6月，遵照军委与东北军区的指示，松江、龙江军区兼公安司令部合并，改称黑龙江省军区，驻哈尔滨市。 省军区所属部队有：各地区、市军分区（军事部、兵役局、人武部）、各县人民武装部（兵役局）；省内公安、边防、守备总队、省内驻军、野战医院；部分初级院校及省军区代管的部分后勤机构及其他临时代管单位。
　　　　（二）各军兵种驻黑龙江省的部队、院校
　　　　黑龙江省军区是黑龙江地区常设军事机构。还有各军兵种驻黑龙江省的部队：中国人民解放军81032部队于1958年3月奉命到黑龙江地区驻防；黑龙江生产建设兵团根据中发【1968】98号文件，由东北农垦局所属农场与黑龙江省部分省属农场、黑河农建一师、合江农建二师合编为中国人民解放军沈阳军区黑龙江生产建设兵团。
　　　　这一时期驻黑龙江省军事院校有：1952年9月，成立了哈尔滨军事工程学院，后于1966年4月，集体置制退出军队序列，改名为哈尔滨工程学院；1951年10月，成立了东北军区军医学校， 1966年10月，改为“中国人民解放军军医学院”，1969年8月，南迁长沙； 1951年，成立了中国人民解放军第二十七步兵学校，后又改名为“中国人民解放军第七步兵学校”，校址设在齐齐哈尔市，1955年6月，根据军委指示，全国各步校均以驻地命名，该校改为“中国人民解放军齐齐哈尔步兵学校”，1959年4月，迁移到锦州，改为“中国人民解放军锦州步兵学校”； 1949年7月，成立了空军第一航空学校；1950年1月，成立了中国人民解放军空军第七航空学校，校址在牡丹江市， 1968年7月，学校校部移驻长春原二航校驻地，学校留驻黑龙江省的还有驻双城的二团和驻王岗的五团；1968年4月，成立的空军第十航空学校，校部在黑龙江省齐齐哈尔市三家子机场，1969年，进驻云南。
　　　　1951年6月，根据中央军委决定，黑龙江省、松江省公安部队正式隶属东北军区公安司令部领导。1954年4月，奉东北军区命令，两省部队分属黑龙江、松江军区兼公安司令部指挥，同年8 月，两军区合并为黑龙江军区，所属公安部队归黑龙江军区统一指挥。1966年6月，改编为中国人民解放军黑龙江省军区独立第二师。
　　　　1981年8月，奉军委命令在大庆组建基建工程兵八十二支队。此外，还有87069部队、87102 部队、57345部队、505部队、86001部队、沈阳军区后勤部40分部及各军兵种所属的仓库、农场、医院、空军航空兵师、雷达团等驻防黑龙江省。