哈尔滨人第一次看到足球，是在19世纪末。1898年，中东铁路开始修建后，大批俄国员工进入哈尔滨地区，工余时，有许多足球爱好者经常进行练习和比赛。 
    为开展足球运动，1917年时，道里某中学便修建了球场。哈尔滨工业大学也于1927年由白俄学生和中国学生混合组成了一支足球队，队内有个朝鲜族球员曹三宝球技术过人，是核心人物；工大足球队经常同由白俄铁路职工组成的“火车头队”比赛，“火车头队”里有个防守出色的白俄守门员尤拉，不时扑向曹三宝的射门，所以双方比赛常以和局告终。当年11月，哈尔滨举行了大中学校冬季球术比赛大会，参加足球赛的有哈工大、政法大学、东省特区一中、二中等队。此间，著名的外侨队有中东铁路局的俄侨队、秋林洋行队和朝侨队。
　　在此推动下，足球运动逐步由学校扩展到社会。1928年5月，由东省特别区第一体育场（即后来的道里红星体育场）出面，集中哈尔滨各校擅长球类的教师，组建了“滨华”足球队，这是黑龙江地区的第一支足球队。体育场主任张再田为队长，青年会干事屠哲州为干事，队员有张灵根、关桂禺、徐鹏飞、李梦胡、王岐山、姜月西、王元良、马良田、张跃跚、翟凤山、王立疆、施爱棠、王彦儒、胡明林、鞠子衡、傅中国、齐玉林、李玉堂等人。该队既为足球队，亦为篮球队，着上白下黑队服，训练场地固定在东省特别区第二体育场（原秦家岗赛马场的一部分，在今哈尔滨电机厂一带）。该队建立后，经常与在哈的外籍球队进行比赛。
　　自“滨华队”组建后，哈尔滨足球运动日渐活跃，除哈工大、医专、法大、一中、二中、扶轮中学等一些大、中学校队外，一些球艺高超者也自发组建了足球队。早年为沈阳南满医大校队的名将李梦湖（滨华队主力队员）与哈尔滨名将丁福库、李燕等人组成“铎队”。“铎队”与当时在哈埠称雄一时的由俄侨、日侨组成的“日新队”、“火车头队”、“鹰队”、“打击队”、“懒汉屯队”等经常进行比赛，在多次抗衡中胜多负少。1932年春，“铎队”迎战来访的日本早稻田大学队，以2：2踢成平局。哈工大足球队还曾两次代表哈尔滨市参加伪满洲国的“全满运动会”及东北各省、市足球对抗赛。
　　1947年，哈尔滨苏联侨民会先后组织了红星队、银鹰队、火车头队。这几支足球队经常在南岗喇嘛台体育场（即后来的南岗体育场）进行比赛。1949年5月，红星队应沈阳市的邀请，赴沈阳进行访问比赛，红星队以6：1胜沈阳队。当年7月，沈阳市重新组建成联队，在副市长焦若愚率领下回访哈尔滨，与红星队进行两场友谊比赛，红星队不敌客队凶猛的进攻，以0：2和0：3败北。
　　1951年9月，哈尔滨市组建起第一支市足球代表队，在领队王立疆的率领下，赴牡丹江市参加松江省足球比赛，获亚军。以后连续3年参加全省足球比赛，有两次获第二名。当年10月，哈尔滨市举办第一届大中学生“卫国杯”足球赛。此次比赛设大专、中学两个组。大专组参赛队有哈医大、哈师院、铁路学院、松专、农学院等6个队；中学组参赛的有朝中、二中、三中、铁路中学、工农中、高职、五中、八中、简师、六中、一中等11个队，获大专、中学组冠军的分别是哈医大队和一中队。1952年10月举行第二届“卫国怀”足球赛。除设有大专、中学两个组外，又增设社会组。1953年，哈尔滨市第一次举行全市足球锦标赛和第三届“卫国怀”足球赛。
　　1954年4月，哈尔滨市在火车头体育场首次举行全市职工足球比赛，有12个队、150名运动员参赛，120厂（今东安厂）队、122厂（今伟建厂）队分获冠、亚军。
　　哈尔滨市在历届朝鲜族运动会上都设有足球比赛。1963年9月，哈尔滨市民族宗教事务局、市体委召开第十三届朝鲜族运动会，共有600多人参加球类比赛。足球比赛分农村、城市和城市少年3个组，城市和城市少年组均以区为参赛单位。
　　1963年10月，哈尔滨市高等学校体育教研会举办全市高等学校“三好杯”足球赛，有10个队参加，分两个赛区，东北林学院队获冠军。从1964年7月召开的哈尔滨市第八届运动会起，每届运动会均设有足球比赛。
　　1966年“文化大革命”开始后，省内足球比赛中断。1972年后逐渐恢复。1978年，哈尔滨市职工足球队比赛分甲、乙级队两组进行。获甲级队前两名的是伟建厂队和亚麻厂队；获乙级队前两名的是林业机械厂队和汽轮机厂队。甲级队前五名、乙级队前三名为下一年度甲级队，其他队为乙级队。