1920年9月是哈尔滨(中俄)工业大学正式成立的日子。中俄工业大学的第一个校长是当时著名的大地测量学工程师阿列克谢•阿列克谢耶维奇•谢尔科夫(Alexei Alex-ejevich Serkov)。一开始该学校的教学语言是俄语，学校聘请了许多当时比较有名的工程师和教师来讲课。从1920年10月17日起，中俄工业学校为中国学生开设了一年制的俄语培训班。1922年4月2日，中俄工业学校改为工科大学，学习的时间定为：预科3年，本科5年。谢尔科夫校长不但是一个非常有才华的工程师和教师，而且也是个很好的组织者，他为了学校有比较好的教师基础，做出了许多努力，建设了一支精干的教师队伍，也奠定了一个很好的物质基础，同时，他也保证了该学校得到中东铁路的经济支持。开设学校不久，他设立了两个系：土木建筑系和电气机械系以及一个预备班。后来在他的指导之下，学校制定了一个比较完善的教学计划，使学校成为一个具有先进设备的工科大学。1924年10月1日，谢尔盖•尼古拉耶维奇•乌索夫(Sergey Nikolaevich Usov)任命为该学校的副校长。那一年10月12日首批毕业生只有6个人，1928年1月20日，第二批毕业生有16个人。虽然这两批学生数量很少，但是他们在中东铁路的工作岗位上都表现得非常出色。1930年，中俄工科大学满10周年时，他的毕业生数量已达到193名，教研室已发展到17个，有4名副教授。10年内，工程建筑系培养出了394名毕业生，电机系培养了508人，预备班有123个中国学生学习过俄语。

　　随着俄国国内政治形势的变化，学校的情况也复杂起来了，1927年中国和新成立的苏联达成了关于接管学校管理的协议。2月份，中国管理人员改学校的名字为东三省特别行政区工业大学。1928年底，中东铁路局改组，该学校就由苏联代表和中国地区行政官员共同管理，中苏各派一半的学校工作人员，但是教师当中俄国教师为多数，校长也是一个苏联籍的俄国人。学校的整个经费，1/2由中东铁路承担。1928年到1929年，该学校有815名学生。1931年学校开始招收研究生。研究生读完2年以后，就有资格自费出国留学。第一批中国研究生有3名。1931年该校再开设了一个商业运输系。不过这个系到1935年就被停办了。

　　1932年日本占领东北以后，中东铁路的一部分股份被日本人收购，1935年学校也被日本收买了。日本人把所有的教学改成日语，而且解雇了一部分俄国教师，他们只保留了三个教授做顾问：格里格罗维奇(Gregorovich)教授、勃勃夫(Popov)教授以及别罗波罗德斯基(Beloborodskiy)教授。这几年学校的损失最大。日本控制了几乎所有的哈尔滨学校。从1935年以后，该校不再收俄国学生了，对愿意用俄语听课的俄国侨民，满洲国的日本政府开设了北满大学。因此俄国侨民就在北满大学继续学习。北满大学继承了哈尔滨工业大学的教学制度和传统。这个学校当时是属于基督教青年协会管理的，谢尔科夫当了这个学校的校长。

　　1945年12月当日本投降的时候，哈尔滨工业大学重新恢复了从前的传统和制度，而且俄国侨民也可以在该校上学了。新任命的校长是一个军人：奥热科夫(Ozhegov)。可是他的任期很短。后来又来了一个新的校长，他是当时中长铁路(即原中东铁路)管理局的V.I.谢德赫(Sedyh)，也是个苏联军官，由于他对学校管理经验不多，该校的实际负责人是一名教授Y.O.格里格罗维奇(Greg- orovich)教授。1945年哈尔滨工业大学开设了3个系：(i)工程建筑系；(ii)电机系；(iii)运输经济系，不久增加了一个东方经济系。后来又开了两个系：化学系和矿业系，但这两个系不久之后就安排了到别的城市了。

　　自从1949年哈尔滨工业大学开始由新中国的工业部管理，大学的课程也改用中文讲授。后来该大学扩展并建筑了几座新楼。目前哈尔滨工业大学有59个专业。