十九世纪末至二十世纪初，随着沙俄侵华势力的深入与中东铁路的兴工，哈尔滨逐渐成为中外人士云集之地，成为东北的重要商埠与南北交通枢纽。这样，交涉与征收关税问题日益繁多。一个相应的行政机构的成立迫在眉睫。光绪二十八年(1920年)吉林将军长顺曾奏请设立哈尔关道衙门，但没有得到清廷比准。二十九年(1903)中东铁路全线通车，哈尔滨的交涉与征税事宜更加增多，关道衙门的设立，再次提到议事日程上来。三十一年(1905年)九月初七日，吉林将军达桂与黑龙江将军程德全再次联合奏请设立哈尔滨关道衙门，关奏请以候补知府杜学瀛试署道员(即道台)之职。十月初四日(10月31日)得到清廷批准。次年，(1906)杜瀛赴任。并于四月十八日启用木质关防(一种官印)。为了建立关道衙署，经过一番勘察，把地址最终选定在四家子(今道外区北十八道街附近)。同年秋仿照吉林分巡道署的结构开始动工，三十三年(1907)六月竣工。

　　哈尔滨关道衙门是在没有外国殖民者干涉的情况下，由我国中央政府自主批准设立的哈尔滨市最早最高的地方行政机构。之所以强调是“在没有外国殖民者干涉的情况下”与“自主”，乃是因为在哈尔滨市关道署设立之前，哈尔滨市也曾出现过由中央政府批准设立的两个行政机构，这就是1899年设立的吉林铁路交涉总局(按当时哈尔滨归吉林将军管辖)及1902年相继设立黑龙江铁路交涉总局。但这两个交涉局实质是在俄人干涉与控制之下的行政机构，因为它的人事权与财权均由俄方控制与操纵。这一点在中俄签订的《吉林铁路交涉总局章程》及《黑龙江铁路交涉总局章程》有明确反映。内中规定二局最高长官总办、会办之委派与调动，中方不得自行处理，必须得到俄方的“勘酌”(即认可)，或由俄方“推荐”，该二局“一切经费”由俄方提供，即每年给吉林局“市平银六万两”，给黑龙江局“江平银四万两”。可见此二局之大权已完全由俄人操纵，根本不是中国政府自立独立的行政机构。这一点连清政府与清朝封疆大吏都有清醒认识。1902年指出，该约“第八条关于用人要政，竟任外人干预，未免有碍之权”。后来黑龙江将军程德全也指出：“铁路交涉各局经费洗自筹，悉仰给于公司(指俄方控制之中东铁路公司)……已属有损国体，而俄人以拨款之故，意视该局为伊办事，而设藉为口实，在局员之自好者，尚不能不委曲周全，设派员不得其人，转不免为彼所用，尤为非计。”由此可见，“有损国体”这种“为彼所用”，“有碍主权”，人事与财政大权均为俄人控制的铁路交涉局，尽管是中央政府批准(实质是被迫批准，因为清政府曾与俄人交涉过，取消俄人在人事上的干预权，但被拒绝)的哈尔滨最早的行政机构，但连清政府与清吏都难接受，何况作为后人的我们。这样，稍后于该局的哈尔滨关道就理所当然地成为哈尔滨最早最高的行政机构。这也就是我们在“哈尔滨关道是哈尔滨市最早最高的行政机构前”加以“没有外国殖民者干涉的情况下”与“耳主”这一限定语作为前提的原因。

　　哈尔滨关道的设立，具有特殊的历史意义。它开辟了哈尔滨历史的新纪元，使哈尔滨从没有设治走向具有真正的设治的历史新阶段。哈尔滨关道署这一历史遗存，见证了哈尔滨市的百年历史。

　　哈尔滨关道署建成后，经过百年历史沧桑，逐渐变为民居，并在一般人的记忆中“消逝”，而为大多数人所不知。