早在1万多年前，嫩江两岸的公嫩平原上就已聚居了多民族的古代先人，他们流下了辛勤劳作的汗水，创造出了灿烂的古代文明。我国近代著名维新运动倡导人梁启超之子——中国现代考古学先驱梁思永先生在昂昂溪五福遗址处发掘了一处距今已有五六千年的古墓葬。在考中学中，把梁思永先生发掘的墓葬为代表的新石器文化称为“昂昂溪文化”。昂昂溪文化呈现出明显的渔猎经济特征。昂昂溪文化在中国乃至世界古代史上都占有重要的一席之地，郭沫若、范文澜、吕振羽、尹达等著名史学家对此都有高度评价。

　　齐齐哈尔早期历史的重要转折点是从昂昂溪文化发展到嫩江流域青铜文化。考古发掘出的鲜卑墓葬的遗迹表明，2500年前，齐齐哈尔就已进入了发达的铜器时代。精美的青铜器代表着齐齐哈尔早期文明发展水平；独特的石镞是当地古老民族的象征物。齐齐哈尔早期文明是从原始社会过渡到阶级社会的历史，是当地民族与中原汉族接触频繁、关系更趋密切的历史，更是各民族不断融合共同开发嫩江平原的历史。齐齐哈尔地区是黑龙江肃慎、东胡、秽貊三大古老民族互相影响、重新组合的交汇地。他们同华夏汉族人一样，属于蒙古利亚人种，语言上却属于阿尔泰语系。肃慎族系统大部分生活在黑龙江东部地区，其活动范围已进入齐齐哈尔东部地区；秽貊——夫余族系统主要活动在黑龙江中部地区，其中北夫余族就生活在以齐齐哈尔为中心的嫩江中游两岸，昂昂溪文化就是北夫余族先世的文化遗存；大兴安岭以东的广阔草原，以及嫩江上游和中游，就是东胡族系统的生活地。齐齐哈尔一带的古老民族以及许多边疆民族同汉族一道，共同创造了中国北方的古代文明，并把这一地区的历史向前推进。

　　明低档在东北地区设有辽东都指挥使司和奴儿干都指挥使司，分别治理东北各地的卫所，形成了东北地区独特的都司卫所制度。都司、卫、所是明代军政合一的地方机构。洪武二十年(1387年)明朝设大宁都司，下设泰宁、颜、福余等20余卫，前三卫又称兀良哈三卫，后改为奴儿干都司指挥使司管辖。前三卫中以朵颜卫为最强，早期辖区包括今洮儿河、嫩江中下游地区，以后南迁。齐齐哈尔在明代置于朵颜卫的管辖之下。

　　清初，由于边防军事需要，于嫩江西岩之齐齐哈尔屯，设水师营总管、炎器营参领驻守。康熙三十年(1691年)，因齐齐哈尔地区“绵延而居者相融遥远”，清廷准奏在卜奎站筑城，设城守尉一员。康熙三十八年(1699年)，黑龙江将军衙门自墨尔根城(今嫩江县城)移驻齐齐哈尔城。清末，齐齐哈尔的政府机构开始演变。嘉庆年间设“民官”番子章京(章京系满语“官”的意思)，也称“管街”。番子章京的办事处为番子房。番子章除管理铺户商号外，还管旅店投宿等社会治安事项。同治年间，齐齐哈尔城设“总理查街道处”，管理本城街道事务，后改查街道处为街道厅(又称理名厅)，维持市面治安，稽查匪情，兼理诉讼。20世纪初，黑龙江省城齐齐哈尔进入了由警察机构管理的阶段。光绪二十六年(1900年)，程德全被清廷“钦命办理黑龙江垦务兼理善后事宜，署齐齐哈尔副都统”。1905年，裁撤街道厅而设立巡警总局，此乃齐齐哈尔警政的开始。宣统三年(1911年)，黑龙江省城巡警总局改为省城警务公所，直属民政厅。

　　光绪三十年(1904年)，经黑龙江将军达桂、齐齐哈尔副都统程德全奏准，黑龙江全部开放，省城设立垦务总局，各地设立招垦行局，专司放荒开垦事宜。数年间，齐齐哈尔地区拜泉、克山、讷河、嫩江、甘南的广阔肥沃土地被大部分开垦起来，为齐齐哈尔地区的经济发展创造了良好条件。

　　光绪三十一年(1905年)，清廷设黑水厅于齐齐哈尔，置抚民同知，隶属于黑龙江将军。它的辖区为省城周围的四乡。1908年，黑水厅升为龙江府，设知府，府治仍设在齐齐哈尔。

　　清代及民国年间，齐齐哈尔长期为黑龙江将军衙门驻地和黑龙江省省地所在职。

　　1931年“九一八”事变后，日本帝国主义侵东北，建立伪满州国，将东北划分十四省，设立伪龙江省公署，齐齐哈尔成为伪龙江省的统治中心。1936年，开始设置齐齐哈尔市。1945年抗战胜利后，齐齐哈尔市划归嫩江省所辖。新中国成立后，恢复东北三省，齐齐哈尔市划属黑龙江省管辖。

　　齐齐哈尔之名的由来，是这一地区民族和历史发展的一个缩影。据说，早在公元916年契丹建辽时，齐齐哈尔之地有济沁哨卡，“齐齐”是济沁的谐间，由济沁河而得名；“哈尔”是“哈日”，在古契丹语中有阻挡、防守之意，在军事上作为哨卡、哨所解释。于是，形成了齐齐哈尔的名称。金代的齐齐哈尔被称为“庞葛”，“庞葛”为女真语。清代的齐齐哈尔是达斡尔语“奇奇嘎热”、“习气哈克”、“奇查哈里”或“喜扎嘎日”的谐音，含的边疆、边境、天然牧场之意。17世纪中叶，南迁到嫩江流域的达斡尔人分为两支，其中的一枝在齐齐哈尔中心的嫩江中游两岸的平原地带民住。他们以农业生产为主，称为“齐齐哈尔达斡尔”。他们居住在雅尔塞、莽格吐、卧牛吐、齐齐哈尔、梅里斯、罕伯贷等村屯，并在齐齐哈尔地区建立了中心屯。达斡尔人为永远纪念黑龙江古老家乡，称自己是边疆人或边疆来的人，所以把这个中心村屯称为齐齐哈尔。也有人说，齐齐哈尔是蒙古语“里奇嘎热”或满语“哲陈嘎拉”的音转，其含量义除边疆、边城外，还有天然牧场之说。1691年，清廷准奏在卜奎站建齐齐哈尔城，并授索伦总管玛布岱副都统衔，掌管建城事宜。因城建在江东的卜奎屯，以齐齐哈尔为城名，所以齐齐哈尔城又俗称为“卜奎”。卜奎又称“卜魁”，因清初达斡尔总管名为卜魁，所以在此建屯用他的名字作为屯名。后来，在这里建立的驿站亦称卜奎站，建成以后就又有了卜奎城的称呼，并成为齐齐哈尔的别称。此外，齐齐哈尔还有龙城、龙沙、龙江、黑水之称，取齐齐哈尔为黑龙江首府的含意。现在“鹤城”成为齐齐哈尔崭新的、尽人皆知的又一名称。

　　齐齐哈尔悠久的历史，赐予它深厚的历史文化遗存。在其所管辖的泰来县境内塔子城古城，原为辽代泰州治所。泰州是东北路统军司驻地，是辽代北方区域的政治、军事重镇。塔子城为黑龙江省规模最大的一座辽代古城。金代的庞葛城是今齐齐哈尔境内的梅里斯区雅尔塞乡的哈拉古城遗址。它是金朝北部地区的军事重镇与政治、经济、文化中心，为蒲峪路治所。还有金朝初年为了抵御北方蒙古游牧民族的侵扰，开始在其国境上修筑的界壕边堡。它绵延北疆大地3000余里，可谓古代史上的一个大工程，因仅次于举世闻名的万里长城而被世人称为“第二长城”。位于齐齐哈尔境内的金代长城边堡，属东北路长城边堡的一个组成部分，穿越齐市境内共400余里。沧桑岁月过去了八百载，如今金代长城边堡虽然只剩下断垣残土、碎砖片瓦，但登上边堡，人们依然能感受到它的雄伟。而且，在城墙和戍堡内及周围地区，至今仍不断有文物被发现。在甘南县距边堡古城不到30里的绿化村，曾出土金代官印“拜因阿邻谋克之印”，佐证了边堡修筑于金太祖天辅五年(1115年)。其他地方也出土了大量的石 、铁刀、箭头、铁甲片、陶片，这足以说明这个长城边堡无疑还是当时的古战场。今壕堡内的汉族居民称界壕为“旧边”、“老边”、“边墙”、“边壕”，称“边堡”为“古城”、“土城子”。而莫旗的达斡尔族人则称其为“乌尔科”。抚今追昔，古代作为重要军事防御设施的金代东北路界壕边堡，是中华民族广大劳动人民智慧、才能的结晶，也是一部记载着人类社会滚滚不断向前发展的历史画卷。

　　元代，今齐齐哈尔所辖地区大部分属于成吉思汗的三弟贴木尔•斡赤斤的封地。在泰来塔子城内的西北部，有大面积元代建筑遗迹，这是斡赤斤家族的府邸。其中莲花云纹白玉柱础石，黄绿釉琉璃瓦，龙纹、牡丹纹滴水和瓦当，以及五色石板等都具有元代典型建筑特征。

　　悠久的历史使齐齐哈尔当之无愧地成为黑龙江省的历史文化名城。它至今仍有清代的将军府、督军署、流人文化等丰富的史料和比较完好的遗存，这在黑龙江省也是首屈一指的。