如前文所述，哈尔滨建市很晚，至今还不到120年，而且前期深受俄罗斯文化影响。汉人大多是闯关东的流民，没啥文化，所以哈尔滨没有中原传统的孔庙和关帝庙。直到民国时期的1926年，哈尔滨才建起了第一座孔庙来弘扬中华文化。然而风水轮流转，自五四运动中喊出打倒孔家店的口号后，孔子已不大吃香。所以哈尔滨的孔庙是哈尔滨新建的第一座，却是全国最后建成的一座孔庙。
建的晚有建的晚的好处，首先，可以采用当时先进的建筑新技术新材料。比如其主殿大成殿的梁柱就用了钢筋混凝土，更见坚固耐久，成为中国保存最完好的一座孔庙。此外，民国是人们观念丕变，不再墨守成规。哈尔滨的文庙大成殿，重檐庑殿黄琉璃瓦顶，面阔十一间，金龙和玺彩画，此建筑格局可与北京故宫的太和殿相媲美。北京和曲阜孔庙的大成殿，均为面阔九开间。要是在民国之前，这都是犯上作乱的大逆之罪。哈尔滨文庙大成殿，在建筑规制上突出了在全国文庙系列中的重要地位。
孔庙有张学良题写碑记，由政府和中外人士募捐筹集资金73万余银元而修建。文庙占地2.5万平方米，建筑面积6千平方米。但是建成后只进行了几次祭孔活动，哈尔滨就被解放了。共产党对祭孔没啥兴趣，所以从1946年起，文庙就成了哈尔滨医学专科学校和医科大学。1953年，苏联援建中国，成立了哈尔滨军事工程学院，文庙就成了哈军工的图书馆和苏联军事顾问团的办公室。1960年，中苏交恶，苏军158人的顾问团全部回国，文庙遂成为黑龙江省省军区的仓库。文庙变仓库，这一行为虽然有辱斯文，却是文庙的天大福音。因为在其后不久发生的文革风暴中，文庙因是军事单位，红卫兵造反派不得冲击，因此保全了文庙。想想当年曲阜孔庙的惨状吧：
1966年11月9日，北师大红卫兵谭厚兰在老毛的授意下，率二百余人来到曲阜破四旧，进入孔庙驻扎。在当地召开“彻底捣毁孔家店大会”，随后进行了大规模有组织的破坏，孔子像、神龛、匾联、供桌等皆被砸烂，部分石碑被推倒折断，造成无可挽回的文物损失，更在中部的大中门前挖开一条通道，将孔庙截为两段。
1985年，文庙成立黑龙江民族博物馆，经三年整修后，与文庙一起对外开放，至今已接待国内外游人三百多万，其中也包括老芦老两口。近些年来，国内的尊孔祭孔热悄然兴起，成为时尚，哈尔滨自然也不例外。老芦逛文庙时就看见大成殿前很多人手持雉鸡翎在操演步法，还有个专职教练在前面指导。曲阜每年都要举行规模浩大的祭孔盛典，数万古装儒生跪拜如仪。在天朝的资助下，国外的孔子学院也如雨后春笋，遍布全球。孔老夫子若是地下有知，一定会拊髯长叹：吾道不孤矣！
孔子行教铜像，身高3.3米，由香港孔教学院院长汤恩佳先生捐赠，价值十万余元（港币）。于1998年5月23日落成，同年9月17日举行了隆重的孔子铜像揭幕仪式。
文庙的大门闩，也叫平安杠，摸一摸会给你带来平安。
文庙庭院之内的园林，也别具特色，古松参天，灌木葱郁，鸟语花香，环境清雅。庭院里的古树树种繁多，据统计，约在五六十种以上。因此，又是哈尔滨一处美丽的园林景观。
演练祭孔的人为啥都是女的呢？不是说“唯女子与小人为难养也”吗？
珍贵的百年油松
棂星门位于泮池与大成门之间。相传孔子及其七十二弟子均为天上的文曲星下凡，棂星门寓意即在于天下英才汇聚之意。棂星门造型与东西牌楼相似，但额枋饰以最高等级的和玺彩画。挺拔的朱柱，金瓦飞檐，配以绚丽的彩画，汉白玉的柱础，整个棂星门气魄非凡。
泮池上的泮桥，就是状元桥，据说学子们在桥上走一遭，摸摸桥栏就能高考奏捷。
何谓泮池呢？所谓泮池即为半月形水池，水之一半则为“泮”，池上架一座单孔拱桥，池边环绕汉白玉栏杆，属清代做法，共有40根望柱及雕刻栏板；泮池上的拱桥也为汉白玉砌筑，只有中了状元的人才能从上面走过，所以也叫状元桥。
就在文庙隔壁的黑龙江省军区大门