乾隆二十六年（1761年）山阳县训导撤回，改为清河县学宫，清河教谕进驻，设教谕一人，训导一人，廪膳生员20名，增广生员20名，附学生员23名。至此，清河县正式有了自己的学堂，虽为学宫，但周边多有流民棚户杂居其中，并未形成一定的规模气候。

道光三年（1823年），河道总督黎世序见文庙亟待大修，决定扩建学宫并移向正南重建。“淮扬道沈丙章、淮海道林则徐先后监司此土，筹计官币，闻诸大吏，于是即故地而廓之，拓地若干亩，为屋若干楹，宫殿堂庑、门坊楼阁若干”、“楹盾坚致，易陋为壮，增卑而崇，焕若神明，一新视听”（《光绪丙子清河县志》）。三年后，重建工程完工，“始于道光元年冬十月，告成于四年秋九月，凡用金钱四万三千 ，半出于官，半出于民”（《光绪丙子清河县志》）。

据说当时，还曾在学宫内修了个宝塔，这引起许多人士的异议，有人认为宝塔乃佛家象征，于儒家学宫不相融洽，经学大师潘德舆（山阳县车桥镇人）专门撰文，认为宝塔可修，宝塔在佛家有佛家意义，在儒家也有自身意义，两者是两回事，且儒释本就有相通之处，为何不可能。潘德舆的文章一出，立刻就平息了争论。可惜，后来宝塔还是倒了。道光二十四年，山阳县修龙光阁，缺少一宝顶，人们想到了这倒塌的宝塔顶，于是将此宝塔铜顶便安在了龙光阁上了。

清咸丰十年（1860年）二月，捻军攻破清江浦，焚毁了大成殿等周边诸多建筑。

同治四年（1865年），漕运总督吴棠重建大成殿，明伦堂、崇圣殿等。提到吴棠，其祠就在文庙以东不远处。当年清江城就是时任县令的吴棠拆高家堰的条石建造的，后因石料紧张，就在此圈围，形成文庙在城外，关帝武庙在城内的格局。此乃兵家之大忌，儒家所不容。南京制台和其他州县连连上告。由于吴棠对慈禧有赠赙银之恩，吴棠不但没有被弹劾，官位反而一升再升，后提升为四川总督，且驻节在清江浦。因此，清江城被保留下来。清江城这种文在外武在内格局在中国封建城垣建筑史上堪称空前绝后了。从清同治四年建城到解放后城墙被拆除，清江城前后存在八十余年。

清末，废科举兴学校，在此改办孔庙小学，每年四月二十一日还在文庙祀乡贤吴稼轩先生。民国时，从文庙附近到花街处，区划为孔庙镇。此后，文庙或为军营、库房。

2001年，文庙大修，使得有着近500年的古老建筑又焕发了青春。修建后的大成殿，迎门正中处画有一幅孔子巨幅画像，画像摹本于唐代画家吴道子的“先师孔子行教图。”画中孔子慈眉善目，鹤发银须。画像上方是清朝康熙皇帝题写的“万世师表”匾额。画像两边高挂一幅名联：“齐家治国平天下，信斯言也，布在方策；率性修道致中和，得其门者，辟之宫墙。”再两侧，为“四配”画像，四配即复圣颜回，述圣孔汲，宗圣曾参，亚圣孟轲。孔子像及“四配”画像下方各有祭案，上置香炉、烛台、祭器、两侧陈列有玉磬、编钟等祭祀礼器，颇为壮观。大殿内东西两侧排列的则是闵损、冉雍、端木赐、仲由、卜商、有若、冉耕、宰予、冉求、言堰、颛孙师、朱熹“十二哲”站像，他们都是继承并发展儒家学说有所成就的学者，都是提倡“仁、义、礼、智、信”，“恭、宽、信、敏、慧” ,“温、良、恭、俭、让”等这些儒家思想与品德的大儒。“十二哲”站像上方东西各有一幅仿汉画像风格的孔子周游列国壁画图。壁画取材于孔子师生一行周游途中的《灵云郊迎》、《匡人解图》、《子见南子》、《宋人伐木》等八个故事。大殿的后墙两边，书写了从《论语》中精选的三十多条耳熟能详的孔子名言、名句。

清江文庙进门处设有华表一对，柱身表以汉画像，述孔子周游六国的故事。向里为一般文庙的第一进门——棂星门，这里所谓的门是一座六柱五门的石质牌坊。入棂星门,才算正式踏进文庙。所谓棂星据说是天上有个天镇星，即棂星。古代人认为棂星是天上主管文教的“神星”，“主得士之庆”。因此文庙的第一座门以此命名。所以民间也称孔子为文曲星下凡，掌管文人士子的命运。过棂星门为大成门，大成语出《孟子·万章下》中的语句“孔子之谓集大成”。站在大成门门口就可见到黄瓦朱墙、巍峨壮观的大成殿了。

大成殿是整个文庙建筑群的主体建筑，位于文庙中轴线的中心，也是整个文庙的精华所在。大成殿石基高台，琉璃黄瓦，红墙斗拱。大殿主体为单檐歇山顶，龙脊鱼尾，飞檐翘角。殿四周有二十四根朱漆立柱形成回廊。殿前有月台，环以石栏，在此可举行祭祀仪式。斗拱飞檐下有蓝地金字匾“大成殿”。 大成殿后有崇圣殿，硬山顶式建筑，隔扇雕窗，古朴典雅。

早年间，大成殿与崇圣殿之间还有明伦堂、尊经阁。明伦堂是学生上课的地方，今天称为教室。我国古代社会的教育职责主要是使受教育者明白社会伦理道德，明白做人的行为规范，所以称为明伦。尊经阁是收藏儒家经典著作的藏书处，相当于今天的图书馆。大成门东有名宦祠，西有乡贤祠；名宦祠内是祭奉曾在地方上有口碑有政绩的一些地方政府官员。

乡贤祠内供奉的是在地方有过贡献或为建文庙出过财力的乡绅。大成门之前有泮池，池上有环桥，左有更衣厅，右有忠孝祠。此外周边还有黎公祠、斋房、教谕室、训导室等建筑。殿前还曾有照壁，上书“宫墙数仞”四个大字，是宣扬“和为上，忍为高”的儒家思想。其笔力雄健，为早年清江邑人汪敬书写。殿内外还有明清石刻断碑数块。这些文化遗存随着时代的更替现已一切灰灭，无一存者。

后来经过翻修的清江文庙，不仅是原有建筑物形体的重修，还是作为儒家传统文化在清江浦的历史见证。也给清江浦增添了浓浓的文化气息，拓宽了活动休闲的空间，还是广大民众学习和接受中国传统文化的良好场所。文庙周边的仿古建筑，造型各异，高低错落有致，青砖小瓦，粉墙坡屋，古朴典雅，与文庙古建筑融为一体。沿街坐落着美食、娱乐、茶肆、书画等商铺。且文庙背枕古运河，右有号称国师道场的慈云寺，左有观音庵、陈潘二公祠、吴公祠、斗姥宫等文化旅游景点，可堪称为淮安的夫子庙了。

近年来，随着旅游兴市战略的实施，清江文庙的开发利用步伐正在加快。庙内大成殿等古建筑的修缮已大体告成。淮安市文化部门拟把清江文庙及周边地区建设成为一个集教育、旅游、古玩交流、风味小吃等为一体的多功能活动场所。届时，清江文庙将成为淮安大地一道亮丽的风景，吸引国内外大量游客来此观光。