成化十年十月二十一日（1474年11月30日），守孝期满，升任詹事府少詹事兼侍讲学士。

成化十一年二月六日（1475年3月12日），徐溥和彭华被任命为会试考试官，主持科举。

成化十三年七月二十六日（1477年9月3日），徐溥之母何氏去世，徐溥回乡守孝。

成化十五年（1479年），拜礼部右侍郎。

成化十六年十月九日（1480年11月10日），升任太常寺卿兼翰林院学士。

成化十七年二月七日（1481年3月6日），徐溥和王献被任命为会试考试官，主持科举，并赐宴席于礼部供考生食用。二月二十五日（3月24日），徐溥选取了考卷中平通者三百卷、文理颇通者五十卷，明宪宗命徐溥从中录取三百人参加殿试。二月二十六日（3月25日），转升礼部左侍郎。三月六日（4月4日），明宪宗命徐溥继续担任太子的讲官。

成化十九年二月二十三日（1483年3月31日），太监杨信上奏卢沟桥竣工，礼部和太常寺用错误的方式去祭祀，周洪谟和徐溥自我弹劾，并弹劾司员外郎王傅等人。九月十九日（10月20日），明宪宗命徐溥以礼部左侍郎兼翰林学士。

成化二十年六月十一日（1483年7月3日），徐溥乞求让长子徐元概入国子监，明宪宗以徐溥侍奉太子的旧劳，特任命徐元概为中书舍人。九月七日（9月26日），山西等地大旱，明宪宗命徐溥和耿裕前往灾区，祭告西岳、西镇、西海并中镇、大河之神。

成化二十二年八月十四日（1486年9月11日），杜明、李隆弹劾徐溥等礼部官员。十月十九日（11月14日），转任吏部左侍郎，掌管大理寺。

成化二十三年五月二十六日（1487年6月17日），因礼部有公文没盖章，徐溥被停俸一个月。九月十七日（10月3日），徐溥请求致仕，明孝宗不允许。

成化二十三年十月十七月（1487年11月12日），明孝宗命令徐溥以吏部左侍郎兼翰林院学士，入阁参预机务。十一月一日（11月15日），徐溥推辞入阁的敕令，请求致仕，明孝宗不允许。十一月二十日（12月4日），升礼部尚书兼文渊阁大学士。十一月二十一日（12月5日），徐溥与刘吉、刘健推辞任命，明孝宗不允许。

弘治元年闰正月三日（1488年2月15日），徐溥与刘吉、刘健同时被任命为《明宪宗实录》总裁官，参与实录的修撰。二月十三日（3月25日），明孝宗祭拜先农，命令徐溥与周寿、陈桓等人行“五推”“九推”礼，赐农夫三十人。二月二十七日（4月8日），与章懋、刘吉、刘健同知经筵事。三月十三日（4月24日），与刘吉、程敏政等人每日为君主讲授经史。六月十二日（7月20日），方向、李鼎等人弹劾徐溥“巧图升进”，孝宗袒护。七月十三日（8月19日），曹璘以徐溥“年老无为”请求罢免徐溥。

弘治二年八月二日（1489年8月27日），明孝宗派遣徐溥到曲阜祭孔子。

弘治三年三月十五日（1490年4月4日），明孝宗命徐溥与刘吉、王恕等人担任殿试读卷官，对考生试卷进行阅卷。

弘治四年七月二十日（1491年8月24日），皇子朱祐榰、朱祐梈、朱祐橓、朱祐枢、朱祐楷行冠礼，明孝宗命徐溥与张懋、朱永等人前去宣祝。八月十五日（9月18日），明孝宗册封朱祐榰为寿王，朱祐梈为汝王，朱祐橓为泾王，朱祐枢为荣王，朱祐楷为申王，命徐溥与张懋、朱永等人担任副使持节，前去册封。八月二十三日（9月26日），《明宪宗实录》完成，明孝宗赐徐溥白金八十两、文绮四表里、罗衣一袭、鞍马一副。八月二十四日（9月27日），以修实录功加太子太傅兼户部尚书、武英殿大学士。

弘治五年（1492年），刘吉被罢免官职，徐溥任首辅，累次加封为少傅、太子太傅。刘吉治政狂妄凶暴，徐溥接替刘吉以后，以安定平静为宗旨，务守成规，与刘健、李东阳、谢迁等同心协力辅助治理朝政，每当遇到不可行的事，总是一起商议。钦天监中被革职的监正李华为昌国公张峦选择墓地，宫中降旨恢复他的官职。徐溥等上言道：“陛下登基以来，未曾有过宫中降旨事，恐怕权贵亲幸之门一开，不良之徒无所顾忌，臣等不敢接受这一诏令。”

弘治七年（1494年），升为少傅兼太子太傅、吏部尚书、谨身殿大学士，阶光禄大夫勋柱国。

弘治八年（1495年），太皇太后召崇王进宫朝见，徐溥等与尚书倪岳进行劝谏，明孝宗亲自劝说太皇太后，此事才得以停止。占城奏报安南入境侵犯骚扰，孝宗准备派大臣前往调解，徐溥等说：“外国之间发生侵略现象，有关部门发道檄文告诫就行了，不需派遣使臣。万一安南不听使臣命令，则有损国威，再去兴师问罪，后患越来越大。”就未派遣大臣。十二月，孝宗下诏要撰三清乐章。徐溥等说：“天，至高无上，没有谁能匹配。汉代祭祀五帝，儒者尚且认为不对。况且三清是道家荒谬之说。一天之上，岂得有三大帝。并且以周代柱下史李耳充其中一帝，将人鬼列为天神，荒诞至极。郊祀乐章都是太祖亲自创作，现在以写作的时俗词曲祭祀神明，亵渎更甚。臣等熟读儒家书籍，对邪说俚曲向来不在意，不敢用旁门左道侍奉陛下。国家设置文渊阁，命令学士在此任职，的确是想让学士为国家谋划政事，讲经论史，培养治政的根本，纠正过失，并非要其阿谀奉承，唯命是从。现在御前讲席早已停止，讲官入侍讲读很久没有进行，异端邪说乘隙而入。这些都是因为臣等侍奉不当，不能够启发陛下之心，保持陛下初登位时治政的良好势头。我们万分忧心与惭愧，无地自容。数月以来，对宫中降旨中处理政事不当的，我们将其封还宫中，并再三向皇上奏明我们的看法。希望陛下曲身听从，使臣等竭尽拙笨之力稍稍有所帮助，不仅仅只指乐章一事。”奏章呈送孝宗，孝宗很赞赏，接纳了他们的劝谏。

弘治八年（1495年）后，孝宗上朝时间渐晚，徐溥等屡次上言劝谏。宦官李广借炼丹、设斋坛得到皇帝宠幸。弘治十年（1497年）二月，徐溥等上疏深切地论述说：“旧制，内殿每日两次奏事，事项多的可以随时上奏，皇帝又常常召见儒臣，咨询政事。现在奏事每天只有一次，除上朝之外，再见不到陛下。奏章、奏议与批答不准时断决，有的滞留好几个月，有的竟然不施行。事情大多堆集在一起，妨碍政体。御前讲席每年只开几天，疏远正直人士，邪说得以流行。近来听说有借斋坛炼丹之说得到重用的。宋徽宗崇尚道教，科条仪式符最盛行，以致颠沛流离于道路。金石之药，性能多是酷烈的。唐宪宗相信柳泌以致殒命，此祸可作借鉴。现在龙虎山的上清宫、神乐观、祖师殿以及内府番经厂都被焚毁，它们如有神灵，为什么连自身也保不住？上天讨厌这些污秽行为，已是很明白的了。陛下如果亲近儒臣，懂得正道，施行仁政，那么福兆祥瑞，以及许多值得庆贺的好事就会不招自来，何须借助妖妄之说呢？自古以来奸人要蛊惑君王动心，必定先说太平无事。唐朝大臣李绛曾说过：‘忧心于事行之前，可以免除担忧。事情干完了再担忧，于事无益。’现在太平日子很长，沉溺于安逸。就目前来看，虽然好像无事，然而工役频繁兴起，苛捐杂税百出，人马疲惫不堪，民间穷困，人民愁苦的叹息声影响着上天的和顺之气以致造成火星失去常规，太阳无光，天鸣地震，草木成为妖孽，四方奏报这些情况的几乎每月都有，将来的后患灼然使人担忧。陛下高居深宫，言官都害怕引祸上身缄口沉默。臣等假如再不说，谁又肯为陛下说。”孝宗被徐溥的话所感动。

三月二十七日（4月29日），孝宗在文华殿召见徐溥以及刘健、李东阳、谢迁，把各部门的奏疏交给他们说：“与先生辈商议。”徐溥等起草诏令呈上，孝宗就手批改。事端多的，刘健请求拿出去详细阅读，孝宗说：“何不就此地面议。”事完之后，赐徐溥等饮茶方退。自从成化年间，宪宗召彭时、商辂对答以后，至此时才开始再次出现，举朝夸耀为盛事。然而在徐溥整个任职期间，也只有这么一次受到皇帝召见。

弘治十一年二月三十日（1498年3月22日），皇太子将要出阁，徐溥升为少师兼太子太师、华盖殿大学士。三月一日（3月23日），徐溥参加皇太子出阁仪式。

七月二十一日（8月8日），徐溥上辞呈请求致仕，明孝宗说：“卿因为生病而上辞呈，但已有旨尽力留下，如果尚未痊愈，应当善加调理，来担任重托，所辞不允许。”二十九日（8月16日），徐溥再次上辞呈，明孝宗允许徐溥致仕还乡，并赐敕给驿遣官护送还乡，命户部每月供给五石大米，并调拨八名工人供徐溥使用，任命其一子为中书舍人。

弘治十二年九月十一日（1499年10月15日），卒于家中，年七十二岁，孝宗辍朝一日。十二月，诰命特赠太师、特进、左柱国，赐谥号“文靖”。

弘治五年（1492年），在徐溥的支持下，户部尚书叶淇主持变革盐法。变革盐法的核心有两点，第一，中盐方式由以前的纳粮为主改为纳银为主；第二，上纳地点由边仓改为运司。改革的结果使得边储粮草供应不上，最终引起粮价上升，但是改革缓解了盐商的守支问题，增加了政府的财政收入。

弘治六年（1493年），给事中涂旦建议欲选新进士改庶吉士入翰林院读书，徐溥因此向孝宗上《奏为考选庶吉士事》，庶吉士制度的改良正式开始。归纳起来，徐溥的改良方案有如下四点：第一，年份上一次一开，一次选用；第二，选拔依据是诗文与礼部出的试题；第三，每科考选限二十人；第四，在散馆上，只留三五人。

徐溥的这次改良是明中期以徐溥为首的士大夫对明代典章制度所作的一次改善，是面对国家机制中出现的问题的一次努力改革，这场改良运动具有积极的意义不仅使得庶吉士制度成为定制，而且显示出明代国家机制的自我修复。但是，徐溥的这次改良运动不够全面彻底，对于庶吉士的选拔虽然比较完备，但是对于散馆的想法不明确，对于庶吉士的培养方案也是模糊不清。尽管如此，徐溥的庶吉士改革依然具有积极的意义。

刘健、谢迁等《明孝宗实录》：溥立朝四十余年，在内阁因事纳约，登崇俊良，随材器使。

吴宽《家藏集》：①公之去可谓荣矣，近世大臣之去有如公之去者乎？②公在位益高，不自骄盈。引进后辈，蔼如父兄。道义之语，至今服膺。公之立朝，惟恃忠诚。魏巍黄阁，高不闻声。百官尽职，万姓安生。默相之力，天子仰成。宠任之重，不替而增。

李东阳《怀麓堂集》：①公风采凝重，言动有则，而温然可亲。②公博古多识，为诗清润有思致。

曹璘：如大学士刘吉、徐溥，尚书周洪谟，侍郎李嗣、何琮、吕雯、谢宇，皆年老无为。

王鏊《震泽集》：①自昔君臣，信际会、风云有数。看圣节、才过又值，生申初度。金鼎调元亲手付，十年海内归陶铸。听童谣、好个太平朝，贤宰辅。②公自吏部侍郎入内阁筦机务，弥缝辅相，十年间海内晏然。

吴俨《吴文肃斋稿》：①学问纯正，为文词必根理道，耻雕琢。②公德性凝重，度量宏远，自少负公辅之望。③公居家孝友，事亲能养志。

朱祐樘：①卿学识老成，特兹简用。②卿等学行老成，效劳有年。③卿宿望重臣，方隆倚任，而屡以疾辞，情甚恳切，特兹俞允。

朱希周：文靖诗清润和平，足以鸣国家之盛。

雷礼《国朝列卿传》：在位以宽大称，但持守歉廉。

张廷玉等《明史》：①溥承刘吉恣睢之后，镇以安静，务守成法。与同列刘健、李东阳、谢迁等协心辅治，事有不可，辄共争之。②溥性凝重有度，在内阁十二年，从容辅导。人有过误，辄为掩覆，曰：“天生才甚难，不忍以微瑕弃也。”屡遇大狱及逮系言官，委曲调剂。

纪昀等《四库全书》：溥于孝宗时在内阁十二年，与刘健、谢迁等协心辅治，不立异同，然于事有不可者，侃侃力争，多所匡正。

徐溥在求学时期，为了不断检点自己的言行，便别出心裁地想了一个妙法。他在书桌上放了两个瓶子，每当自己做了一件坏事，说了一句坏话，想了一个坏念头时，就在一个瓶子里放一粒黑豆，做了好事就在另一个瓶里放一粒黄豆。开始时，黑豆颇多，黄豆寥寥，他便深刻反省；过了一段，黑豆黄豆已各占一半。他再接再厉，律己更严，久而久之，瓶中黄豆半满，黑豆则屈指可数。徐溥凭着这种持久约束，不断修炼自我，完善品德。

徐溥认为经筵对于君主的学习尤为重要，作为儒臣，为君主讲授经史也是义不容辞地责任，天顺八年（1464年）六月，礼部尚书姚夔等进经筵仪注，奏请开经筵，徐溥被宪宗选为经筵官，效仿三杨，每月二日、十二日、二十二日三次经筵进讲。

徐溥在朝为官多年，没有在北京城里建造府第，直到将要告老回乡时，才由家人在故里建造一所住宅。弘治十一年（1498年），他因目疾严重，再次要求告老致仕。九月，徐溥以“四朝元老”的殊荣奉旨南归。到家后，他不顾双目失明，首先命两僮搀扶着他在整个宅第转了一遍，并用双手抚摸着每座墙壁和每根楹柱。家人问：“相爷何必如此？”他说：“我是怕儿辈们把宅第造得太华丽啊！只要能住就可以了。”一日，徐溥由家人扶着在门外散步，忽然问道：“门外原是东南山乡上城大路，怎么听不到车履之声？”家人告诉他：“为了相爷能安静休息，故把大路迁到河的对面去了。”徐溥听了，勃然大怒，喝问：“这是谁的主意？怎能为我个人的安逸，而劳乡亲们绕道而行呢？”他即命恢复大路于相府门前。民众无不赞叹。

成化十年（1474年），徐溥升詹事府少詹事兼翰林院侍讲学士，于次年主考礼部会试，这是徐溥三次典会试中的第一次，他非常谨慎，日夜秉烛审阅应试之作，取三百人，勒成一巨编。他提出文章与气化息息相关，主张从应试之文中考察应试之人是否明理，是否有才，可谓用意深远。成化十七年（1481年），徐溥作为主考再典会试，深感科考取士责任重大，他力求为朝廷选拔真正的人才。弘治三年（1490年），徐溥第三次典会试，获得了李东阳的大力赞扬。

徐溥在内阁十二年，从容辅助劝导。遇到有人犯有过失，总是为其掩盖，他说：“天生人才很不容易，我不忍心人才因小过错被抛弃。”屡次遇到大狱案，以及逮捕言官，他都要从中委婉调停。孝宗仁慈淳厚，对徐溥等所提的意见大都接受，史称“天下阴受其福（庇护）”。徐溥曾说：“祖宗法度在恩惠百姓的事方面已经完备，所担心的是不能守住。”因此，他对祖宗成法无所变更。

弘治三年七月十日（1490年7月26日），徐溥出资建造洑溪徐氏宗祠，于次年完工。洑溪徐氏宗祠的兴建是一种政治文化权力的象征。它不仅向当世以及后世表明徐氏是宜兴当地的名门望族，举足轻重的影响力。而且祠堂能够团结家族内部成员，符合中国古代士大夫修身齐家的传统思想，具有一定的家族凝聚力。徐氏祠堂还可以教化世人，促进人们的仁孝思想。

徐溥对乡里族人关怀备至，而自己生活则很俭朴。他仿效宋代范仲淹义田之举，叫他二弟复斋到京城商量置办义田，以赡养宗族。他决定将自有田产800亩作为义田，分给族里村人耕种，如遇灾荒，减租免征，并开义仓赈济，凡乡里族人遇有婚丧之事或遭意外灾难，均有补急救济。还聘请塾师，兴办义学，凡徐氏子弟和村里贫家子弟，一律免费入学。又在进城的洑溪河口设置渡船，雇人摆渡，方便行人，乡人称之为“徐氏义渡”。他十分爱惜故乡文物，摹刻了苏轼的《楚颂帖》，并将收藏的《清明上河图》无偿捐赠。他创议设立的徐氏义庄、义渡、义田等、惠及后世数百年。

徐溥著有《谦斋文录》，有多种版本。四卷本有《徐文靖公谦斋文录》，明嘉靖三十年（1551年）刻本；《谦斋文录》，清光绪二年（1876年）世德堂活字印本。八卷本有《谦斋文录》，清道光十一年（1831年）徐氏刻本。其中最常见的是《四库全书》版本，该版本《谦斋文录》列《四库全书·集部六·别集类五》中，分为四卷，卷一为策、奏章、诗，卷二为序文、记，卷三为引、跋、说、赞、行状、墓志铭、墓表、传、祭文，卷四为碑铭。

柱国太师坊位于江苏省宜兴城中蛟桥南堍，弘治十二年（1499年），徐溥去世，朝廷为表彰他的功德，特为他在徐氏宗祠对面建柱国太师坊，作为永久纪念。随着年代的久远，柱国太师坊毁于历史中的战乱，后于2016年重建。

徐义庄祠，又称阁老厅、徐文靖祠等，坐落于江苏省宜兴市宜城街道茶东新村内。弘治八年（1495年）由徐溥出资兴建，为徐溥告老还乡后居住之地，故民间多称此为“阁老厅”。1985年1月被宜兴县人民政府公布为县级文物保护单位。2011年12月由江苏省人民政府公布为省级文物保护单位。

徐溥致仕以后，于家乡伏溪河畔置船以渡来往百姓，称为义渡。宜兴当地人民为纪念徐溥此种义举，特立碑缅怀。

刘健、谢迁等《明孝宗实录·卷一百五十四》

李东阳《怀麓堂集·卷八十四·徐文靖公墓志铭》

吴俨《吴文肃斋稿·卷四·徐文靖公行状》

张廷玉等《明史·卷一百八十一·列传第六十九》