蒋介石一怒之下，于9月21日召回了张厉生，扬言要与日本“断交”。张厉生从日本回台北后，一再检讨，但仍然受到台湾各方的猛烈抨击，蒋介石也把日本同台湾的疏远归咎于张厉生的“工作不力”，从此便不再任用。
偏偏张厉生的靠山陈诚此时因肝病病倒，由“副院长”王云五代理阁务。年底，陈诚因病情恶化自请辞职，于1965年3月，终因不治去世。追悼会上，张厉生抚棺大恸，为“辞公”哭，也为自己哭。
之后，张厉生只有赋闲在家，颐养天年。虽日后每届国民党代表大会仍都会选他为“中央评议委员”，但也只是有名无实，张厉生心情黯淡，身体也每况愈下。
◇官高位显晚境清贫
张厉生从政多年，身居高官，可以说声势吓人。但他一向低调做人，严于自律，好学慎行，德廉耿介，淡泊名利，又几十年一心埋头于“党国事业”，既没置下什么家产，也无什么积蓄，以致退休之后生活十分清苦，晚景凄凉。