攻灭萧纪后，大臣们认为江陵远离南朝长期的政治、军事中心建康，而且又受到西魏的威胁，就建议萧绎将都城迁回故都建康，但萧绎并未同意。之后，他封王僧辩为太尉、车骑大将军，让其镇守建康；封陈霸先为司空，让其镇守京口。萧绎以为从此以后就可以太平无事了。但是，天总不遂人愿，次年，西魏的大军便又向江陵扑来。
公元554年十月，宇文泰出动5万大军人进攻江陵。此时，萧绎还浑然不觉。在接到西魏进攻的消息后，又听信胡僧祐、黄罗汉等人的话，对魏军不加戒备。不久，西魏大军进军樊城，久已觊觎皇位的梁雍州刺史萧詧与魏军勾结，合兵进犯江陵。萧绎这才着了急，匆忙派王僧辩率军御敌，但为时已晚。十一月，联军渡过汉水，连克武宁、黄华等地，兵锋直指江陵城。魏军派精锐部队占据有利地形，阻击梁朝援军，其余部队奋力攻城。江陵梁军虽拼命抵抗，但无济于事，不久城破。
在魏军将要攻破江陵之时，萧绎命人将江陵宫中收藏的14万卷图书付之一炬。大火燃起，萧绎拔剑击柱，愤愤地说：“读万卷书，还落得这个下场，要它何用！”他不检讨自己的过失，把失败的原因归罪于读书，真是可笑。但可悲的是，许多珍贵文献都被他烧毁，使中国古代文化蒙受巨大损失。