李善长很快就知道了杨宪的野心，当然是朱元璋告诉他的。朱元璋同时还训斥他，以后在处理问题上多一分慈悲心，多一分仁心。李善长有点不服气，他说：“杨宪这小子是想顶我的位置啊。”
朱元璋意味深长地看了他一眼，李善长站着，气呼呼的，肚皮一会儿鼓起来一会儿瘪下去。
朱元璋说：“你不要这样神经过敏，杨宪只是在做他分内的事。再说，”他又看了李善长一样，眼神中带着一点冷酷，“宰相这个位置，谁不想坐？”
李善长被这句话震在当场，用他的智慧来判断，朱元璋这是准备要把他拿下。他的脸色因为紧张和激动开始泛白，他的嘴唇哆嗦着，却不敢去看朱元璋。
安静得要命，能听到虫子在树上叹息的声音。最后，还是朱元璋打破了这一沉默，因为李善长在下面快要站不住了。他说：“你回去吧，放心，咱们是老乡，你对王朝有功，以后要尽力学习宰相之材。”
李善长对这句话理解得相当随意，甚至朱元璋在说这句话时，他几乎就是从左耳朵进右耳朵出的。在不久后，朱元璋就发现李善长虽然还对他这个皇帝直接负责，但离“幕僚长”的职责越来越远。朱元璋对刘伯温说：“李善长老了，什么良好建议都提不出来。他还有个致命的缺陷，心胸不宽广，独断专行。”