廖立孤高自许，认为自己的才能只在诸葛亮之下，但地位却还不如李严，对职位不满，牢骚满腹，开始批评时政，甚至批评先帝刘备一再失策、导致荆州覆灭、关羽身死、夷陵之败损兵折将等等，却忘了刘备一直都很赏识他，刘禅忍无可忍，把他流放汶山郡，廖立后来在流放地得知诸葛亮的死讯，垂泣叹曰：“吾终为左衽矣！”因为诸葛亮之后的蒋琬、董允等人，根本驾驭不了他，更不敢重新启用他。
吕布跟廖立交谈过，发现他确实有才，可能才能跟刚才会晤的蒋琬、潘濬差不多，但他的气度不够，需要好好锻炼一番，才能入朝为高官，吕布把自己的意见讲给廖立，廖立深思片刻，低头领受，吕布也把他带在身边训导半年，再放在洛阳中央大学堂政治学院修习半年，再放到下面任职，如果他能把自己个性里面的缺陷修补好了，吕布还是会继续重用他，如果他无法修补，那也没有办法，吕布毕竟不是梦想导师，况且大汉人才济济，执政人才此起彼伏，不差他廖立一个。