心中一直憋怀恨意的李怀光越想气越不顺，索性他“顿兵不进”，多次上表暴扬卢杞等人的罪恶，大有不给个说法绝不罢休之势。同时，众议渲腾，都认为卢杞奸恶，误君误国。不得已之下，德宗于建中四年（公元783年）底下诏，贬卢杞、白志贞和赵赞等三人为僻远小州司马，并杀掉李怀光表奏中屡屡提及的宦官翟文秀。