就是这么一位受人爱戴的将军，做了枢密副使，依然受到大臣们的诽谤。宰相文彦博请求罢免狄青时，宋仁宗维护狄青说他是忠臣，可文彦博立即反驳道：“宋太祖难道不是周世宗的忠臣吗？”这个就算假设成立吧。最可笑的理由编造者应该是欧阳修，他向宋仁宗上书希望罢免狄青，一本奏章洋洋洒洒几千字，举不出一条有力的罪证，写的全是狄青的好话。估计欧阳修写着写着也觉得自己这不犯病嘛，怎么替狄青写起好话了，可实在找不出狄青的过错，最后一咬牙，把发大水的罪责安在了狄青身上，说：“水者阴也，兵亦阴也，武将亦阴也”，今年发大水就是老天爷因为狄青任枢密副使而给的警告，这个理由可谓是莫名其妙。而从欧阳修的嘴里说出来，更让人觉得荒唐至极。
不管理由是假设还是荒唐，都表示出朝廷对狄青越来越深的怀疑。早在狄青被拜为枢密副使时，宋仁宗生了一场大病，后来慢慢康复了，知制诰刘敞趁机上书说：“天下有大忧者，又有大疑者，今上体平复，大忧者去矣，而大疑者尚存。”这里面说的大忧者就是广源叛贼侬智高，而大疑者就是狄青。侬智高已平，狄青就成了朝廷最大的威胁，大有狡兔死、走狗烹的意思。就在这种猜忌下，对狄青的怀疑达到了登峰造极的地步。有关狄青的各种绯闻层出不穷，而朝廷狗仔队更是无时无刻不盯着狄青的一举一动。只要狄青一家有任何风吹草动，他们就能编出各种版本的神怪八卦。