班固就首先在五行志里面说了史良娣出身卑微，骂她微贱亡德之人，还说扶正不合适。看班固的描述，史良娣并不是出自名门望族。
《汉书·五行志》： 戾后，卫太子妾，遭巫蛊之祸，宣帝既立，追加尊号，于礼不正。【又戾后起于微贱，与赵氏同应。】天戒若曰，【微贱亡德之人不可以奉宗庙】，将绝祭祀，有凶恶之祸至。

史记里面记载史家是以宣帝母家才封侯起来的，没有任何记载武帝时期就是名门望族，很可能就是普通人家。而且史家嫁两个女儿给太子和鲁王也没什么稀奇的，也没说是嫁给他们当大老婆。
《史记 建元以来侯者年表》载： 平台（侯国名） 史子叔。集解名玄。以宣帝大母家封为侯，二千五百户。卫太子时，史氏内一女于太子，嫁一女鲁王，今见鲁王亦史氏外孙也。外家有亲，以故贵，数得赏赐。

史良娣家族的家风也是一塌糊涂，他们家族有人还杀了很多侍婢，还残忍的折断婴儿四肢来弄媚道。最不要脸的是这个行为还被卫子夫粉张冠李戴到了陈皇后身上。
《史记·建元以来侯者年表》
将陵（侯国名） 史子回。集解名曾。以宣帝大母家封为侯，二千六百户，与平台侯昆弟行也。子回妻宜君，故成王孙，嫉妒，绞杀侍婢四十余人，盗断妇人初产子臂膝以为媚道。为人所上书言，论弃市。子回以外家故，不失侯。

外戚史家伙同石显，诬陷萧望之离间皇亲宗室，史家暴发户的吃相真的难看至极，家风不正。