谢氏为李穆后人，其人最初为宇文泰手下小将，凭着多年积功，在周末时已位居大将军镇守一方，杨坚攻灭尉迟迥篡周时李穆起了重要作用，因而到了隋更加显赫，隋末炀帝听信佞臣的“当有李氏应为天子”这一谶语而尽诛李穆子孙。幸得人相助，李穆后人逃往江南，改为谢姓，遂有祖训，男子不得入仕，女子不得入宫。一心一意从事商业，不断开拓自己的领域。