这句话出自《论语·里仁篇》。其中，“故”表示“因此”，“好之者”表示“喜欢（孔子的道德教导）的人”，“少而亦多知其非常人也”表示“虽然喜欢孔子的人不是很多，但也有很多人知道孔子的道德教导非同寻常”。这句话的意思是，虽然喜欢孔子的道德教导的人不多，但是很多人都知道孔子的思想非常卓越、非同寻常。可以理解为，虽然孔子的思想不被大众所接受，但是有一些知识渊博、见识高明的人能够认识到其思想的重要性和价值。