司马温公幼时患记问不若人的意思是他担心自己不能像其他人一样记忆诗书以备应答，在一起学习讨论时，其他人都已经记住了，而他却要去玩耍休息。这表明他非常努力学习，但他也意识到了自己和别人之间的差距。