演义中说的很明白了，吕布并没有吸引贤才的魅力。陈宫跟随吕布也不是真心投靠

演义原文：徐晃解陈宫至。操曰：“公台别来无恙！”宫曰：“汝心术不正，吾故弃汝！”操曰：“吾心不正，公又奈何独事吕布？”宫曰：“布虽无谋，不似你诡诈奸险。”操曰：“公自谓足智多谋，今竟何如？”宫顾吕布曰：“恨此人不从吾言！若从吾言，未必被擒也。”
《三国志》中关于这段的描写与演义中有很大的不同，陈宫并非因为曹操品性而弃之而去，主要是因为曹操政治上的举措引起了陈宫等兖州士族势力的不满。曹操在政策上素来抑制豪强，唯才是举，这点显然动摇了上层势力的利益。部分兖州士族因此而批判曹操，曹操杀死了一部分，比如九江太守边让等人，可这些人都是陈宫的亲朋好友。
因此他叛逃曹操，与张超，张邈兄弟等人迎回吕布，并非吕布有什么人格魅力，而是因为他是个更好掌控的人。
所以，总的来说，吕布不过是陈宫实现自己抱负的一个工具而已
作者：Light-chase