到1799年底去世为止，他已经失去或者摒弃了在.时每一位主要的弗州代表的友谊和支持。对于严峻朴实的他来说，保存友谊是更为困难的事情——或者说不重要——相对于保存..而言
在梅森于1792年12月去世前几个月，在一旁的他称称梅森为“我的邻居和以前的朋友”，因为他不会原谅梅森，这个国家也不会
麦迪逊退出后，培育了一个新的政治党派，最后将他推向总统宝座。他明白，他已经被抛弃了。在1797年退休回到庄园以后，他“在他的信件和著作中，甚至再也没有提到过麦迪逊的名字”
——《1787年之夏......》