最近我阅读了很多AI领域的书籍文献，结合现在GPT-4，谈谈我对AI写小说的看法吧。
先说结论，当前的GPT模型，无论怎样增加参数和算力，只要模型不改进，都无法代替人类写小说，但AI写小说是迟早的事，只是时间问题罢了。
GPT模型是基于transformer架构发展出来的，这种架构的AI，虽然在处理自然语言方面有惊人的能力，但也存在一些固有的缺点。
我们现在使用chat-gpt每次进行对话，实际上是每次对话时，将所有对话的上下文（包括GPT之前的回答）全部加起来，将文字数据转变为token，向gpt模型发送请求，然后gpt模型根据这一次请求的token做出相应的回馈，在这个过程中，GPT模型没有学到任何新知识，它只是用它自己模型中固有的知识，结合你提交的对话内容进行回答，所以与GPT对话，实际上是非常受限的，因为每次对话请求最多也只能发送几千字的文本数据，因此chat-gpt的记忆力表现的非常差，只记得最近几次对话的内容，之前的内容它根本无法记住。
这种模型的固有缺陷，导致在用AI写小说的时候，AI只能记住很少的内容，根本无法帮助人们写小说。毕竟只能记住几千字的AI，是无论如何都无法帮助人们写小说的。
GPT模型的训练，其实分为两个部分，第一个部分叫做预训练，这个阶段，通常是使用大量无标注的数据喂给模型进行训练，也就是传说中open ai用来训练GPT的40TB数据。这时候训练出来的AI，虽然已经会说话了，也能正常表达，但它本身不知道它学到的知识之间有哪些关联，因此经常答非所问，瞎胡扯，这种AI是不可用的。meta前段时间就开源了他们的LLaMA模型，这个开源模型就相当于第一阶段，完成了预训练的GPT模型，所以可用性非常差。这时候的AI，相当于一个会说话，但没读过书的人，而且更严重，毕竟没读过书的人还学会了很多生活常识，但AI却啥都不知道。
第二部分叫做微调，微调阶段就是让AI学习人工标注的数据，相当于人类作为老师，给AI上课，教导AI各种知识，这是一个非常麻烦的过程，AI最终表现出来的效果，很大程度上取决于微调的效果，毕竟人类如果读书时候的教材不好、老师不好，也同样不会有很高的成就。而且人类还需要对AI的回答进行打分，就像人类在学校中学习时，老师要批改试卷一样，通过这样的学习，AI才能逐渐学到人类社会的各种常识和知识。但是由于时间成本、资金成本和人力等各方面因素的限制，导致人类无法将各方面的知识都传授给AI并为AI的回答打分。因此AI在回答很多问题的时候，经常错漏，就是因为微调做得不够好。
GPT模型在微调后，它就可以接入API接口，通过接受文本数据，根据文本数据内容和它自身微调后获得的知识进行回答，但由于模型本身的限制，只能一次接受有限字数的文本数据进行处理。
那么问题来了，是否可以让AI模型进行实时学习，不断微调自身的模型参数获得新知识，记住自己曾经输出的，以及用户对话的内容呢？答案是可以的，这种模式叫做“在线学习”。
但“在线学习”面临的最大问题就是“灾难性遗忘”，简单来说，就是AI模型每次学习新知识的时候，都会对自身参数进行调整，但每次调整，可能就会把原来记住的旧知识参数也调整了，于是它就记住了新知识而忘记了旧知识。这种“灾难性遗忘”问题不仅存在于AI“在线学习”中，也存在于微调阶段，所以微调很麻烦，不仅要给AI人工标注数据，还得给AI打分，还得避免AI学习新知识，遗忘旧知识。
解决“在线学习”中的“灾难性遗忘”目前有三个方案，一个是共享参数，一个是回放学习，一个是增量学习。但都存在很多问题，目前都没能有效解决AI的“灾难性遗忘”问题。
所以我的结论就是，目前的GPT模型，在不引入“在线学习”机制，解决“灾难性遗忘”的情况下，是无法为人类写小说的，毕竟它的记忆力实在有限的很。但现在AI领域发展非常快，说不定哪天就把AI“在线学习”中的“灾难性遗忘”问题解决了呢？
因此我才说，AI代替人类写小说只是时间问题，一旦解决了“灾难性遗忘”问题，AI就可以完全记住几百万字的小说内容，还可以记住自己曾经输出的小说内容，这样一来，作者真的就只需要为AI提供大纲、设定，AI就可以按照作者的意图进行写作了。
而且拥有“在线学习”能力的AI，还可以为每个人定制AI实例（实例这个概念是编程语言中的一个重要概念，懂编程的朋友应该明白是什么意思），每个AI实例，都可以被用户进行定向训练，使之学到某个方面的专业知识。比如你想让你的AI实例学习网络小说写作，但用古龙的风格，你就可以把古龙的作品和各种网络小说喂给它学习，就可以了。