直接开练，先喂个45GB中文

这东西是真tm烧钱啊，好几千就这么送给百度了。。。

大模型确实难搞，还得练一个多月。这个时候就应该从另一个角度复刻蜂群了。我也许会学一下强化学习和卷积神经网络，搞一个玩osu!的模型，不求比Neuro好，玩得比我好就行（

哥们你打的是牛魔？

练崩了看来想像vedal那样驾驭深度学习，我还得多练练

短期内大概是做不出来了。但是我还会继续去做这个项目，这个帖子长期更新

更新：
重新开始练，和上次比相当于直接重构了一次，效率更高了，但是核心代码没有变（因为找不到到底哪里出了问题）只能看这次的结果怎么样，有没有遇到同样的问题了
0.1B参数量，计划用10G左右数据预训练，单一文本模态。不知道是neuro的多少分之一，但是更大的模型我的显卡也负担不起了，大模型果然不是一般人光靠学习就能做的东西，还得有硬件支持。不过这也算是个好的开头，我还有很多时间，走一步看一步

我的电脑现在风扇转得要起飞了。。。已经租不起云服务器了只能委屈委屈那块3060了，别烧起来就行

疑似出现了不知名的逻辑错误。。。再改改

更新：

还得练三四天。。。只能等着了

现在还得等，先把长期计划发一下：
微型（1B以下）模型：可行性验证
中型规模（7B？）模型以及基于transformer的tts/语音识别：复刻neuro
直接基于语音的语音模型：超越neuro（幻想时间）

完整走完一次余弦退火流程之后的结果。似乎还是不太行，但是对于这个规模的模型来说也差不多了。下一步应该就是提高规模，压榨显存

最近要开学了比较难更新。如果更新的话下一次更新应该是对第三方大模型的微调，我还得恶补相关知识