cy

直接开练，先喂个45GB中文

这东西是真tm烧钱啊，好几千就这么送给百度了。。。

大模型确实难搞，还得练一个多月。这个时候就应该从另一个角度复刻蜂群了。我也许会学一下强化学习和卷积神经网络，搞一个玩osu!的模型，不求比Neuro好，玩得比我好就行（

哥们你打的是牛魔？

练崩了看来想像vedal那样驾驭深度学习，我还得多练练

短期内大概是做不出来了。但是我还会继续去做这个项目，这个帖子长期更新

更新：
重新开始练，和上次比相当于直接重构了一次，效率更高了，但是核心代码没有变（因为找不到到底哪里出了问题）只能看这次的结果怎么样，有没有遇到同样的问题了
0.1B参数量，计划用10G左右数据预训练，单一文本模态。不知道是neuro的多少分之一，但是更大的模型我的显卡也负担不起了，大模型果然不是一般人光靠学习就能做的东西，还得有硬件支持。不过这也算是个好的开头，我还有很多时间，走一步看一步

我的电脑现在风扇转得要起飞了。。。已经租不起云服务器了只能委屈委屈那块3060了，别烧起来就行

疑似出现了不知名的逻辑错误。。。再改改

更新：

还得练三四天。。。只能等着了

加油，关注了，看看赛博怀胎