现在还得等，先把长期计划发一下：
微型（1B以下）模型：可行性验证
中型规模（7B？）模型以及基于transformer的tts/语音识别：复刻neuro
直接基于语音的语音模型：超越neuro（幻想时间）

可以的，赛博怀胎

完整走完一次余弦退火流程之后的结果。似乎还是不太行，但是对于这个规模的模型来说也差不多了。下一步应该就是提高规模，压榨显存

最近要开学了比较难更新。如果更新的话下一次更新应该是对第三方大模型的微调，我还得恶补相关知识

参考了一下别人的代码，下一步应该是放弃attention padding mask和采用rope和grouped attention

更新：
还是手痒去练自己的模型了。体验了一下Qwen2的中小型指令微调模型，一个token要好几秒钟，属实难顶。
Llama的RoPE和SiLU属实牛逼的，600多步能把loss练到个位数。之前用GPT2的位置嵌入不仅浪费显存，练了1000步loss才到这个水平。

我去4090也太生猛了，两三个小时把loss给我干到0.0几去了

智齿，到时候弄出来了开个播你就是中国vedal

光顾着更新B站动态，差点忘了这个帖子了。。。
事实证明这么低的loss是个错误。我在算法里漏掉了一个转置操作，导致把标准答案漏出去了。于是AI马上学会了抄答案并获得了几乎满分的成绩（0.05的loss）。
更新现状：

这是我漏掉的转置操作，它用于把时间维度和注意力头维度交换，然后会有代码将时间维度中未来的部分遮住让模型预测。因为缺失了这一步，未来的数据（也就是标准答案）就直接给模型“注意”到了

byd运营商

更新：

模型规模还是太小，喂的数据也太杂乱。后续更新大概是扩大模型规模+选择更好的数据

bro的神志不是很清醒

有点意思

加油