写在数据枯竭的当下，由于互联网数据枯竭，llm的预训练会变得慢慢达到瓶颈，在预训练层面scaling law无法持续了，我们只能把后续阶段想办法提升大模型的能力，openai的圣诞节发布会基本给未来几个月要做的事奠定了基调，即rl （强化学习）+ cot（思维链） + llm，参考o3，在刷算法题任务上达到全球前250名（cf 2700分），在数学和gpqa测试上对比o1百日竹竿更进一步，数学领域上，已经可以去做一些针对专业数学家而言都要做几个小时的难题（epochAI Frontier Math，正确率百分之25，o1只有百分之2），o3虽然还远远称不上agi，但在某些结果明确，且需要深度推理的任务上已经获得非大的提升。
在o1/o3这类ai推理范式中，需要产生大量的中间token，比如o3在完成一些复杂任务时需要花费几千美元做推理，因此专门用于ai推理的asic类芯片也会变得越来越重要，tpu/npu的重要程度在上升，老黄都出了proect digits了，128g内存（内存显存一体），算力接近4090，不过没提内存带宽，我估计比不上果子，不过跑moe模型估计很舒服，牢果该加大在自家芯片上的算力了，gpu天天挤牙膏，自己是最开始做这种超大统一内存芯片的，结果因为算力不足而落了下风，如果牢果能把算力支棱起来，感觉可以人手一台mac跑推理了