预训练

新智元报道编辑，KingHZ，新智元导读，谷歌发布了1000亿文本，图像对数据集，是此前类似数据集的10倍，创下新纪录！基于新数据集，发现预训练ScalingLaw，虽然对模型性能提升不明显，但对于小...

新智元报道编辑，Aeneas好困，新智元导读，全球顶会NeurIPS2024中，Ilya登场演讲，向全世界宣告，预训练结束了！数据如同化石燃料般难以再生，未来，AI的发展方向就是具备自我意识的超级智能...

新智元报道编辑，编辑部HNYZ，新智元导读，OpenAI的重磅炸弹GPT，4.5，刚刚如期上线了！它并不是推理模型，但是规模最大、知识最丰富，最鲜明的特点就是情商高、很类人，Pro版用户和付费开发者已...

新智元报道编辑，KingHZ，新智元导读，DeepSeek和xAI相继用R1和Grok，3证明，预训练ScalingLaw不是OpenAI的护城河，将来95%的算力将用在推理，而不是现在的训练和推理各...

新智元报道编辑，KingHZ，新智元导读，基于连续概念，Meta团队新研究提出了超越，下一个token预测，语言建模新范式，更加重要的是，新方法不仅能增强原有的范式，而且比起知识蒸馏，数据量减少20%...