大模型并非AI的唯一出路,把模型做小也是一种技术。
AI模型领域最近非常热闹,不断涌现出新的模型,无论是开源还是闭源,都在刷新成绩。就在前几天,Meta发布了Llama38B和70B两个版本,这两个版本在多项指标上都超过了之前的开源模型Grok-1和DBRX,成为了新的开源大模型王者。
此外,Meta还透露将推出400B版本的Llama3,测试成绩在许多方面追上了OpenAI闭源的GPT-4,这意味着开源版的GPT-4即将问世。尽管Llama3与Llama2相比在参数量上并没有特别大的提升,但在某些表现上,Llama3的最小的8B版本都比Llama270B要好。这表明,模型性能的提升不仅仅依赖于堆积参数。
Meta在当地时间4月18日发布了目前最强的开源大模型Llama3。这次发布包括Llama38B和Llama370B两个版本。根据Meta的说法,这两个版本的Llama3是目前同体量下性能最好的开源模型。在某些数据集上,甚至Llama38B的性能超过了Llama270B,尽管这两个版本的参数相差一个数量级。
Llama3的训练效率是Llama