微软推出iPhone可运行的ChatGPT级AI模型Phi-3系列：用AI如何改变我们的生活？

在AI领域，微软最近推出了一款名为Phi-3系列的小型AI模型，其中的Phi-3-mini模型仅拥有3.8B参数，却在多项基准测试中超越了拥有8B参数的Llama3模型。此举在AI领域引起了广泛关注。

值得一提的是，Phi-3-mini经过4bit量化处理后，在苹果A16芯片上实现了每秒12token的运行速度。这标志着手机上能本地运行的最佳开源模型已经达到了ChatGPT的水平。

Phi-3系列的多项优势

除了Phi-3-mini之外，微软还推出了Phi-3-small和Phi-3-medium两个版本，分别拥有7B和14B参数。Phi-3-small支持多语言，并在训练过程中使用了tiktoken分词器以及增加了10%的多语种数据。而Phi-3-medium在更多数据上进行了训练，已在多数测试中超越了GPT-3.5和Mixtral8x7b MoE。

Phi-3系列的训练方法

Phi-3系列的成功得益于其独特的训练方法。微软团队发现，仅仅增加参数量并不是提升模型性能的唯一途径。他们通过精心设计训练数据，特别是利用大型语言模型生成合成数据，并结合严格筛选的高质量数据，显著提升了中小模型的性能。Phi-3系列的训练数据量巨大，其中Phi-3-medium使用了高达4.8万亿token的数据，并通过独特的指令微调和RLHF训练，提高了模型的对话能力和安全性。

小型模型的局限性和缓解方法

尽管Phi-3系列在性能上取得了显著的进步，但小型模型在存储事实和知识方面仍有局限，这在TriviaQA测试中可见一斑。为了缓解这一问题，微软建议通过联网接入搜索引擎。微软研究院团队表示，他们将继续沿着小模型和数据工程的道路前进，并计划增强小模型的多语言能力和安全性。

开源社区的反应

微软的这一举措在开源社区中引起了热烈讨论。许多网友认为，微软的Phi-3系列给OpenAI带来了压力，同时也加强了对于GPT-3.5后继产品的期待。开源社区希望OpenAI能够尽快推出新一代的开源模型，以维持其在AI领域的领先地位。

以上是关于微软推出Phi-3系列小型AI模型的相关内容，这一举措在AI领域引起了广泛关注。感谢您的阅读，如果您有任何问题或��见请在下方评论区留言。同时，欢迎您关注我们的网站，点赞和分享本文，以表达支持和感谢。

本文链接：https://www.24zzc.com/news/171386646970277.html