如何使用苹果新款AI“看懂”屏幕内容并语音回复？

苹果公司成功研发出基于语言建模的参考解析人工智能系统，名为ReALM。据悉，该系统能够精准解析屏幕上模糊的内容并深入理解相关对话及背景环境，从而提供更为自然流畅的语音助手交互体验。

如何实现这样的功能？

ReALM系统通过运用大语言模型技术，将识别屏幕视觉元素这一复杂任务转化为纯语言处理问题。这样的转换非常巧妙，使得ReALM在性能上相较于传统技术实现了质的飞跃。值得一提的是，ReALM还具备重新构建屏幕内容的能力，通过深入分析屏幕上信息及其位置分布，可以生成精准的文本表示，并捕捉视觉布局中关键信息。

ReALM与GPT-4对比？

研究人员针对内容指向优化的语言模型与ReALM相结合的方法进行了验证，结果表明，ReALM的性能已经超越了业界翘楚GPT-4。研究人员表示，经过深度优化和显著改进后，即便是最小模型也实现了超过5%的性能提升；而大型模型的表现更是显著优于GPT-4。

苹果的创新领域

长期以来，苹果更多扮演跟随者的角色，然而随着人工智能技术的迅猛发展，市场格局正发生深刻变革。如今，苹果正积极迎接挑战，努力在人工智能领域占据一席之地。备受瞩目的全球开发者大会即将在6月盛大召开，届时苹果预计将推出一系列创新成果，包括全新大语言模型框架、Apple GPT聊天机器人及其生态系统中的其他AI功能。

结语

ReALM的出现是苹果在人工智能领域的又一次突破，它的能力可以为用户提供更为自然流畅的语音交互体验。随着全球开发者大会的临近，我们可以期待苹果在人工智能领域的更多突破和创新。

如果您对苹果公司的人工智能技术和全球开发者大会感兴趣，欢迎在下方评论区留言。如果您喜欢本文，请点赞、关注并分享给更多朋友，感谢您的阅读。

本文链接：https://www.24zzc.com/news/171208471965374.html