Apple Intelligence 为 iPhone、iPad 和 Mac 引入强大的生成式模型

Apple Intelligence 为 iPhone、iPad 和 Mac 引入强大的生成式模型

供稿 / 2024-06-11 13:444545

加利福尼亚州,库比提诺 Apple 今日发布面向 iPhone、iPad 和 Mac 的个人智能化系统 Apple Intelligence,基于个人场景发挥生成式模型的强大功用,结合用户情况提供有助益且相关的智能化功能。Apple Intelligence 深度集成于 iOS 18、iPadOS 18 和 macOS Sequoia 中,充分运用 Apple 芯片对语言和图像的理解与创作能力,可做出多种跨 app 操作,同时结合个人场景,为用户简化和加快日常任务流程。通过 Private Cloud Compute,Apple 为 AI 的隐私功能树立了全新标准,并能在设备端进程和搭载 Apple 芯片的更大型、基于服务器的模型之间灵活配置和扩充计算资源。

“我们十分激动地向大家展示 Apple 创新的全新篇章。Apple Intelligence 将会彻底改变用户使用我们产品的方式,以及我们的产品如何在用户手中发挥功用。”Apple 首席执行官 Tim Cook 表示,“我们使用独特的方式将生成式 AI 与个人使用场景相结合,实现真正有助益的智能化功能。 而且它能以完全私密安全的方式调用此类信息,协助用户完成最重要的任务。这就是 Apple 所开发出的独一无二的 AI,我们迫不及待地想让用户体会它的强大之处。”

理解和创造语言的全新能力

Apple Intelligence 为用户解锁提高写作和沟通的新方式。iOS 18、iPadOS 18 和 macOS Sequoia 内置可以全系统调用的新工具 Writing Tools,让用户能在几乎任何场景下对文本进行改写、校对和摘要,包括邮件、备忘录、Pages 文稿和各类第三方 app。

无论是整理课堂笔记,检查博客文章是否通顺,亦或确保电子邮件行文得体,Writing Tools 能够帮助用户提升对于文字表达的信心。Apple Intelligence 的改写工具可以让用户选择不同的版本,根据受众和文稿诉求调整文风。无论是对求职信进行润色,还是为派对请柬添加几分幽默和创意,改写功能总能辅助用户写出最得体的文字。Proofread 工具能为用户检查语法、措辞和语句结构,还能同时给出修改建议,以及对修改建议的说明,方便用户查看或快速采纳。Summarize 工具可在用户选中文本后,以易于理解的段落、要点罗列、表格或列表的形式对其进行归纳总结。

新建 DOCX 文档 (4)1591.png 

可以全系统调用的新工具 Writing Tools,让用户能在几乎任何场景对文本进行改写、校对和摘要。

新建 DOCX 文档 (4)1831.png 

最新的邮件 app 新增格外便利的电子邮件置顶功能。Priority Messages 功能会在收件箱的最上方单独划出一个区域,显示最紧急的电子邮件,例如仅限当日有效的晚餐邀请或登机牌。此外,用户在收件箱的界面上所能看到的,不再只是每封邮件第一行文字的预览,而是邮件全文的摘要,完全无需打开邮件。对于已回复多次的邮件,用户也只需轻点一下便可查看具体内容。Smart Reply 功能可为用户生成快速答复文本建议,还能识别出邮件中提出的所有问题,确保用户全部给予答复。

新建 DOCX 文档 (4)2853.png 

邮件 app 的 Priority Messages 功能会在收件箱的最上方单独划出一个区域,显示最紧急的电子邮件。

新建 DOCX 文档 (4)3109.png 

新建 DOCX 文档 (4)3302.png 

对语言的深层次理解能力同样被应用在通知功能中。Priority Notifications 会出现在分组通知的最上方,向用户提示最为重要的事项,还有内容摘要帮助用户快速浏览大量或已分组的通知,直接在锁定屏幕上显示详细信息,例如一些格外活跃的群组聊天。而为了帮助用户保持对当前任务的专注,全新专注模式“Reduce Interruptions”仅会显示可能需要即刻被看到的通知,例如通知提前接孩子的短信等。

新建 DOCX 文档 (4)4122.png 

Priority Notifications 会向用户提示最为重要的事项,还有内容摘要帮助用户快速浏览大量或已分组的通知,直接在锁定屏幕上显示详细信息。

新建 DOCX 文档 (4)4396.png 

最新的备忘录 app 和电话 app 可让用户录制音频,将音频转写成文本,以及生成内容摘要。在通话期间开启录制功能时,通话双方均会自动收到提示。通话结束后,Apple Intelligence 会生成一份内容摘要,帮助用户回顾通话要点。

新建 DOCX 文档 (4)5117.png 

最新的备忘录 app 和电话 app 可让用户录制音频,还可将音频转写成文本,为音频生成内容摘要。

新建 DOCX 文档 (4)5375.png 

Image Playground 为交流和自我表达增添乐趣

Apple Intelligence 为用户提供乐趣无穷的图像创作功能,帮助用户用全新方式进行交流和表达自我。借助于 Image Playground,用户可在数秒间创作出有趣的图像,且有动画、插画、手绘三种样式可以选择。Image Playground 使用简单,并且直接内置在信息等多款 app 中。它也可作为一款单独的 app 进行安装和使用,非常适合试验不同的创意和风格。所有图像均在设备端创建生成,让用户可以不受图像数量限制,尽情尝试。

新建 DOCX 文档 (4)5860.png 

Image Playground 使用简单,并且直接内置在信息等多款 app 中,可让用户在几秒内创作出有趣的图像。

使用 Image Playground 时,用户可根据不同的分类从大量的创意中进行选择,例如题材、扮装、配饰、地点等,也可自行输入对图像的自定义描述,从照片图库中选取任意人物添加在图像内,还可挑选喜爱的样式。

暂停播放视频 使用 Image Playground 创作

使用 Image Playground 时,用户可根据不同的分类从大量的创意中进行选择,例如题材、扮装、配饰、地点等。

在信息 app 中使用 Image Playground,可让用户快速创作出趣味图像发送给朋友,甚至还会看到基于当前对话生成的个性化创意推荐。例如用户正在群组聊天中讨论有关徒步的话题,此时便会看到与自己朋友、目的地、活动相关的创意推荐,让用户能够用更短时间创作出更应景的图像。

新建 DOCX 文档 (4)7082.png 

用户可在信息 app 中使用 Image Playground 快速创作出趣味图像发送给朋友,还能看到基于当前对话生成的个性化创意推荐。

新建 DOCX 文档 (4)7370.png 

而在备忘录 app 中,用户则可通过 Apple Pencil 工具盘中新增的 Image Wand 工具调用 Image Playground,为笔记添加更多视觉表达上的趣味性。手绘的草图可以转化成精美的图像,用户还可选中其中的空白区域,利用基于周围元素生成的场景信息生成新图像。此外,诸如 Keynote 讲演、无边记、Pages 文稿等 app,以及各类已集成全新 Image Playground API 的第三方 app,皆可调用 Image Playground 的功能。

暂停播放视频 备忘录 app 中的 Image Wand 工具

利用 Apple Pencil 工具盘中的 Image Wand 工具,用户可选中图像中的空白区域,利用基于周围元素生成的场景信息生成新图像。

创建应景的 Genmoji

表情符号全新进化,用户现可创建原创 Genmoji 来表达自我。 只需输入描述文本,便可生成相应的 Genmoji,连同若干附加选项。甚至还可直接使用亲朋好友的照片生成 Genmoji。同表情符号一样,Genmoji 可直接用在任意消息文本内,也可作为贴纸或回复使用点回功能发送。

新建 DOCX 文档 (4)9121.png 

只需输入描述文本,便可生成相应的 Genmoji,连同若干附加选项。

新建 DOCX 文档 (4)9354.png 

新建 DOCX 文档 (4)9551.png 

新建 DOCX 文档 (4)9760.png 

照片新功能让用户更得心应手

在 Apple Intelligence 的辅助下,查找照片和视频变得更加便捷。用户可直接使用日常语言查找特定的照片,例如“Maya 穿着一件扎染衬衫在玩滑板”,或者“Katie 脸上贴着贴纸”。能在视频片段中查找特定情景,也让现在的查找视频功能变得格外好用,用户将可以直接跳转至视频中的相关片段处。除此之外,新增的 Clean Up 工具还能够识别并删除照片背景中无关紧要的物体,但不会随意影响主体。

暂停播放视频 照片 Clean Up 工具

照片 app 中新增的 Clean Up 工具能够识别并删除照片背景中无关紧要的物体,但不会随意影响主体。

利用回忆功能,用户只需输入一段描述文本,便可快捷地创作出自己想要看到的故事。Apple Intelligence 将运用对语言和图像的理解,根据描述文本挑选出最适合的照片和视频,依据识别出的照片题材,设计出一段分为不同章节的剧情,然后将这些素材整理成一段叙事结构完整的影片。用户甚至还能从 Apple Music 曲库中获得适合这段回忆的配曲推荐。而在使用以上各种 Apple Intelligence 功能时,用户的照片和视频将全程以私人文件的形式保存在设备端,不会共享给 Apple 或任何第三方。

新建 DOCX 文档 (4)10704.png 

使用回忆功能时,Apple Intelligence 会根据用户提供的描述文本挑选出最适合的照片和视频,设计剧情,然后将这些素材整理成一段叙事结构完整的影片。

Siri 迈入新时代

在 Apple Intelligence 的助力下,Siri 与系统体验的结合更加浑然一体。更深层次的语言理解能力,让 Siri 表现得更自然,更契合场景,更贴合用户个人需求,还能简化和加快日常任务流程。它能理解用户的碎片化表述,还会为连续的请求沿用语境场景。用户也可与 Siri 文字交流,在文本和语音之间任意切换,用最适合当时需要的方式与 Siri 沟通。Siri 还采用了全新设计,在已激活状态下,会在显示屏的外边缘处亮起优美的柔光。

新建 DOCX 文档 (4)11203.png 

用户现在可通过文字与 Siri 会话,在文本和语音之间任意切换,用最适合当时需要的方式与 Siri 沟通。

Siri 现可随处随地为用户提供设备支持,回答数千个有关如何使用 iPhone、iPad 和 Mac 的问题。用户可以向它了解各类知识,例如如何在邮件 app 中定时发送电子邮件,或者如何从浅色模式切换至深色模式。

新建 DOCX 文档 (4)11552.png 

Siri 现可随处随地为用户提供设备支持,回答数千个有关如何使用 iPhone、iPad 和 Mac 的问题。

经过一段时间的积累后,具备屏幕感知能力的 Siri 将能够理解用户在更多 app 中的内容,并据其进行相应操作。例如,用户在信息 app 中收到朋友发来的新地址时,只需说一句“把这个地址加到他的联系人名片里”即可。

暂停播放视频 Siri 向联系人名片中添加地址

具备屏幕感知能力的 Siri 更容易根据屏幕上的信息做出相应操作,例如将信息 app 中收到的地址添加至朋友的联系人名片中。


配合 Apple Intelligence,Siri 还将有能力在各类 Apple 及第三方 app 中完成数百种新操作。例如,用户只需说出“从我的阅读列表里调出那篇关于蝉的文章”,或者“把周六那天的烧烤照片发给 Malia”,Siri 便会执行。

新建 DOCX 文档 (4)12316.png 

Siri 现可做出数百种跨 app 的新操作,包括为用户找到朋友在信息 app 或邮件 app 里推荐的图书。

Siri 将有能力实现完全基于用户个人和设备端信息的智能化。例如,用户只需说出“播放 Jamie 推荐的那条播客”,Siri 便会自行定位到相应的博客单集进行播放,完全不需要用户自己回想这条播客是短信消息还是电子邮件里提到的。用户也可以提问:“我妈妈的飞机几点落地?”Siri 便会自行查询航班详情,然后与航班的实时执飞轨迹交叉对比,给出抵达时间。

暂停播放视频 基于设备端信息的 Siri 智能化

Siri 能够做到基于用户个人和设备端信息的智能化,例如查找后续航班的详细信息,或者获知晚餐的订位情况。

AI 隐私功能的新标准

为了发挥实际功用,Apple Intelligence 在理解深层次个人场景的同时,也会做到对用户隐私的保护。Apple Intelligence 的一条底层逻辑就是在设备端处理任务,所用到的模型也有很多全程仅在设备端运行。但在处理更加复杂、需求更多处理能力的请求时,Private Cloud Compute 会将 Apple 设备的隐私与安全性覆盖至云端,进一步拓展智能化能力。

Private Cloud Compute 能够帮助 Apple Intelligence 灵活配置和扩充计算资源,运用容量更大型的基于服务器的模型处理更复杂的请求。这些模型在采用 Apple 芯片的服务器上运行,为 Apple 确保数据永远不会被保留或泄露提供了基础。

独立专家均可自行检测 Apple 芯片服务器上运行的代码,核验隐私保护情况,Private Cloud Compute 则会通过加密手段确保 iPhone、iPad 和 Mac 设备不会与软件没有公开日志可查的服务器交换信息。通过 Private Cloud Compute,Apple Intelligence 为 AI 的隐私功能树立了全新标准,向用户提供可信任的智能化功能。

ChatGPT 整合至 Apple 全平台

Apple 正在将 ChatGPT 整合至 iOS 18、iPadOS 18 和 macOS Sequoia 的操作体验中,让用户能够直接使用 ChatGPT 的特殊功能,包括它对图像和文档的理解能力,为用户省去在不同工具间来回切换的麻烦。

Siri 可根据需要直接调用 ChatGPT 的特殊功能。它会在先行征得用户同意后,才将用户的问题发送至 ChatGPT,连同任何文档或照片,最后直接答复用户。

新建 DOCX 文档 (4)14467.png 

在得到用户允许后,Siri 可以借用 ChatGPT 的广博知识,直接答复用户的问题。

新建 DOCX 文档 (4)14710.png 

新建 DOCX 文档 (4)14905.png

不仅如此,ChatGPT 也将被集成至 Apple 提供的可以全系统调用的 Writing Tools 工具内,协助用户根据当前主题生成内容。使用 Compose 功能时,用户还可运用 ChatGPT 的图像工具生成多种多样的图像,做到图文并茂。

新建 DOCX 文档 (4)15984.png 

ChatGPT 也将被集成至 Apple 提供的可以全系统调用的 Writing Tools 工具内,协助用户根据当前主题生成内容。

新建 DOCX 文档 (4)16262.png 

a新建 DOCX 文档 (4)16479.png

相应的隐私保护措施也已为使用 ChatGPT 的用户部署到位,用户的 IP 地址会被隐藏,发出的请求也不会保存在 OpenAI 的记录里。对于选择绑定已有账号的用户,则会适用 ChatGPT 的数据使用政策。

ChatGPT 将于今年晚些时候登陆 iOS 18、iPadOS 18 和 macOS Sequoia,使用 GPT-4o 模型。用户无需创建账号便可免费使用,ChatGPT 订阅用户则可在绑定已有账号后直接使用付费功能。



发表评论