克雷西 发自 凹非寺量子位 | 公众号 QbitAI【ADVSR-100】ビザールオルガズム 48

它来了它来了，的Apple Intelligence终于与果粉碰面了！

跟着iOS 18.1 Beta版的上线，注册开荒者从即日起就能体验到苹果AI的部分功能。

最显着的一处等于Siri的全面换新，变身成了Apple Intelligence & Siri。

另一项重磅更新等于写稿功能了，它不错维护润色推特辩驳，三下五除二就能把高等抒发形式安排起来。

甚而dirty words也能分分钟变得儒雅情切：

开启Apple Intelligence后，苹果自研的端侧大模子就会被下载到教诲当中。

凭据手快的网友体验反馈，不像其他家的AI那样动不动等于闭幕工作。

与此同期，苹果自家大模子的呈文也已出炉，线路了大批时间细节。

呈文骄贵，在指示礼服、文本转头等任务上，苹果云表大模子取得了逾越GPT-4的收获。

苹果基础大模子团队安靖东谈主庞若鸣（Ruoming Pang）也暗示，其模子与一些同类最好模子比较具有竞争力。

庞若鸣是普林斯顿缠绵机博士，本硕分辨毕业于上海交大和南加州大学，于2021年加入苹果，此前在谷歌担任了15年的工程师。

Apple Intelligence的主要对话功能，恰是由他指导的团队研发的模子提供撑捏。

这次他还强调，这些基础模子“并不是聊天机器东谈主”，而是撑捏庸俗的功能，包括摘要、写稿匡助、用具使用和代码。

另外，苹果也研发了许多自研算法，为提高模子进展提供了加捏，具体信息也在呈文中被线路。

还有提防的网友从中发现了华点——

苹果大模子的磨练用的是谷歌TPU集群，英伟达含量果然为零。

Siri升级，但ChatGPT暂未接入

要想体验到苹果的Apple Intelligence，需要得志的要求有不少。

开首，搭载它的iOS 18.1 Beta版现在是99好意思金一年的注册开荒者禁止，是以平日用户还得等等。

还有等于之前说过的，只撑捏M系和A17 Pro芯片，也等于说iPhone中只好部分地区的15 Pro和15 Pro Max能用。

除了硬件和身份要求，系统缔造也需要修改，要将地区缔造为好意思国，且教诲和Siri的说话王人要改成英语。

得志了总共这些要求之后，就不错……加入恭候队伍了。

这次上线的Apple Intelligence是部分功能，主要围绕文本生成、Siri和相册这几个模块。

先说文本生成，行动苹果AI的挫折构成部分，该功能的视适用范围不局限于苹果官方应用。

只消使用标准输入文本系统，在第三方应用标准当中也能应用该功能进行文本转头、校对和重写。

另外吞并iOS 18 Beta的语音备忘录中仍是上线的音频转录功能，文本生成系统还不错为灌音生成摘要。

第二个比较挫折的更新等于Siri了。

界面上，新版Siri不再是一个圆形图标，在运转时会有环绕屏幕的彩色光束缚闪动。

而且还给不想语音对话的用户提供了文本对话形式，双击屏幕底部即可调出键盘，与Siri打字交流。

本色方面【ADVSR-100】ビザールオルガズム 48，新版Siri将概况解答与苹果产物相关的问题，匡助用户进行故障扬弃。

另外，新的Siri还不错够交融从一个查询到下一个查询的坎坷文，举例要求Siri创建日期事件，然后肯求创建提醒，而无需重述正在接洽的本色。

不外，之前先容的屏幕感知功能，并未包含在这次Siri 的更新当中。

相册的更新则让用户不错用当然说话搜索特定相片，甚而是视频当中的具体时刻。

以上等于本次开荒者测试版块中接洽AI的大要本色，需要指出的是，这仅仅之前发布会上所展示的功能中的一部分，还有许多莫得上线。

特别地，之前提到过的ChatGPT集成，这次更新也暂未接入。

解密苹果大模子

苹果仍是说过，ChatGPT在苹果AI中不是必选项，主邀功能是由自家的大模子驱动。

而对于这个模子，苹果也在上线的同期发布了全面的时间呈文。

模子的名字简便泼辣，就叫苹果基础模子（Apple Foundation Model，简称AFM），有端侧（on-device）和云侧（server）两个版块。

端侧模子的参数目在3B傍边，云侧则未具体清楚，只说是比端侧更大，二者王人有32k的坎坷文窗口。

★磨练过程英伟达含量为0

模子的磨练通过自家基于JAX的AXLearn框架进行，并采纳了张量并行、活水并行等政策。

硬件则采纳的是谷歌TPU，其中云侧用了8192颗TPUv4芯片，端侧用了2048颗TPUv5p芯片，总之英伟达含量为0。

数据则主要来源于通过Applebot爬取的网页，以及有大众许可的代码和数学数据集。

值得一提的是，苹果选用的数据聚拢无一使用GPL，王人是MIT、Apache、CC0这些敞开进度更高的开源契约。

经过上，AFM的预磨练过程共分三个阶段——中枢磨练、持续磨练和坎坷文延长。

在中枢磨练阶段中，云侧版块的数据量有6.3T tokens，窗口长度为4096，端侧版块则是在此基础之上蒸馏得到。

持续磨练时，低质地数据的权重会被缩短，并使用数学、代码以及获取授权的高质地数据，对模子智商进行擢升。

该过程使用了1T tokens的数据，窗口长度也从4096变成了8192。

到了下一阶段，窗口长度被进一步现实到32k，触及长序列文本和合成数据，总量为100B tokens。

★始创强化学习新算法

AFM的后磨练则包括指引监督微调（SFT）、东谈主类反馈强化学习（RLHF）等责任。

其中SFT阶段使用了合成数据与东谈主类标注数据，合成数据主要对于数学、用具使用和代码。

而在RLHF阶段，苹果自创了iTeC和MDLOO两种强化学习算法。

iTeC全称Iterative Teaching Committee，可译作“迭代教训委员会”，是一种用于强化学习后磨练的算法，旨在通过多轮迭代优化模子的性能。

其中枢念念想是吞并不同的偏好优化算法，包括闭幕采样、凯旋偏好优化（DPO），使得模子概况从多种优化政策中受益，从而提高其对特定任务的适当性和性能。

在每次迭代中，iTeC会从最新的模子中选择一组进展最好的模子，酿成一个“模子委员会”。这些模子是经过SFT、RS、DPO/IPO和RL等不同磨练表率得到的。

通过采集东谈主类对模子反映的偏好反馈，iTeC束缚更新其奖励模子，并用于磨练新的模子齐集。

每采集一批东谈主类偏好数据后，iTeC会刷新其奖励模子，并磨练新的模子齐集，以此轮回进行多轮迭代，逐步擢升模子性能。

MDLOO则是一种在线强化学习算法，特别想象用于优化模子的反映质地。

行动在线算法，它能在模子磨练过程中及时解码反映，并应用RL算法来最大化奖励。

也等于说，这种表率使得模子概况在磨练过程中束缚学习和治愈其政策，以生成更适当东谈主类偏好的反映。

具体收尾上，它吞并了留一法（Leave-One-Out，LOO）上风忖度器和镜像下落政策优化（MDPO），以收尾更平稳和有用的政策更新。

★端侧羼杂精度量化

为了让端侧模子更高效运转，同期幸免占用过多内存资源，苹果对AFM的端侧版块进行了量化操作。

具体来说，苹果采纳了羼杂精度的量化形式，针对不同要领采纳了不同的量化精度。

苹果采纳的形式被称为“调色板”政策，在调色板量化中，权重不是每个单独量化，而是将它们分组，并让组内的权重分享相似的量化常数。

对于投影权重，每16列/行分享相似的量化常数，况兼使用K-means算法进行4位量化。

针对镶嵌层，由于是输入和输出分享的，采纳了8位整数进行每通谈量化，另外还有某些挫折性相对较低的层被进一步压缩到2位量化。

为了复原量化后耗损的性能，以保捏模子的输出质地和准确性，苹果还引入了准确性复原适配器（Accuracy-Recovery Adapters）。

该适配器是微型的神经辘集模块，不错插入到预磨练模子的特定层中，在量化模子的基础上进行磨练，通过微调来学习奈何抵偿量化带来的影响。

★部分任务卓越GPT-4

应用了一系列优化时间之后，也到了验收模子进展的时期了。

在这过程中，苹果采纳了东谈主类评估与自动化评估相吞并的政策。

先说东谈主工评估，评估东谈主员想象了涵盖分析推理、头脑风暴、聊天机器东谈主等方面的多类问题，并让模子生成相应。

同期，问题也会被提给用于对比的其他模子，然后由评估东谈主员评判哪个模子的输出更好。

遵守，无论是云侧如故端侧模子，王人有至少60%的概率不输给Llama 3、GPT-4等对比模子。

其余的测试主要应用数据会聚束。

在指示礼服智商上，苹果进行了IFEval测试，遵守在指示和prompt两个档次上，云侧AFM王人逾越了GPT-4，成为了新的SOTA。

端侧模子的进展，也逾越了Llama 3-8B、Mistral-7B等肖似边界的模子。

在AlpacaEval当中，端侧和云侧AFM也王人取得了第二名的收获。

再看具体任务上的进展，AFM在写稿类Benchmark当中的转头任务上取得了SOTA，撰写任务上也与第又名接近。

数学上，苹果用GSM8K和MATH两个数据集进行了评估。

遵守端侧模子在GSM8K上不敌Llama 3-8B和微软的Phi 3 mini，云侧被GPT-4和Llama 3-70B卓越，但优于GPT-3.5。

MATH上的收获相对高些，端侧版最初了同边界模子，云侧版也卓越了Llama 3-70B。

性能除外，安全性也特别挫折，苹果通过东谈主工形式对AFM挣扎对抗性攻击的智商进行了评估。

遵守骄贵，AFM在靠近对抗性教唆时，收尾的违背率显赫低于其他开源和生意模子。

以上等于苹果大模子时间呈文中一些值得关心的本色，更多细目可参阅呈文原文。

One More Thing

固然Apple Intelligence仍是提供给开荒者进行测试，但彭博社爆料说，郑再版可能会延长上线。

真实，按照苹果此前的版块发布规矩，18.1的版块号也意味着，这些功能不会跟着9月的新机发布一同上线。

对此分析师Gene Munster提出，苹果应该筹商推迟iPhone 16的发布日期，以与Apple Intelligence保捏一致。

至于库克会不会筹商这个提出，就静瞻念其变了。

呈文地址：https://machinelearning.apple.com/research/apple-intelligence-foundation-language-models参考一语气：[1]https://x.com/reach_vb/status/1818014366555586611[2]https://www.cnbc.com/2024/07/29/apple-releases-apple-intelligence-its-long-awaited-ai-features.html[3]https://www.tomsguide.com/phones/iphones/ios-181-developer-beta-is-live-with-apple-intelligence-heres-all-the-new-iphone-ai-features[4]https://www.businessinsider.com/apple-intelligence-delay-wont-hurt-new-iphone-sales-analysts-2024-7