本地 AI 模型运行工具 Ollama 今日宣布重要更新,现已支持在搭载 Apple Silicon 芯片的 Mac 设备上原生运行。这次更新通过集成苹果的 MLX 机器学习框架实现,目前处于预览版阶段。

对于 Mac 用户来说,这是一个令人振奋的消息。通过利用 MLX 框架,Ollama 能够更好地发挥苹果自研芯片的 AI 加速能力,为用户带来更流畅的本地 AI 模型运行体验。MLX 是苹果专门为其 Silicon 芯片开发的机器学习框架,具有出色的性能优化特性。
性能提升与技术细节
此次更新的核心在于 MLX 框架的深度整合。MLX 框架专门针对苹果芯片的神经引擎进行了优化,能够充分利用硬件资源,提供更高效的模型运算能力。这意味着用户在运行大型语言模型时,将获得更快的响应速度和更好的能效比。
值得注意的是,目前这项功能仍处于预览阶段。这表明 Ollama 团队正在积极收集用户反馈,以进一步优化性能和稳定性。对于经常使用本地 AI 模型的 Mac 用户而言,这无疑是一个值得关注的重要更新。
从技术角度来看,Ollama 选择 MLX 作为底层框架是一个明智之选。这不仅能提供更好的性能,还能确保与苹果生态系统的深度整合。随着更多开发者开始关注本地 AI 部署,这样的技术选择很可能会影响整个行业的发展方向。
对于想要尝鲜的用户,可以通过 Ollama 的官方渠道获取这个预览版本。不过考虑到目前仍是预览阶段,建议在生产环境中谨慎使用。相信随着更多用户的测试反馈,Ollama 团队会在未来的正式版本中带来更多优化和改进。

TopsTip