TopsTipNvidia 今天在 GTC 会议上宣布推出 Nvidia NIM，这是一个新的软件平台，旨在简化定制和预先训练的 AI 模型在生产环境中的部署。NIM 继承了 Nvidia 围绕推理和优化模型所做的软件工作，并通过将给定模型与优化的推理引擎相结合，然后将其打包到容器中，使其作为微服务进行访问，从而使其易于访问。
NIM 目前支持 NVIDIA、A121、Adept、Cohere、Getty Images 和 Shutterstock 的模型，以及 Google、Hugging Face、Meta、Microsoft、Mistral AI 和 Stability AI 的开放模型。Nvidia 已经与亚马逊、谷歌和微软合作，分别在 SageMaker、Kubernetes Engine 和 Azure AI 上提供这些 NIM 微服务。它们还将集成到 Deepset、LangChain 和 LlamaIndex 等框架中。
