logo头像

From zero to HERO

亚马逊和脸书发布 TorchServe 解决Pytorch 模型的部署问题

4月21日亚马逊和脸书联合发布,PyTorch 用户可以使用TorchServe(PyTorch生态新的模型服务框架)来大规模部署经过训练的模型,而无需编写自定义代码。

PyTorch是最初由Facebook创建的开源机器学习框架,由于其易用性在机器学习研究人员和数据科学家中广受欢迎。

img

但是,在生产中部署和管理模型通常是机器学习过程中最困难的部分,需要客户编写预测API并对它们进行扩展,而谷歌的 Tensorflow 工业化程度更高。TorchServe 的发布开始打破 Pytorch 的被动局面。

img

通过TorchServe,可以轻松地在生产环境中大规模部署PyTorch模型。它以低延迟提供轻量级服务,因此您可以部署模型以进行高性能推理。它为最常见的应用程序提供了默认处理程序,例如目标检测和文本分类,因此您不必编写自定义代码即可部署模型。借助强大的TorchServe功能,包括多模型服务,用于A / B测试的模型版本控制,用于监视的指标以及用于应用程序集成的RESTful端点,您可以将模型从研究阶段快速投入生产。TorchServe支持任何机器学习环境,包括Amazon SageMaker,Kubernetes,Amazon EKS和Amazon EC2。

TorchServe由AWS与Facebook合作构建和维护,是PyTorch开源项目的一部分。相关的代码已经开放可到GitHub进行下载。

评论系统未开启,无法评论!