aws正式推出sagemaker无服务器推理服务 – 十轮网-九游会官网真人游戏第一品牌

aws在re:invent 2021大会中发布的机器学习sagemaker无服务器推理(sagemaker serverless inference)服务,现在已经正式上线。用户可以使用该服务快速部署机器学习模型,执行推理工作负载,而不需要配置和管理底层基础设施。

当用户在sagemaker部署模型时,只需要选择无服务器选项,sagemaker就会根据推理请求的数量,自动配置、扩展和缩减运算容量,aws提到,用户仅需要针对处理推理请求的运算容量,和资料量支付费用,不需要对空闲时间付费,因此很适合用于间歇性或是不可预测流量的应用程序。

从re:invent 2021大会发布以来,aws持续更新sagemaker无服务器推理,加入了对python sdk的支持,抽象模型部署来简化开发者的工作,同时支持模型注册表,让开发者可以集成无服务器推理端点和mlops工作流程。aws也加大每个端点并行触发的上限,从50提升到200,使得用户可以将sagemaker无服务器推理用于高流量工作负载。

发表评论