发布于: May 11, 2021

即日起,HAQM EMR on EKS 在欧洲(巴黎和斯德哥尔摩)区域推出。

HAQM EMR on EKS 允许客户自动配置和管理 HAQM EKS 上的开源大数据框架。通过 EMR on EKS,客户现可以在同一 EKS 集群上与其他类型的应用程序一起运行 Spark 应用程序,以提高资源利用率并简化基础设施管理。客户可以将 EMR 应用程序与其他类型的应用程序部署在同一 EKS 集群上,使其能够共享资源,并在单一解决方案中实现所有应用程序操作和管理的标准化。客户可以在 EKS 上获得目前在 HAQM EC2 上使用的相同 EMR 功能,诸如访问最新的性能优化 Spark 运行时间、EMR Studio(预览版)进行应用程序开发和持续 Spark UI 进行调试。

首先,向 HAQM EMR 注册 EKS 集群。然后,定义您的作业,包括 EMR 版本、Spark 参数和应用程序依赖项。HAQM EMR on HAQM EKS 会将 Pod、容器和资源调度到您的 HAQM EKS 集群上。您可以将作业配置为在 HAQM EC2 实例上运行,如果您想要无服务器体验,也可以配置为在 HAQM Fargate 上运行。您可以使用 HAQM Managed Workflows for Apache Airflow 创建工作流程,并使用存储在 HAQM S3 或 HAQM CloudWatch 中的每个作业日志分析输出。

有关 HAQM on EKS 的更多信息,请访问我们的 HAQM on EKS 发布博客HAQM EMR on EKS 文档或查看我们关于 HAQM EMR on EKS 的深入探究技术讲座