インスタンスフリートの再構成により、実行中の EMR クラスターを動的に更新します

本記事は、2025 年 2 月 17 日にAWS公式サイトの What’s New with AWS? に掲載された英語記事を自動翻訳したものです。

ニュース内容

EC2 上の Amazon EMR は、クラスターの終了や再起動を必要とせずに、EMR インスタンスフリートのアプリケーション設定をリアルタイムで更新できるようになりました。この機能により、お客様は実行中のクラスターで Spark のエグゼキューターメモリ、YARN のリソース割り当て、HDFS 設定などのアプリケーション設定をシームレスに動的に調整できるようになり、ワークロードの中断を最小限に抑えることができます。これは、リソース割り当てを調整し、データ処理とジョブパフォーマンスの要件に合わせてアプリケーションを微調整し、最適なリソース使用率を確保する場合に特に便利です。

Amazon EMR は、Apache Spark、Apache Flink、Trino などのオープンソースフレームワークを使用したデータ処理、インタラクティブ分析、機械学習のためのクラウドビッグデータプラットフォームです。以前は、インスタンスフリートクラスターを終了して新しい設定で再起動する必要がありました。

このプロセスにより、ダウンタイム、運用作業の増加、ワークフロー調整の遅延が発生しました。再構成のサポートにより、EMR はクラスターノードに更新された設定をローリングベースで動的に適用しながら、クラスターの安定性とリソースの可用性を確保します。

Amazon CloudWatch と EMR イベントを介してお客様に通知を提供します。障害または互換性のない更新が発生した場合、EMR は変更をロールバックして、クラスターが引き続き動作できるようにします。更新プロセス中も、クラスターでワークロードを実行し続けることができます。

この機能は、AWS CLI または API を使用して、EMR 5.21 以降のすべてのリリースで利用できます。この機能は、Amazon EMR on EC2 が利用可能な AWS GovCloud (米国) リージョンを含むすべての AWS リージョンで利用できます。詳細については、こちらのドキュメントを参照してください。

原文

Amazon EMR on EC2 now supports real-time update of application configurations for EMR instance fleets without requiring cluster termination or restart. With this feature, customers can now dynamically adjust application configurations, such as Spark’s executor memory, YARN’s resource allocation, and HDFS settings seamlessly, on a running cluster, minimizing interruptions to your workloads. This is particularly useful for adjusting resource allocation and fine-tune applications to match data processing and job performance requirements, while ensuring optimal resource utilization.

Amazon EMR is a cloud big data platform for data processing, interactive analysis, and machine learning using open-source frameworks such as Apache Spark, Apache Flink, and Trino. Previously, you had to terminate and relaunch instance fleet clusters with new configurations. This process resulted in downtime, increased operational effort, and delayed workflow adjustments. With support for reconfiguration, EMR dynamically applies the updated configurations on cluster nodes on a rolling basis while ensuring cluster stability and resource availability. It provides notifications to customers via Amazon CloudWatch and EMR events. In the event of a failure or an incompatible update, EMR rolls back the changes to ensure your cluster remains operational. You can continue to run workloads on the cluster during the update process.

You can leverage this feature on all EMR 5.21 and later releases using AWS CLI, or API. This capability is available in all AWS Regions, including the AWS GovCloud (US) Regions, where Amazon EMR on EC2 is available. To learn more, please refer to the documentation here.

引用元：Dynamically update your running EMR cluster with reconfiguration for instance fleets