AWS Step Functions が分散マップのデータソースと出力オプションを拡張

本記事は、2025 年 2 月 7 日にAWS公式サイトの What’s New with AWS? に掲載された英語記事を自動翻訳したものです。

ニュース内容

AWS Step Functions は、分散マップの追加データソースと出力オプションをサポートするようになり、より柔軟な大規模並列処理ワークフローが可能になります。分散マップは、JSON ライン (JSONL) と Amazon S3 に保存されているより広範な区切りファイル形式のデータを処理できるようになりました。さらに、分散マップは、結果のフォーマットをより細かく制御するための新しい出力変換を提供します。

AWS Step Functions は、220 を超える AWS サービスの 14,000 を超える API アクションをオーケストレーションして、分散アプリケーションとデータ処理ワークロードを構築できるビジュアルワークフローサービスです。この更新により、Step Functions 分散マップを使用して、さまざまなデータセットをより簡単に反復処理して処理できます。既存の JSON およびカンマ区切り値 (CSV) ファイルのサポートに加えて、分散マップは JSONL と、セミコロン区切りファイルやタブ区切りファイルなどの新しい区切りファイル形式をサポートするようになりました。これにより、カスタムの前処理なしで、処理機能がより広範なデータ形式に拡張されます。新しい柔軟な出力変換により、結果のフォーマット方法をより細かく制御できるようになり、結果の集約が容易になり、下流のシステムとの統合が簡素化されます。

開始するには、AWS Step Functions コンソールで今すぐ分散マップモードを使用するか、このブログ投稿をお読みください。詳細については、Step Functions 開発者ガイドをご覧ください。

原文

AWS Step Functions now supports additional data sources and output options for Distributed Map, enabling more flexible large-scale parallel processing workflows. Distributed map can now process data from JSON Lines (JSONL) and a broader range of delimited file formats stored in Amazon S3. Additionally, distributed map offers new output transformations for greater control over result formatting.

AWS Step Functions is a visual workflow service capable of orchestrating over 14,000+ API actions from over 220 AWS services to build distributed applications and data processing workloads. With this update, you can more easily iterate over and process diverse datasets using Step Functions distributed map. In addition to existing JSON and comma separated value (CSV) file support, distributed map now supports JSONL, and new delimited file formats, such as semicolon-delimited files and tab-delimited files. This expands processing capabilities to a wider range of data formats without custom pre-processing. The new flexible output transformations give you more control over how results are formatted, enabling easier aggregation of results and simplifying integration with downstream systems.

To get started, you can use the distributed map mode today in the AWS Step Functions console or read this blog post. To learn more, visit the Step Functions developer guide.

引用元：AWS Step Functions expands data source and output options for Distributed Map