MENU

AWSエンジニア入門:AWS Data Pipelineとは

AWS Data Pipelineはデータの移動と変換を自動化できるウェブサービスです。
クラウドサービスでありながら、オンプレミスの処理も実行できるのが特徴です。
ここではAWSエンジニアを雇用する上で知っておきたい、AWS Data Pipelineの基礎知識について紹介します。

AWS Data Pipelineとは

AWS Data Pipelineはデータの移動や変換を簡単に自動化できるウェブサービスのことです。
AWSのさまざまなサービスやストレージサービス、オンプレミス間で信頼性の高い処理や移動を行えます。
AWS Data Pipelineは保存場所にあるデータに定期的にアクセスし、必要なスケールのリソースを使って変換と処理を行います。
そうすることで、Amazon S3、Amazon RDS 、Amazon EMRのサービスと効率的にデータ転送可能です。
またそれぞれ指定したスケジュールで起動ができます。
さらにshellの起動も可能なため、cronの代わりとして使うこともあります。

AWS Data Pipelineの価格

AWS Data Pipelineは顧客のアクティビティと前提条件の実行スケジュール頻度、実行場所によって請求されます。

高頻度 低頻度
AWS で実行するアクティビティまたは前提条件 1 か月あたり 1 か月あたり
1.00USD 0.60USD
On-Premise を実行するアクティビティまたは前提条件 1 か月あたり 1 か月あたり
2.50USD 1.50USD

エンジニアがAWS Data Pipelineを使用するメリット

AWS Data Pipelineにはさまざまなメリットがあります。
ここでは主に6つのメリットについて紹介します。

高い信頼性

AWS Data Pipelineはアクティビティ実行の耐障害性を高めるために、高可用性を備えた分散型インフラストラクチャー上で構成されているのが特徴です。
データソースなどの障害が発生した場合でも、自動的にアクティビティを再試行してくれます。

使いやすさ

AWS Data Pipelineはドラッグ&ドロップで操作ができるコンソールを採用しています。
また良く使用される前提条件がサービスに既に組み込まれており、追加のロジックを記述しなくてすみます。

柔軟性がある

エラー処理、スケジュール設定などさまざまな機能が備わっています。
さらにAWSが提供している前提条件を使用したり、ユーザー独自のカスタム前提条件を使用したりすることも可能です。

スケーラブル

1台のマシンに送信する場合でも、多数のマシンに送信する場合でも簡単な作業で行えます。
たとえ何百万のファイルを処理しなくてはいけない時でも、1つのファイル処理と同じように行えるのが特徴です。

低コスト

使用にかかるコストが安価なのが特徴です。
またAWSの無料利用枠を使うことで、無料で試せます。

透過性がある

ビジネスロックを実行するためのコントロール権は顧客側にあるため、ロジックの拡張やデバックも簡単に行えます。

データの移動や処理が容易になる

AWS Data Pipelinを利用すれば多数のデータの管理や移動が簡単になります。
AWSの無料利用枠を使えば無料で試せるので、一度試してみてはいかがでしょうか。

※出典元
AWS「AWS Data Pipeline」
https://aws.amazon.com/jp/datapipeline/?hp=tile&so-exp=below
AWS「AWS Data Pipeline の料金」
https://aws.amazon.com/jp/datapipeline/pricing/
AWS「AWS Data Pipeline ドキュメント」
https://docs.aws.amazon.com/ja_jp/data-pipeline/?id=docs_gateway

ソリューションアーキテクトアソシエイトの取得エンジニアを紹介いたします。