電通デジタルでバックエンド開発をしている松田です。弊社ではデータパイプラインの構築や管理のために主にApache Airflowを利用しています[1, 2]。 本記事では、AirflowのOperatorを使ってタスク実行環境を分離する方法についてご紹介します。 タスク実行環境を ...

データを効率よく扱うにはデータの統合が欠かせない。データ統合のツールとして「統合ジョブ管理ツール」がある。クラウドの利用が広がるとともに、オープンソースソフトウエアの「Apache Airflow」を利用する企業が増えてきた。今回は効率よくデータを統合するためのサービスであるApache ...

The Apache Software Foundation(以下、ASF)は米国時間2019年1月8日、ビッグデータパイプラインを管理するためのワークフロー自動化およびスケジューリングシステム「Apache Airflow」を、トップレベルプロジェクトに押し上げたことを公式ブログで明らかにした。

ワークフロー管理ツール「Apache Airflow」の拡張コンポーネント「Providers Edge3」に脆弱性が明らかとなった。 開発用に提供されている同コンポーネントを特定環境下で利用した際に、ウェブサーバのコンテキストで任意のコードを実行されるおそれがある脆弱 ...