作業ファイル

パイプライン全体の設定項目の「作業ファイル」項目で「保存する」をオンにすると、各ステージで処理されるデータが作業ファイルとして保存されます。

デバッグ時やトラブル時などに各ステージでの処理結果などを確認するのに便利です。ただし、ファイルがそのまま残りますので、巨大なデータを取り扱う場合などは十分注意が必要です。運用時には「保存しない」をオンにしておくことをお勧めします。

作業ファイルが出力されるフォルダ

作業ファイルは [DATA_DIR]/pipeline/data/log/<pipeline_id>/<日付>/<request_id> に出力されます。

作業ファイルのサイズとメンテナンス

作業ファイルはパイプラインおよび日付ごとのフォルダに出力されます。ファイルサイズはその処理データに依存します。また、パイプラインが動作するごとに出力されますので、運用時に出力するように設定されている場合は定期的なメンテナンスが必要です。ハードディスク容量とテスト運用時のログ出力のサイズを比較し、前日以前に出力されたログファイルをそのままにしておくか、アーカイブを行うか、バックアップして削除をするか、そのまま削除するかといった運用形態を決定します。

関連項目

作業ファイルの保存については、「コーディネーター」-「パイプラインを設定する」-「パイプライン全体の設定項目」を参照してください。