パイプラインのメカニズム
パイプラインの構成
パイプラインは、データを収集する「センサー」、データを変換・抽出する「フィルター」、データを送信する「ジョイント」の3つのステージから成り、それぞれのステージ毎に用意されたアクションを設定することでデータの取得や変換、受け渡しを実現します。さらに標準機能として、各ステージでの処理結果データを内部的に保存する領域が用意されています。
パイプラインのメカニズム
パイプラインでは、ステージ毎に処理が行われ、各ステージでの処理が終了するタイミングで処理結果データが内部に一度保存されます。処理データを保存した後にそのデータを使用して次のステージの処理が行われます。仮に、その過程で何らかのトラブルが発生しステージの処理が途中で中断した場合でも、あらかじめリトライの設定を行っておけば、その設定に従い保存されたデータを使用し自動的にステージ処理の再実行が行われます。
またエラーが発生したパイプラインの管理（リトライの設定、エラー処理の手動実行・削除、実行ログの参照など）もWebベースのクライアント環境である「パイプラインコーディネーター」経由で提供いたします。このような仕組みを提供することで安心、安全なシステム・データ連携環境を実現します。
