スケジュールとトリガーによるジョブの自動化
Lakeflowジョブでは、次のいずれかの状況でジョブが自動的にトリガーされるように設定できます。
- 時間ベースのスケジュールで
- Unity Catalog の保存場所にファイルが到着したとき
- 継続
また、ジョブの実行を手動でトリガーすることも、外部のオーケストレーション ツールを使用してトリガーすることもできます。
ジョブ・スケジュールとトリガー
トリガータイプ | 挙動 |
---|---|
スケジュール | 時間ベースのスケジュールに基づいてジョブの実行をトリガーします。 「スケジュールに従ってジョブを実行する」を参照してください。 |
テーブルの更新 | トリガーは、ソース テーブルが更新されたときに実行されるジョブです。「ソース テーブルが更新されたときにジョブをトリガーする」を参照してください。 |
ファイル到着 | 監視対象の Unity Catalog ストレージの場所に新しいファイルが到着したときに、ジョブの実行をトリガーします。 「新しいファイルの到着時にジョブをトリガーする」を参照してください。 |
連続 | ジョブを常に実行し続けるには、ジョブの実行が完了または失敗するたびに別のジョブ実行をトリガーします。 「ジョブの継続的な実行」を参照してください。 |
なし(手動) | 実行は、[ 今すぐ実行 ] ボタンを使用して手動でトリガーするか、他のオーケストレーション ツールを使用してプログラムでトリガーされます。 「1 つのジョブ実行をトリガーする」を参照してください |
デフォルトでは、一度にアクティブにできるジョブの実行は 1 つだけです。 ただし、詳細設定でこの制限を増やすことは可能です。 実行は、ジョブに設定された最大同時実行数を超えるとスキップされます。 「最大並列実行の構成」を参照してください。
ジョブのトリガーを構成する
-
トリガーを構成するジョブを開きます。
-
[ジョブの詳細 ] ウィンドウで、[ スケジュールとトリガー ] セクションまで下にスクロールし、[ トリガーの追加 ] をクリックします。
-
[スケジュールとトリガー] で、設定するトリガーのタイプ ( [スケジュール済み] 、 [テーブル更新] 、 [ファイルの到着] 、または [継続]) を選択します。
トリガーのタイプに基づいて、他のオプションも構成できます。
-
[保存]を クリックします。トリガーを保存すると、構成された場所に新しいファイルが到着したときにのみジョブが開始されます。
複数のタスクを持つジョブの 1 つ以上のタスクが失敗した場合は、失敗したタスクのサブセットを再実行できます。 失敗したタスクとスキップされたタスクの再実行を参照してください。
停止する ジョブ トリガーと再開ジョブ トリガー
ジョブを停止したり再開したりするには、ジョブ の詳細 ペインの [Schedules & Triggers] (スケジュールとトリガー ) で行います。 [停止する ] ボタンと [再開] ボタンは、トリガーが設定されているジョブにのみ表示されます。
アクティブなジョブトリガーを停止させるには、[ 停止する ] をクリックします。 トリガーを一時停止すると、現在アクティブな実行は続行されますが、トリガーは新しい実行を開始しなくなります。
トリガーを再開するには、[ 再開] をクリックします。 トリガーを再開すると、以前に設定したのと同じスケジュールで、設定した動作が再開されます。
トリガーを作成または編集する際には、「 スケジュールとトリガー 」ダイアログでこれらの設定を制御することもできます。 [Active ] と [Stopdownd] を切り替えて、[ Trigger Status ] を制御します。
連続トリガーが再開されたときに実行がアクティブである場合、ジョブ・スケジューラーは、その実行が完了するまで待機して新しい実行をトリガーします。