Закладка “Фазы выполнения”¶

Общие сведения¶

Правила качества данных могут быть запущены во время разных фаз потока выполнения. За счет этого становится возможным:

Распределение нагрузки на систему.
Применение различных сценариев запуска качества данных.

Доступны следующие фазы:

ORIGIN. Срабатывает первой. Если хотя бы одно правило качество валидации выдает критическую ошибку, то процесс вставки / обновления записей прекращается. Если в этой фазе содержатся правила качества обогащения, то записи будут обновляться также до появления первой ошибки валидации.
ETALON. Любые ошибки валидации на этой фазе только индексируются. Правила качества в режиме обогащения обновляют записи. Фаза запускается после того, как в систему будут сохранены данные о периодах актуальности.

Схема работы фаз выполнения:

Фазы добавляются в поток выполнения “Вставка записи”.
Описание фаз добавляется в разделе “Качество данных” > закладка “Фазы выполнения”.
После того как описание фаз создано, в разделе “Качество данных” > закладка “Назначение” появляются столбцы с названиями фаз выполнения.
При назначении правил качества выбирается тип актива/справочник, для которого в соответствующих столбцах фаз указывается один или несколько наборов правил качества.
При загрузке данных в выбранный тип актива/справочник запускается поток выполнения “Вставка записи”.
- Первой запускается фаза ORIGIN. В процессе загрузки данных сработают все наборы правил качества, которые были указаны для этой фазы и этого типа актива/справочника. Если фаза завершится без критических ошибок, то вставка записей продолжится.
- Фаза ETALON запускается после того, как будут загружены все данные о периодах актуальности записей. Фаза ETALON использует периоды актуальности, поэтому такая последовательность обязательна. Эта фаза не выдает ошибок, поэтому завершится, сохранив все данные об ошибках в индексах.
В результате должны быть загружены данные в систему (с учетом всех ошибок качества, трансформаций и т.д.).

Добавление фазы¶

Чтобы создать фазу выполнения:

Убедитесь, что фазы добавлены в потоки выполнения.
Вернитесь в раздел “Правила качества” - закладка “Фазы выполнения”.
Нажмите кнопку “Создать фазу выполнения”, расположенную в правой углу таблицы.
В результате действия откроется выдвижная панель с настройками новой фазы.
Укажите логическое имя фазы выполнения. На текущий момент доступны варианты: origin и etalon.
Укажите отображаемое имя фазы. Оно может быть любым удобным для идентификации фазы.
При необходимости добавьте описание.
Сохраните изменения. Нажмите кнопку «Сохранить», расположенную в верхнем правом углу панели.