Краулеры

Краулеры предназначены для сбора метаданных из систем-источников данных различного типа вручную или автоматически по заданному расписанию. Полученные метаданные загружаются в систему Юнидата DG и содержат собственные типы активов и связей, которые доступны для дальнейшей настройки и редактирования внутри системы.

Краулер представляет собой точку расширения, которая содержит базовые методы получения и отправки данных, а также позволяет реализовывать подключения к различным СУБД (например, MySQL или MongoDB). По умолчанию в систему загружен краулер БД PostgreSQL.

При проектной разработке краулера, например, для MongoDB помимо методов получения и отправки данных в краулер будут добавлены методы поиска определенных типов активов по заданному атрибутивному составу и методы извлечения подходящих из всех имеющихся типов.

Загрузка описания краулера

Описание краулера загружается в систему в разделе «Библиотеки» в виде Java-кода, после чего краулер добавляется в список доступных в разделе «Краулеры».

Описание краулера может также содержать типы активов, которые далее импортируются в систему в разделе «Поиск по активам».

Добавление краулера

Чтобы добавить краулер:

1. Убедитесь, что открыт раздел «Краулеры».

2. Нажмите «Добавить краулер» в нижней части списка краулеров (Рисунок 1).

3. В результате действия откроется мастер библиотек. Нажмите на строку требуемой библиотеки и перейдите на следующий шаг.

4. Выделите необходимый краулер в списке найденных и добавьте его в список выбранных с помощью кнопки (Рисунок 2). Перейдите на следующий шаг.

5. На 3 шаге мастера при необходимости добавьте или отредактируйте имя, отображаемое имя краулера или описание. Имя заполняется латинскими буквами без пробелов и является системным именем. Отображаемое имя может заполняться кириллицей и используется для отображения в интерфейсе. Системное имя недоступно для редактирования после сохранения.

6. Нажмите «Добавить», в результате чего в систему будет добавлен новый краулер.

7. Настройте основные параметры краулера (Рисунок 1 – 2). Список параметров зависит от загруженного в систему файла краулера.

8. Нажмите кнопку «Сохранить» в правом верхнем углу экрана.

Чтобы удалить краулер:

1. Выберите необходимый для удаления краулер из списка существующих.

2. Нажмите кнопку «Удалить» в правом верхнем углу раздела.

Рисунок 1 – Мастер добавления краулера (шаг 2)

Рисунок 2 – Раздел «Краулеры»: 1 – Список существующих краулеров, 2 – Настройка параметров краулера