ETL-сервис Универсальной витрины данных#

Модуль «ETL-сервис Универсальной витрины данных» обеспечивает прием данных из ведомственных информационных систем (ВИС), их предобработку, трансформацию и последующую передачу в универсальную (региональную) витрину данных (РВД) в соответствии с едиными функциональными и техническими требованиями Минцифры РФ.

Модуль позволяет:

создавать новые соединения к источникам и приемнику данных и управлять ими;

задавать и изменять параметры соединения к источникам данных;

выполнять настройку и управление процессами;

отслеживать статусы запросов и ошибки на стороне принимающей системы.

Авторизация#

Аутентификация пользователей выполняется через корпоративный сервис IdP Keycloak (SSO).

Для работы в системе существуют роли пользователя и администратора, разграничивающие права доступа. Учетные записи создает администратор системы по заявке.

Для входа в ETL-сервис откройте адрес веб-интерфейса ETL. Появится страница входа IdP.

Введите логин/пароль учетной записи.

При успешной аутентификации откроется главная страница ETL-сервиса. Доступные разделы и кнопки действий отображаются в зависимости от назначенной роли.

Для выхода из системы нажмите «Выйти» в правом верхнем углу. Сессия в IdP завершится, повторный вход потребует повторной аутентификации.

В соответствии с политикой безопасности сессия завершается автоматически при длительном бездействии (настройка в IdP).

Ошибки доступа и типовые ситуации:

Недостаточно прав (403/«Доступ запрещен») – обратитесь к администратору для назначения требуемой роли.

Неверные учетные данные/блокировка – восстановление, разблокировка выполняются средствами IdP по регламенту организации.

Создание пользователя#

Чтобы создать пользователя:

Авторизуйтесь в IdP Keycloak под администратором.
В левом меню выберите Manage realms → etl (ваш realm).

Перейдите в раздел Users и нажмите кнопку Create new user.
На вкладке Details заполните обязательные поля. Поля [Email], [First name], [Last name] заполняются при необходимости.

Откройте вкладку Credentials и нажмите кнопку Set password.
Задайте пароль, при необходимости отключите флаг Temporary, нажмите Save и подтвердите.

Назначение ролей пользователю#

Назначение роли через группы (рекомендуемый способ):

В realm etl создайте или проверьте наличие групп etl-admin и etl-user.

Откройте каждую группу и на вкладке Role mapping назначьте ей соответствующие client roles клиента <etl-client-id>:

группе etl-admin – роль ADMIN;

группе etl-user – роль USER.

Вернитесь к пользователю: Users → выберите пользователя → Groups → Join нужную группу (etl-admin или etl-user).

Проверьте вкладку Role mapping пользователя – соответствующие роли должны отображаться как Effective roles.

Назначение роли напрямую (без групп):

Раздел Users → выберите пользователя → Role mapping → Assign role.

В выпадающем списке переключитесь на Client roles клиента <etl-client-id> и выберите нужную роль (ADMIN или USER/VIEWER).

Сохраните.

После назначения роли проверьте вход в ETL-сервис:

Откройте страницу авторизации ETL (OIDC-редирект на Keycloak).

Войдите под только что созданным пользователем.

При корректной настройке realm/клиента и роли доступ будет предоставлен согласно назначенной роли.

Раздел «Системы»#

Раздел предназначен для учета всех интегрируемых информационных систем (ВИС-источники и приемники данных). Здесь отображаются карточки систем с их наименованием и мнемоникой – коротким кодом, который затем используется при настройке соединений и процессов.

Создание:

Нажмите кнопку + Новая система.
Заполните поля:
- [Имя системы] – полное человекочитаемое название. Например, АИС «МФЦ», ГИСОГД. Количество символов 3–120; допускаются буквы/цифры/пробелы/кавычки/дефис/точка; уникально в рамках каталога систем.
- [Мнемоника] – короткий код системы. Например, mfc, gisogd, rvd. Мнемоника должна содержать латинские буквы нижнего регистра (a–z), должна начинаться с буквы и не содержать пробелов, символов-разделителей; 2–16 символов; уникальна.
- [Секрет клиента] – cекрет клиента Keycloak.

Нажмите кнопку Сохранить. В таблице появится запись о созданной системе.

При ошибке валидации значений поля подсветятся красным и будут выведены подсказки. При сбое сохранения отобразится сообщение об ошибке «Не удалось сохранить систему».

Для просмотра карточки системы нажмите на запись в таблице. В карточке отображаются: дата создания, дата изменения, создатель, имя системы, мнемоника, секрет клиента. Доступны действия «Редактировать» и «Удалить».

Редактирование:

Нажмите кнопку Редактировать.
Измените имя системы и/или мнемонику.
Сохраните изменения. Данные обновятся в таблице.

Возможные причины неудачной попытки сохранить изменения: конфликт уникальности, нехватка прав (RBAC), истекшая сессия.

Удаление:

Если система не используется ни в одном процессе, то после нажатия на кнопку Удалить появится окно подтверждения «Удалить систему?». После подтверждения система удаляется без возможности восстановления.

Если система используется в запущенных или связанных процессах, появится предупреждение «Остановить процессы и удалить систему?» со списком затронутых процессов. Подтверждение приведет к остановке указанных процессов и удалению системы.

Раздел «Соединения»#

Раздел предназначен для управления подключениями ETL к внешним системам: источникам (ВИС) и приемникам (РВД, сторонний ETL-сервис, файловые системы). Здесь можно создавать, редактировать, просматривать и удалять соединения.

Создание:

Нажмите кнопку + Новое соединение.
Заполните поля:
- [Имя соединения] – человекочитаемое название; 3–100 символов; допускаются буквы/цифры/пробелы/кавычки/дефис/точка; уникально в рамках каталога систем.
- [Тип соединения] – в выпадающем списке выберите подходящее значение. В зависимости от выбранного типа будут отображены дополнительные поля для заполнения.
2.1. Тип соединения API:
[Адрес API] – полный HTTPS-URL эндпоинта: https://…. Например, https://api.example.com/data/v1/orders. Допускается путь и query-строка; не указывайте чувствительные данные (ключи) прямо в URL – используйте поля авторизации.

[HTTP-метод] – GET/POST/DELETE. Метод определяет, будет ли использоваться тело запроса в процессах. Обязателен для типа API.

[Тип авторизации] – API key или OAuth 2.0:

2.1.1. Тип авторизации API key:

[Ключ доступа] – имя заголовка/параметра, куда помещается секрет. Например, X-API-Key.

[Значение] – секрет, в UI отображается маской.

[Способ передачи] – где передавать ключ. Имя ключа регистрозависимо. Выбирайте тот способ, который требует сторонний API:

Заголовок – клиент добавит X-API-Key: <ваш_ключ>.

Query – клиент добавит ?X-API-Key=<ваш_ключ> к URL.

2.1.2. Тип авторизации Bearer Token (для подключения к ETL):

[Токен] – токен авторизации внешней системы (ETL).

2.1.3. Тип авторизации OAuth 2.0:

[Адрес ключа доступа] – токен URL.

[Тело запроса] – параметры запроса.

[Тип содержимого] – указывает, в каком виде в это соединение будут передаваться бинарные данные файла (когда процессу требуется тело запроса). Доступны:

application/octet-stream – «сырой» бинарный поток;

multipart/form-data – форма с полями и файлом(ами). Обязательно указать [Имя параметра для имени файла] (обычно file). В UI это отдельное поле сразу под переключателем; можно добавить/удалить параметр (иконки «+»/«×»).

Если запрос GET без тела – поле можно оставить по умолчанию.

Для POST загрузок выбирайте тот тип, который ожидает приемник.
2.2. Тип соединения Файловая система:
[Сетевой путь] – UNC, NFS, SMB, опционально логин/пароль или профиль доступа.
Нажмите кнопку Сохранить. В таблице появится запись о созданном соединении.

Для просмотра карточки соединения нажмите на запись в таблице.

Редактирование:

Нажмите кнопку Редактировать.
Измените параметры.
Сохраните изменения.

Данные обновятся в таблице.

Удаление:

Если соединение не участвует ни в одном процессе, то после нажатия на кнопку Удалить появится окно подтверждения «Удалить соединение?». После подтверждения соединение удаляется без возможности восстановления.

Если соединение используется в запущенных или связанных процессах, появится предупреждение «Остановить процессы и удалить соединение?» со списком затронутых процессов. Подтверждение приведет к остановке указанных процессов и удалению соединения.

Раздел «Процессы»#

Раздел позволяет настраивать ETL-процессы и управлять ими: создавать, запускать, останавливать, редактировать и удалять.

Процесс описывает полную цепочку извлечения, преобразования и загрузки (или удаления) конкретного вида данных из системы-источника в систему-приемник через выбранные соединения.

Сортировка записей в таблице осуществляется сначала по колонке [Статус] в следующем порядке: Остановлен из-за ошибки, Остановлен, Запущен. Далее – по алфавиту значений поля [Система-источник].

Создание:

Нажмите кнопку + Новый процесс.
Заполните поля:
- [Вид данных] – выберите в выпадающем списке необходимое значение. Список влияет на доступные системы и зависимости.
- [Вид операции] – загрузка (Upload) или удаление (Delete).
В секции Источник данных:
[Система-источник] – выберите систему, из которой извлекаются данные. Список формируется из справочника «Системы»;

[Соединение] – выберите значение в выпадающем списке. Список формируется из справочника «Соединения».
В секции Приемник данных:
[Система-приемник] – выберите систему, куда отправляются данные. Список формируется из справочника «Системы»;

[Соединение] – выберите значение в выпадающем списке. Список формируется из справочника «Соединения».
В секции Адрес для проверки статуса запроса:
[Соединение] – endpoint для проверки статуса асинхронной обработки на стороне приемника (polling).
В секции Приемник данных для содержимого файла:
[Соединение] – секция и поле будут открыты для заполнения, если в поле [Вид данных] выбран вид данных, содержащий вложения. Указать канал, по которому передаются бинарные вложения/контент.
Сохраните процесс:
- Нажатие кнопки Сохранить добавит созданный процесс в таблицу раздела в статусе «Остановлен».
- Нажатие кнопки Сохранить и запустить добавит созданный процесс в таблицу раздела в статусе «Запущен».

Если процесс зависит от родительских процессов, которые не созданы или не запущены, то запустить его сразу не получится. Будут доступны действия Только сохранить или Отмена.

При нажатии на запись в таблице откроется карточка процесса:

Для управления процессами в их карточках есть кнопки запуска, остановки, редактирования и удаления.

Запуск:

Чтобы запустить процесс, откройте его карточку и нажмите кнопку Запустить.

Для зависимых процессов запуск будет возможен только после запуска родительских (верхнеуровневых) процессов. Процессы, которые нужно предварительно запустить, будут перечислены в открывшемся диалоговом окне.

Например, нельзя запустить передачу статусов заявлений, если не запущен или не создан родительский процесс для передачи вида данных «Заявления и информация о заявителях, госуслугах и подуслугах».

Вид данных (зависимый)	Требуемые запущенные родительские процессы
Заявления и информация о заявителях… (requests_users)	Родителей нет (корневой процесс)
Статусы заявлений (requests_statuses)	Заявления и информация о заявителях… (requests_users)
Документы, прилагаемые к статусу заявления (attachments)	requests_users и requests_statuses
Атрибуты шаблона комментария к статусам заявлений (template_attributes)	requests_statuses

После успешного запуска статус меняется на «Запущен».

Остановка:

Чтобы остановить процесс, нажмите кнопку Остановить.

Если существуют зависимые запущенные процессы, то сначала необходимо остановить их.

После успешной остановки статус меняется на «Остановлен».

Редактирование:

Нажмите кнопку Редактировать.
Измените параметры.
Сохраните изменения. Данные обновятся в таблице.

Если процесс запущен, изменение критичных параметров может потребовать предварительной остановки (зависит от политики установки).

Удаление:

Чтобы удалить процесс, нажмите кнопку Удалить.

Если у процесса нет зависимых процессов, то после подтверждения операции он будет удален из раздела без возможности восстановления.

Если у процесса есть зависимые процессы, то его удаление возможно после удаления зависимых процессов.

**Типовые состояния и подсказки**#
Где/когда	Сообщение/индикатор	Что это значит/Что делать
Реестр, колонка «Статус»	Запущен (зеленый)	Процесс выполняется. Можно остановить или редактировать
Реестр, колонка «Статус»	Остановлен (серый)	Процесс в ожидании. Можно запустить/редактировать/удалить
Реестр, колонка «Статус» и карточка	Остановлен из-за ошибки (красный) + красная плашка ошибки	Процесс завершился с ошибкой. Ознакомьтесь с текстом плашки, исправьте настройки/данные/соединение и запустите снова
Сохранение	Процесс сохранен	Успешная запись настроек без запуска
Сохранение + старт	Процесс сохранен и запущен	Успешная запись и запуск
Создание/редактирование	Не удалось сохранить соединение	Проверьте доступность и корректность выбранного соединения
Создание	Не удалось сохранить процесс, так как такой процесс уже существует	Измените вид данных, вид операции или соединение (приемник), чтобы сделать процесс уникальным
Попытка запуска зависимого	Диалог: Запуск возможен только после запуска родительского процесса(ов)	Сначала запустите все перечисленные родительские процессы (список в модальном окне)
Попытка остановки родителя	Диалог: Нельзя остановить до остановки зависимых процессов	Сначала остановите все перечисленные зависимые процессы
Переход со страницы без сохранения	Диалог: Покинуть страницу без сохранения изменений?	Подтвердите уход или вернитесь и сохраните изменения
Выпадающие списки	Ничего не найдено	В соответствующих разделах нет подходящих сущностей (создайте систему/соединение в одноименных разделах)

Раздел «Запросы»#

Раздел отображает все запросы на загрузку и удаление данных, передаваемых из выбранной системы-источника в систему-приемник. Реестр служит для мониторинга статусов обработки, отборов по фильтрам и перехода в карточку конкретного запроса.

По умолчанию открыта вкладка «На загрузку». Список отсортирован по убыванию даты запроса (последние сверху).

Для ограничения списка запросов доступны фильтры «Идентификатор запроса», «Система-источник», «Вид данных», «Статус».

При выборе значения из списка фильтр применяется мгновенно, список запросов динамически изменяется. Фильтр применяется одновременно к двум вкладкам «На загрузку» и «На удаление». При переключении между вкладками фильтры не сбрасываются. Чтобы сбросить фильтрацию, нажмите кнопку Сбросить все.

Запросы на загрузку и на удаление могут иметь следующие статусы:

В очереди – запрос готов к отправке;

В обработке – запрос доставлен в приемник, ожидается обработка;

Опубликован – приемник подтвердил обработку (данные загружены/запись удалена);

Ошибка – не пройден форматно-логический контроль (ФЛК).

При нажатии на запись в таблице откроется карточка запроса с основными сведениями:

В карточках запросов со статусом «Ошибка» вместе с основными сведениями о запросе будут отображены сведения о данных, в которых найдена ошибка:

Удаление данных из витрины#

Для запросов в статусе «Опубликован» доступно удаление отправленных данных из витрины.

Чтобы удалить данные из витрины, перейдите в запрос и нажмите кнопку Удалить данные из витрины. Подтвердите действие в диалоговом окне. Появится всплывающее сообщение системы «Запрос на удаление данных отправлен».

Найти и посмотреть запрос на удаление данных можно на вкладке «На удаление». Запросы на удаление, созданные из запроса в статусе «Опубликован», будут отмечены оранжевым уголком, а на странице запроса появится запись «Запрос создан вручную администратором ETL».

Повторная отправка запросов#

Если запрос получил статус «Ошибка» по причине разрыва соединения, то его можно переотправить, нажав на кнопку Повторить отправку. Переотправить можно только запрос с ошибкой.

Если в системе выполнена настройка для отправки уведомлений, то на почту придет письмо о запросах с ошибкой. Через полученное письмо можно перейти к такому запросу.

Практикум#

В разделе описаны типовые процессы передачи данных в качестве примера использования сервиса.

Важно

Последовательность настройки всегда зависит от типов систем источника и приемника данных. Перед началом обязательно определите: откуда передаются данные и куда они загружаются. От этого зависят все дальнейшие действия в ETL-сервисе.

Поддерживаемые процессы передачи данных:

ГИСОГД/ВИС → РВД;

МФЦ → РВД;

СЭД → РВД;

ГИСОГД/ВИС → ETL (сторонний).

Получение параметров для подключения к РВД#

До любых настроек администратор запрашивает у ответственного за РВД со стороны региона параметры подключения к РВД. Они понадобятся для формирования URL и получения токена доступа:

Параметр	Наименование	Где используется
<datamart_mnemonic>	Мнемоника витрины данных	Системы, Соединения
<organization_ogrn>	ОГРН организации источника	Соединения
<ip-studio>	IP-адрес Витрины данных	Соединения
<installation_name>	Имя инсталляции витрины	Соединения
<installation_id>	Идентификатор инсталляции	Соединения
<datamart_name>	Имя (мнемоника) витрины	Соединения
<username>	Имя пользователя (для токена доступа)	Соединения
<password>	Пароль (для токена доступа)	Соединения

Важно

Без этих значений не получится корректно заполнить соединения и авторизацию и запустить процесс передачи данных.
Чтобы цепочка работала от начала до конца, необходимо обеспечить сквозную сетевую связность между всеми узлами строго по ходу обработки данных.

ГИСОГД/ВИС – РВД#

Процесс обеспечивает передачу таблиц с данными:

заявления и сведения о заявителях, госуслугах и подуслугах;

статусы заявлений;

атрибуты шаблонов комментариев к статусам заявлений;

документы, прикрепленные к статусам заявлений (вложения).

Дополнительно:

проверка статусов обработки запросов на загрузку в РВД таблиц выше;

отправка вложений (файлов), прикрепленных к заявлениям.

Создание систем#

Создайте систему, которая будет выступать источником данных (если такая система еще не была создана):

[Имя системы] – укажите имя системы. Например, ГИСОГД.

[Мнемоника] – укажите мнемонику системы. Например, gisogd. Данная мнемоника будет необходима при настройке соединения плагина Geometa для соединения с ETL.

[Секрет клиента] – укажите секрет клиента. Например, secret123. Данная информация будет необходима при настройке соединения системы с ETL.

Создайте систему, которая будет выступать приемником данных (если такая система еще не была создана):

[Имя системы] – укажите имя системы. Например, РВД 55.

[Мнемоника] – укажите мнемонику витрины данных. Например, urv_kvd_55. Это тот параметр, который должен передать ответственный за РВД со стороны региона.

[Секрет клиента] – укажите секрет клиента. Например, secret123. Данная информация будет необходима при настройке соединения системы с ETL.

Важно

Мнемоника может содержать только латинские буквы нижнего регистра (a–z) и должна начинаться с буквы и не содержать пробелов и символов-разделителей.

Создание соединений#

Для РВД используется только тип авторизации OAuth 2.0. Другие типы не поддерживаются.

Для пары «ГИСОГД/ВИС – РВД» необходимо создать три соединения:

РВД (таблицы);

РВД (статусы);

РВД (вложения).

РВД (таблицы)

Создайте соединение для загрузки табличных данных:

[Имя соединения] – укажите имя соединения. Рекомендуется использовать следующий формат: РВД <код региона> (таблицы).

[Тип соединения] – выберите API.

[Адрес API] – укажите адрес вида http://<ip-studio>:8088/api/v1/secure/<organization_ogrn>/<datamart_mnemonic>/<installation_name>/<installation_id>/v2/datamarts/<datamart_name>/tables/{table_name}/upload,

где:

<ip-studio> – IP-адрес витрины данных. Например, 10.1.2.18. Запрашиваемый параметр.

<organization_ogrn> – ОГРН организации источника. Например, 1217700496782. Запрашиваемый параметр.

<datamart_mnemonic> – мнемоника витрины данных. Например, urv_kvd_xx. Запрашиваемый параметр.

<installation_name> – имя инсталляции витрины. Например, rest_uploader_35. Запрашиваемый параметр.

<installation_id> – идентификатор инсталляции. Например, 35. Запрашиваемый параметр.

<datamart_name> – имя витрины. Например, urv_kvd_xx. Запрашиваемый параметр.

{table_name} – обозначение служебной переменной. Заменяется автоматически, в зависимости от настроек процесса. Не изменять и оставить как есть {table_name}.

Например, http://10.1.2.18:8088/api/v1/secure/1217700496782/urv_kvd_xx/rest_uploader_35/35/v2/datamarts/urv_kvd_xx/tables/{table_name}/upload.

[HTTP-метод] – укажите POST. При выборе другого метода данное соединение с РВД работать не будет.

[Тип авторизации] – выберите OAuth 2.0.

[Адрес ключа доступа] – http://<ip-studio>:8088/api/v1/auth_system,

где <ip-studio> – IP-адрес витрины данных.

Например, http://10.1.2.18:8088/api/v1/auth_system.
[Тело запроса] – каждый параметр в теле запроса нужно вводить с новой строки в формате параметр=значение:
username=username
password=password
organization_ogrn=organization_ogrn
datamart_mnemonic=datamart_mnemonic
Пример:
username=proxy_api
password=proxy_api
organization_ogrn=1217700496782
datamart_mnemonic=urv_kvd_xx

РВД (статусы)

Создайте соединение для проверки состояния обработки загруженных файлов по requestId:

[Имя соединения] – укажите имя соединения. Рекомендуется использовать следующий формат: РВД <код региона> (статусы).

[Тип соединения] – выберите API.

[Адрес API] – укажите адрес вида http://<ip-studio>:8088/api/v1/secure/<organization_ogrn>/<datamart_mnemonic>/<installation_name>/<installation_id>/v2/{requestID}/status,

где:

<ip-studio> – IP-адрес витрины данных. Например, 10.1.2.18. Запрашиваемый параметр.

<organization_ogrn> – ОГРН организации источника. Например, 1217700496782. Запрашиваемый параметр.

<datamart_mnemonic> – мнемоника витрины данных. Например, urv_kvd_xx. Запрашиваемый параметр.

<installation_name> – имя инсталляции витрины. Например, rest_uploader_35. Запрашиваемый параметр.

<installation_id> – идентификатор инсталляции. Например, 35. Запрашиваемый параметр.

{requestId} – обозначение служебной переменной, для обратной связи по запросу статуса в РВД. Заменяется автоматически, в зависимости от настроек процесса. Не изменять и оставить как есть {requestId}.

Например, http://10.1.2.18:8088/api/v1/secure/1217700496782/urv_kvd_xx/rest_uploader_35/35/v2/requests/{requestId}/status.

[HTTP-метод] – укажите GET. При выборе другого метода данное соединение с РВД работать не будет.

[Тип авторизации] – выберите OAuth 2.0.

[Адрес ключа доступа] – http://<ip-studio>:8088/api/v1/auth_system,

где <ip-studio> – IP-адрес витрины данных.

Например, http://10.1.2.18:8088/api/v1/auth_system.
[Тело запроса] – каждый параметр в теле запроса нужно вводить с новой строки в формате параметр=значение:
username=username
password=password
organization_ogrn=organization_ogrn
datamart_mnemonic=datamart_mnemonic
Например:
username=proxy_api
password=proxy_api
organization_ogrn=1217700496782
datamart_mnemonic=urv_kvd_xx

РВД (вложения)

Создайте соединение для передачи бинарных файлов-вложений:

[Имя соединения] – укажите имя соединения. Рекомендуется использовать следующий формат: РВД <код региона> (вложения).

[Тип соединения] – выберите API.

[Адрес API] – укажите адрес вида http://<ip-studio>:8088/api/v1/secure/<organization_ogrn>/<datamart_mnemonic>/<installation_name>/<installation_id>/uploadAttachment,

где:

<ip-studio> – IP-адрес витрины данных. Например, 10.1.2.18. Запрашиваемый параметр.

<organization_ogrn> – ОГРН организации источника. Например, 1217700496782. Запрашиваемый параметр.

<datamart_mnemonic> – мнемоника витрины данных. Например, urv_kvd_xx. Запрашиваемый параметр.

<installation_name> – имя инсталляции витрины. Например, rest_uploader_35. Запрашиваемый параметр.

<installation_id> – идентификатор инсталляции. Например, 35. Запрашиваемый параметр.

Например, http://10.1.2.18:8088/api/v1/secure/1217700496782/urv_kvd_xx/dtm_uploader_42/42/uploadAttachment.

[HTTP-метод] – выберите POST.

[Тип авторизации] – выберите OAuth 2.0.

[Адрес ключа доступа] – http://<ip-studio>:8088/api/v1/auth_system,

где <ip-studio> – IP-адрес витрины данных.

Например, http://10.1.2.18:8088/api/v1/auth_system.
[Тело запроса] – каждый параметр в теле запроса нужно вводить с новой строки в формате параметр=значение:
username=username
password=password
organization_ogrn=organization_ogrn
datamart_mnemonic=datamart_mnemonic
Например:
username=proxy_api
password=proxy_api
organization_ogrn=1217700496782
datamart_mnemonic=urv_kvd_xx
Нажмите + Настроить загрузку файлов:

[Имя параметра для имени файла] – укажите name;

[Имя параметра для идентификатора запроса] – укажите requestId;

[Имя параметра для содержимого файла] – укажите upload.

Создание процессов загрузки данных в РВД#

Создайте 4 процесса для загрузки данных, по одному на каждую таблицу с данными.

Процесс передачи заявления и информация о заявителях, госуслугах и подуслугах (requests_users)

Создайте процесс и заполните поля:

[Вид данных] – выберите «Заявления и информация о заявителях, госуслугах и подуслугах»;

[Вид операции] – выберите «Загрузка (Upload)»;

[Система-источник] – выберите систему-источник (ГИСОГД);

[Система-приемник] – выберите систему-приемник (РВД 55);

[Соединение] – выберите соединение для загрузки табличных данных (РВД 55 (таблицы));

[Адрес для проверки статуса запроса] – выберите соединение для проверка состояния обработки загруженных файлов (РВД 55 (Статусы)).

Запустите процесс.

Процесс передачи статусов заявлений (request_statuses)

Создайте процесс и заполните поля:

[Вид данных] – статусы заявлений;

[Вид операции] – загрузка (Upload);

[Система-источник] – ГИСОГД;

[Система-приемник] – РВД 55;

[Соединение] – РВД 55 (таблицы);

[Адрес для проверки статуса запроса] – РВД 55 (статусы).

Запустите процесс.

Процесс передачи документов, прилагаемых к статусу заявлений (attachments)

Создайте процесс и заполните поля:

[Вид данных] – документы, прилагаемые к статусу заявлений;

[Вид операции] – загрузка (Upload);

[Система-источник] – ГИСОГД;

[Система-приемник] – РВД 55;

[Соединение] – РВД 55 (таблицы);

[Адрес для проверки статуса запроса] – РВД 55 (Статусы);

[Приемник данных для содержимого файла] – Витрина 55 (вложения).

Запустите процесс.

Процесс передачи атрибутов шаблона комментария к статусам заявлений (template_attributes)

Создайте процесс и заполните поля:

[Вид данных] – атрибуты шаблона комментария к статусам заявлений;

[Вид операции] – загрузка (Upload);

[Система-источник] – ГИСОГД;

[Система-приемник] – РВД 55;

[Соединение] – РВД 55 (таблицы);

[Адрес для проверки статуса запроса] – РВД 55 (Статусы);

[Приемник данных для содержимого файла] – Витрина 55 (вложения).

Запустите процесс.

Проверка результата#

Рекомендуемый порядок запуска процессов, при котором гарантируется, что статусы и вложения ссылаются на уже загруженные заявки:

Процесс передачи «Заявления и информация о заявителях, госуслугах и подуслугах».

Процесс передачи «Статусы заявлений».

Процесс передачи «Документы, прилагаемые к статусу заявлений».

Процесс передачи «Атрибуты шаблона комментария к статусам заявлений».

Как проверять:

Откройте раздел «Запросы».

Отфильтруйте по источнику «ГИСОГД» и виду данных (по видам данных в процессах).

Проверьте статусы: «Передан», «Успешно обработан», «Ошибка ФЛК/Отклонён».

При ошибках качества перейдите в раздел «Качество данных» и откройте карточку ФЛК.

МФЦ – РВД#

Процесс обеспечивает передачу таблиц с данными:

запросы из МФЦ на распечатку заявлений.

Создание систем#

Создайте систему, которая будет выступать источником данных (если такая система еще не была создана):

[Имя системы] – укажите имя системы. Например, МФЦ.

[Мнемоника] – укажите мнемонику системы. Например, mfc. Данная мнемоника будет необходима при настройке соединения системы с ETL.

[Секрет клиента] – укажите секрет клиента. Например, secret123. Данная информация будет необходима при настройке соединения системы с ETL.

Создайте систему, которая будет выступать приемником данных (если такая система еще не была создана):

[Имя системы] – укажите имя системы. Например, РВД 55.

[Мнемоника] – укажите мнемонику витрины данных. Например, urv_kvd_55. Это тот параметр, который должен передать ответственный за РВД со стороны региона.

[Секрет клиента] – укажите секрет клиента. Например, secret123. Данная информация будет необходима при настройке соединения системы с ETL.

Важно

Создание соединений#

Для РВД используется только тип авторизации OAuth 2.0. Другие типы не поддерживаются.

Для пары «МФЦ – РВД» необходимо два соединения:

МФЦ (таблицы);

РВД 55 (статусы) – уже создано для процесса «ГИСОГД/ВИС – РВД».

МФЦ (таблицы)

Создайте соединение для загрузки табличных данных:

[Имя соединения] – укажите имя соединения. Рекомендуется использовать следующий формат: РВД <код региона> МФЦ.

[Тип соединения] – выберите API.

[Адрес API] – укажите адрес вида http://<ip-studio>:8088/api/v1/secure/<organization_ogrn>/<datamart_mnemonic>/<installation_name>/<installation_id>/v2/datamarts/<datamart_name>/tables/{table_name}/upload,

где:

<ip-studio> – IP-адрес витрины данных. Например, 10.1.2.18. Запрашиваемый параметр.

<organization_ogrn> – ОГРН организации источника. Например, 1217700496782. Запрашиваемый параметр.

<datamart_mnemonic> – мнемоника витрины данных. Например, urv_kvd_xx. Запрашиваемый параметр.

<installation_name> – имя инсталляции витрины. Например, rest_uploader_35. Запрашиваемый параметр.

<installation_id> – идентификатор инсталляции. Например, 35. Запрашиваемый параметр.

<datamart_name> – имя витрины. Например, urv_kvd_xx. Запрашиваемый параметр.

{table_name} – обозначение служебной переменной. Заменяется автоматически, в зависимости от настроек процесса. Не изменять и оставить как есть {table_name}.

Например, http://10.1.2.18:8088/api/v1/secure/1217700496782/urv_kvd_xx/rest_uploader_35/35/v2/datamarts/urv_kvd_xx/tables/{table_name}/upload.

[HTTP-метод] – укажите POST. При выборе другого метода данное соединение с РВД работать не будет.

[Тип авторизации] – выберите OAuth 2.0.

[Адрес ключа доступа] – http://<ip-studio>:8088/api/v1/auth_system,

где <ip-studio> – IP-адрес витрины данных.

Например, http://10.1.2.18:8088/api/v1/auth_system.
[Тело запроса] – каждый параметр в теле запроса нужно вводить с новой строки в формате параметр=значение:
username=username
password=password
organization_ogrn=organization_ogrn
datamart_mnemonic=datamart_mnemonic
Пример:
username=proxy_api
password=proxy_api
organization_ogrn=1217700496782
datamart_mnemonic=urv_kvd_xx

Создание процесса загрузки данных в РВД#

Создайте 1 процесс для загрузки данных.

Процесс передачи запроса из МФЦ на распечатку заявлений (print_requests)

Создайте процесс и заполните поля:

[Вид данных] – выберите «Запрос из МФЦ на распечатку заявлений»;

[Вид операции] – выберите «Загрузка (Upload)»;

[Система-источник] – выберите систему-источник (МФЦ);

[Система-приемник] – выберите систему-приемник (РВД 55);

[Соединение] – выберите соединение для загрузки табличных данных (РВД 55 МФЦ);

[Адрес для проверки статуса запроса] – выберите соединение для проверки состояния обработки загруженных файлов (РВД 55 (Статусы)).

Запустите процесс.

СЭД – РВД#

Процесс обеспечивает передачу таблиц с данными:

федеральные поручения;

региональные поручения;

инициированные субъектом РФ изменения федеральных законов.

Создание систем#

Создайте систему, которая будет выступать источником данных (если такая система еще не была создана):

[Имя системы] – укажите имя системы. Например, СЭД.

[Мнемоника] – укажите мнемонику системы. Например, sed. Данная мнемоника будет необходима при настройке соединения системы с ETL.

[Секрет клиента] – укажите секрет клиента. Например, secret123. Данная информация будет необходима при настройке соединения системы с ETL.

Создайте систему, которая будет выступать приемником данных (если такая система еще не была создана):

[Имя системы] – укажите имя системы. Например, РВД 55.

[Мнемоника] – укажите мнемонику витрины данных. Например, urv_kvd_55. Это тот параметр, который должен передать ответственный за РВД со стороны региона.

[Секрет клиента] – укажите секрет клиента. Например, secret123. Данная информация будет необходима при настройке соединения системы с ETL.

Важно

Создание соединений#

Для РВД используется только тип авторизации OAuth 2.0. Другие типы не поддерживаются.

Для пары «СЭД – РВД» необходимо создать два соединения:

СЭД (таблицы);

РВД 55 (статусы) – уже создано для процесса «ГИСОГД/ВИС – РВД».

СЭД (таблицы)

Создайте соединение для загрузки табличных данных:

[Имя соединения] – укажите имя соединения. Рекомендуется использовать следующий формат: РВД <код региона> СЭД.

[Тип соединения] – выберите API.

[Адрес API] – укажите адрес вида http://<ip-studio>:8088/api/v1/secure/<organization_ogrn>/<datamart_mnemonic>/<installation_name>/<installation_id>/v2/datamarts/<datamart_name>/tables/{table_name}/upload,

где:

<ip-studio> – IP-адрес витрины данных. Например, 10.1.2.18. Запрашиваемый параметр.

<organization_ogrn> – ОГРН организации источника. Например, 1217700496782. Запрашиваемый параметр.

<datamart_mnemonic> – мнемоника витрины данных. Например, urv_kvd_xx. Запрашиваемый параметр.

<installation_name> – имя инсталляции витрины. Например, rest_uploader_35. Запрашиваемый параметр.

<installation_id> – идентификатор инсталляции. Например, 35. Запрашиваемый параметр.

<datamart_name> – имя витрины. Например, urv_kvd_xx. Запрашиваемый параметр.

{table_name} – обозначение служебной переменной. Заменяется автоматически, в зависимости от настроек процесса. Не изменять и оставить как есть {table_name}.

Например, http://10.1.2.18:8088/api/v1/secure/1217700496782/urv_kvd_xx/rest_uploader_35/35/v2/datamarts/urv_kvd_xx/tables/{table_name}/upload.

[HTTP-метод] – укажите POST. При выборе другого метода данное соединение с РВД работать не будет.

[Тип авторизации] – выберите OAuth 2.0.

[Адрес ключа доступа] – http://<ip-studio>:8088/api/v1/auth_system,

где <ip-studio> – IP-адрес витрины данных.

Например, http://10.1.2.18:8088/api/v1/auth_system.
[Тело запроса] – каждый параметр в теле запроса нужно вводить с новой строки в формате параметр=значение:
username=username
password=password
organization_ogrn=organization_ogrn
datamart_mnemonic=datamart_mnemonic
Пример:
username=proxy_api
password=proxy_api
organization_ogrn=1217700496782
datamart_mnemonic=urv_kvd_xx

Создание процессов загрузки данных в РВД#

Создайте 3 процесса для загрузки данных.

Процесс передачи запроса из СЭД «Федеральные поручения» (federal_tasks)

Создайте процесс и заполните поля:

[Вид данных] – выберите «Федеральные поручения»;

[Вид операции] – выберите «Загрузка (Upload)»;

[Система-источник] – выберите систему-источник (СЭД);

[Система-приемник] – выберите систему-приемник (РВД 55);

[Соединение] – выберите соединение для загрузки табличных данных (РВД 55 СЭД);

[Адрес для проверки статуса запроса] – выберите соединение для проверки состояния обработки загруженных файлов (РВД 55 (Статусы)).

Запустите процесс.

Процесс передачи запроса из СЭД «Региональные поручения» (regional_tasks)

Создайте процесс и заполните поля:

[Вид данных] – выберите «Региональные поручения»;

[Вид операции] – выберите «Загрузка (Upload)»;

[Система-источник] – выберите систему-источник (СЭД);

[Система-приемник] – выберите систему-приемник (РВД 55);

[Соединение] – выберите соединение для загрузки табличных данных (РВД 55 СЭД);

[Адрес для проверки статуса запроса] – выберите соединение для проверки состояния обработки загруженных файлов (РВД 55 (Статусы)).

Запустите процесс.

Процесс передачи запроса из СЭД «Инициированные субъектом РФ изменения ФЗ» (initiated_federal_laws)

Создайте процесс и заполните поля:

[Вид данных] – выберите «Инициированные субъектом РФ изменения ФЗ»;

[Вид операции] – выберите «Загрузка (Upload)»;

[Система-источник] – выберите систему-источник (СЭД);

[Система-приемник] – выберите систему-приемник (РВД 55);

[Соединение] – выберите соединение для загрузки табличных данных (РВД 55 СЭД);

[Адрес для проверки статуса запроса] – выберите соединение для проверки состояния обработки загруженных файлов (РВД 55 (Статусы)).

Запустите процесс.

ГИСОГД – ETL (сторонний)#

Процесс обеспечивает передачу таблиц с данными в сторонний ETL-сервис для дальнейшей передачи в РВД:

заявления и сведения о заявителях, госуслугах и подуслугах;

статусы заявлений;

атрибуты шаблонов комментариев к статусам заявлений;

документы, прикрепленные к статусам заявлений (вложения).

Создание систем#

Создайте систему, которая будет выступать источником данных (если такая система еще не была создана):

[Имя системы] – укажите имя системы. Например, ГИСОГД.

[Мнемоника] – укажите мнемонику системы. Например, gisosd. Данная мнемоника будет необходима при настройке соединения системы с ETL.

[Секрет клиента] – укажите секрет клиента. Например, secret123. Данная информация будет необходима при настройке соединения системы с ETL.

Создайте систему, которая будет выступать приемником данных (если такая система еще не была создана):

[Имя системы] – укажите имя системы. Например, ETL 55.

[Мнемоника] – укажите мнемонику ETL-сервиса. Например, etl_55. Этот параметр, который будет необходим при настройке соединения системы с ETL.

[Секрет клиента] – укажите секрет клиента. Например, secret345. Этот параметр, который будет необходим при настройке соединения системы с ETL.

Важно

Создание соединений#

Для пары «ГИСОГД – ETL (сторонний)» необходимо создать три соединения:

ETL (таблицы);

ETL (статусы);

ETL (вложения).

Мурманская область

ETL (таблицы) для Мурманской области

Создайте соединение для загрузки табличных данных:

[Имя соединения] – укажите имя соединения. Рекомендуется использовать следующий формат: ETL <код региона> (таблицы).

[Тип соединения] – выберите API.

[Адрес API] – укажите адрес вида http://tu.socit.ru:2121/socportal/SMEV/ASP/RVDimport.ashx?table_name={tableName}&mode=csv&action=upload.

[HTTP метод] – укажите POST. При выборе другого метода данное соединение с ETL работать не будет.

[Тип авторизации] – выберите Bearer Token.

[Токен] – токен ETL опорной системы. Например, _ehUIg5fwm.

ETL (статусы) для Мурманской области

Создайте соединение для проверки состояния обработки загруженных файлов по requestId:

[Имя соединения] – укажите имя соединения. Рекомендуется использовать следующий формат: ETL <код региона> (статусы).

[Тип соединения] – выберите API.

[Адрес API] – укажите адрес вида http://tu.socit.ru:2121/socportal/SMEV/ASP/RVDimport.ashx?import_guid={requestId}&action=check_status.

[HTTP метод] – укажите GET. При выборе другого метода данное соединение с ETL работать не будет.

[Тип авторизации] – выберите Bearer Token.

[Токен] – токен ETL опорной системы. Например, _ehUIg5fwm.

ETL (вложения) для Мурманской области

Создайте соединение для передачи бинарных файлов-вложений:

[Имя соединения] – укажите имя соединения. Рекомендуется использовать следующий формат: ETL <код региона> (вложения).

[Тип соединения] – выберите API.

[Адрес API] – укажите адрес вида http://tu.socit.ru:2121/socportal/SMEV/ASP/RVDimport.ashx?action=uploadAttachment.

[HTTP метод] – укажите POST. При выборе другого метода данное соединение с ETL работать не будет.

[Тип авторизации] – выберите Bearer Token.

[Токен] – токен ETL опорной системы. Например, _ehUIg5fwm.

Нажмите + Настроить передачу файлов:

[Тип содержимого] – выберите Multipart/form-data;

[Имя параметра для имени файла] – укажите name;

[Имя параметра для идентификатора запроса] – укажите requestId;

[Имя параметра для содержимого файла] – укажите upload.

Иркутская область

ETL (таблицы) для Иркутской области

Создайте соединение для загрузки табличных данных:

[Имя соединения] – укажите имя соединения. Рекомендуется использовать следующий формат: ETL <код региона> (таблицы).

[Тип соединения] – выберите API.

[Адрес API] – укажите адрес вида http://192.168.0.7:8093/rest/etl/prostore/rvd/{tableName}/upload.

[HTTP метод] – укажите POST. При выборе другого метода данное соединение с ETL работать не будет.

[Тип авторизации] – выберите OAuth.

[Адрес ключа доступа] – укажите адрес вида http://192.168.0.7:8093/rest/etl/auth_system.

[Тело запроса] – укажите параметры, например:
username=etl_api
password=etl_api
organization_ogrn=1217700496782

ETL (статусы) для Иркутской области

Создайте соединение для проверки состояния обработки загруженных файлов по requestId:

[Имя соединения] – укажите имя соединения. Рекомендуется использовать следующий формат: ETL <код региона> (статусы).

[Тип соединения] – выберите API.

[Адрес API] – укажите адрес вида http://192.168.0.7:8093/rest/etl/operation/{requestId}.

[HTTP метод] – укажите GET. При выборе другого метода данное соединение с ETL работать не будет.

[Тип авторизации] – выберите OAuth.

[Адрес ключа доступа] – укажите адрес вида http://192.168.0.7:8093/rest/etl/auth_system.

[Тело запроса] – укажите параметры, например:
username=etl_api
password=etl_api
organization_ogrn=1217700496782

ETL (вложения) для Иркутской области

Создайте соединение для передачи бинарных файлов-вложений:

[Имя соединения] – укажите имя соединения. Рекомендуется использовать следующий формат: ETL <код региона> (вложения).

[Тип соединения] – выберите API.

[Адрес API] – укажите адрес вида http://192.168.0.7:8093/rest/etl/attachment/rvd.

[HTTP метод] – укажите POST. При выборе другого метода данное соединение с ETL работать не будет.

[Тип авторизации] – выберите OAuth.

[Адрес ключа доступа] – укажите адрес вида http://192.168.0.7:8093/rest/etl/auth_system.

[Тело запроса] – укажите параметры, например:
username=etl_api
password=etl_api
organization_ogrn=1217700496782
Нажмите + Настроить передачу файлов:

[Тип содержимого] – выберите Application/octet-stream;

[Имя параметра для имени файла] – укажите fileName.

Создание процессов#

Процесс передачи заявления и информация о заявителях, госуслугах и подуслугах (requests_users)

Создайте процесс и заполните поля:

[Вид данных] – выберите «Заявления и информация о заявителях, госуслугах и подуслугах»;

[Вид операции] – выберите «Загрузка (Upload)»;

[Система-источник] – выберите систему-источник (ГИСОГД);

[Система-приемник] – выберите систему-приемник (ETL 55);

[Соединение] – выберите соединение для загрузки табличных данных (ETL 55 (таблицы));

[Адрес для проверки статуса запроса] – выберите соединение для проверки состояния обработки загруженных файлов (ETL 55 (статусы)).

Запустите процесс.

Процесс передачи статусов заявлений (request_statuses)

Создайте процесс и заполните поля:

[Вид данных] – выберите «Статусы заявлений»;

[Вид операции] – выберите «Загрузка (Upload)»;

[Система-источник] – выберите систему-источник (ГИСОГД);

[Система-приемник] – выберите систему-приемник (ETL 55);

[Соединение] – выберите соединение для загрузки табличных данных (ETL 55 (таблицы));

[Адрес для проверки статуса запроса] – выберите соединение для проверки состояния обработки загруженных файлов (ETL 55 (статусы)).

Запустите процесс.

Процесс передачи документов, прилагаемых к статусу заявлений (attachments)

Создайте процесс и заполните поля:

[Вид данных] – выберите «Документы, прилагаемые к статусу заявлений»;

[Вид операции] – выберите «Загрузка (Upload)»;

[Система-источник] – выберите систему-источник (ГИСОГД);

[Система-приемник] – выберите систему-приемник (ETL 55);

[Соединение] – выберите соединение для загрузки табличных данных (ETL 55 (таблицы));

[Адрес для проверки статуса запроса] – выберите соединение для проверки состояния обработки загруженных файлов (ETL 55 (статусы));

[Приемник данных для содержимого файла] – выберите соединение для передачи файлов (ETL 55 (вложения)).

Запустите процесс.

Процесс передачи атрибутов шаблона комментария к статусам заявлений (template_attributes)

Создайте процесс и заполните поля:

[Вид данных] – выберите «Атрибуты шаблона комментария к статусам заявлений»;

[Вид операции] – выберите «Загрузка (Upload)»;

[Система-источник] – выберите систему-источник (ГИСОГД);

[Система-приемник] – выберите систему-приемник (ETL 55);

[Соединение] – выберите соединение для загрузки табличных данных (ETL 55 (таблицы));

[Адрес для проверки статуса запроса] – выберите соединение для проверки состояния обработки загруженных файлов (ETL 55 (статусы)).

Запустите процесс.

Включение поддержки API-запросов на удаление данных#

API сервиса поддерживает возможность удаления данных в РВД. Для обработки таких запросов следует создать соединение и процесс для нужной системы по аналогии с указанными выше шагами.

При создании соединения для удаления данных все настройки будут дублировать аналогичное соединение на выгрузку данных, за исключением поля [Адрес API]. В этом поле следует указать адрес API приемника, отведенный для запросов на удаление. Например, адрес может быть таким:

http://10.1.2.18:8088/api/v1/secure/1217700496782/urv_kvd_xx/rest_uploader_35/35/v2/datamarts/urv_kvd_xx/tables/{table_name}/delete

При создании процесса удаления данных заполнение полей происходит аналогично соответствующему процессу выгрузки с видом операции Загрузка (Upload), за исключением самого вида операции – здесь следует выбрать пункт Удаление (delete).

Процессы нужно настроить для тех видов данных, которые предполагается удалять. В общем случае количество процессов на удаление будет соответствовать количеству процессов на загрузку.

Примечание

Удаление реализовано только для соединений с типом API. Соединения с типом Файловая система не поддерживаются.

Изменение формата ответа запроса из ETL-сервиса по статусу запроса в РВД#

По умолчанию формат ответа по статусу запроса в РВД у ETL-сервиса свой.

Пример формата ETL-сервиса:

{
    "request_id": "864ed5e6-9897-4bf5-9a8f-22922094822c",
    "table_name": "template_attributes",
    "records": [
        {
            "status": "Error",
            "status_description": null,
            "value": "{\"id\":\"890b51a1-633c-4846-abc6-19a56723daa9_7ad133ed-cad6-4457-9c9d-6d145243ef97_attr_1\",\"parent_id\":null,\"request_id\":\"890b51a1-633c-4846-abc6-19a56723daa9\",\"status_id\":\"7ad133ed-cad6-4457-9c9d-6d145243ef97\",\"attr_name\":\"attr_1\",\"attr_value\":\"reprehenderit in\"}"
        }
    ],
    "status": "Processed"
}

Для получения ответа в формате РВД необходимо задать заголовок запроса:

X-ETL-Response-Format: datamart

При этом формат сменится на формат РВД:

{
    "code": 7,
    "description": "Ошибки ФЛК",
    "errorMessage": "Поле: mfc_name, ошибка: Поле не заполнено"
}

Глоссарий#

ETL – конвейер «извлечение - преобразование - загрузка» данных между системой-источником и системой-приемником. В данном случае – веб-сервис, обеспечивающий прием, предобработку и передачу данных в РВД.

РВД – Универсальная/региональная витрина данных – система-приемник, куда ETL публикует наборы данных в соответствии с едиными функциональными техническими требованиями (ЕФТТ) v11.0.

ВИС – Ведомственная информационная система – система-источник данных для ETL.

ФЛК – контроль качества данных / форматно-логический контроль. Используется для выявления ошибок при проверке и приемке данных.

Система-источник – карточка системы, из которой извлекаются данные (создается в разделе «Системы»).

Система-приемник – карточка целевой системы (обычно РВД), куда отправляются данные.

Соединение – параметры подключения к системе (API, файловая система, RVD и др.), используемые процессами.

Процесс ETL – настройка, описывающая цепочку перемещения данных (источник → приемник), тип данных и операцию (загрузка/удаление); может иметь зависимости («родительские»/«дочерние»).

Вид данных – тип публикуемого набора (например, requests_users, requests_statuses, template_attributes).

Вид операции – «Загрузка» (Upload) или «Удаление» (Delete) для выбранного вида данных.

Запрос – единичная операция загрузки/удаления, отображаемая в разделе «Запросы» по вкладкам «На загрузку» и «На удаление».

Идентификатор запроса / requestId – сквозной UUID операции публикации/удаления, отображается в карточке запроса.

Карточка запроса – экран с деталями запроса (статус, вид данных, источник/приемник и пр.) и ссылкой на «Объект с ошибками» при наличии ФЛК/отклонения.

ETL API – входной HTTP-сервис приема данных (единая точка входа) для csv или json.

REST-uploader – компонент/канал приемника, применяемый для загрузки/удаления и проверки статуса обработки.

CSV – файл в формате CSV (англ. Comma-Separated Values – значения, разделенные запятыми), предназначенном для представления табличных данных. Строка таблицы соответствует строке текста в файле, которая содержит одно или несколько полей, разделенных запятыми или другими заданными разделителями.

Kafka – брокер сообщений, используемый для внутренних очередей/событий.

MinIO S3 – объектное хранилище; бинарные вложения доступны по идентификатору из витрины.

Атрибутивный состав – структура таблиц/наборов и обязательность полей, требуемые ЕФТТ/ТЗ для публикации в РВД.

Дедупликация – требование не создавать дубликаты; статусы и ссылки должны указывать на единственную запись.

Справочники – нормативные кодовые перечни (ОКТМО, регионы РФ и др.), на соответствие которым проверяются значения при ФЛК/Качества данных.