ПЛАТФОРМА КОРПОРАТИВНОГО ХРАНИЛИЩА ДАННЫХ

Построение и эксплуатация хранилища данных на PostgreSQL

Datalogia.AI извлекает данные из внешних систем-источников, описывает их в единой метамодели, контролирует качество и загружает в историческую модель хранения с полным сохранением истории изменений. Аналитика и экспорт — из одного интерфейса.

PostgreSQL Встроенные дашборды Контейнеризация Аутентификация по OIDC
Экраны Datalogia.AI: дашборды и коллекции

Единая метамодель для разнородных источников

Datalogia.AI применяется специалистами, которые настраивают загрузку и преобразование данных, поддерживают структуру хранилища, готовят интеграции на экспорт и используют аналитические представления. Подходит крупным и средним организациям, федеральным и региональным органам исполнительной власти, где несколько источников поставляют данные разных форматов — JSON, XML, CSV и других, — а структура целевых таблиц и связи между сущностями управляются через единую метамодель.

ВОЗМОЖНОСТИ

Четыре группы функций в одном интерфейсе

Коллекции и метамодель

Список и граф связей коллекций. Создание и редактирование опубликованных коллекций через отдельный черновик. Импорт конфигураций метаданных. Настройка источников, групп полей и связей, валидаторов, сплиттеров, экстракторов метаданных и правил конвертации полей.

Миграции

Формирование миграции по одному или нескольким выбранным черновикам коллекций. Список миграций с состоянием, временем и длительностью выполнения. Просмотр SQL-скрипта миграции и сведений об ошибке. Автоматическое обновление статуса незавершённой миграции.

Дашборды

Встроенные дашборды прямо в интерфейсе Datalogia.AI. Интерактивные элементы, фильтры и режимы просмотра. Конструктор для создания и настройки дашбордов. Согласование языка и темы встроенного представления с настройками интерфейса.

Экспорт

Конфигурации экспорта и наборы данных с основной сущностью, описанием и SQL-запросом. Сопоставление исходных и целевых колонок с изменением порядка. Связанные сущности и фильтры событий. Настройка параметров и политики повторной обработки, проверка обязательных полей перед сохранением.

ИИ-помощник: ответ на вопрос о сроках обработки заявлений — показатели, график и вывод
ИИ-ПОМОЩНИК

Запросите данные на обычном языке

Встроен в Datalogia.AI и доступен на любом экране. Работает с данными системы, отвечает на вопросы и помогает формировать срезы, графики и дашборды.

  • Диалог на естественном языке

    Срез по набору данных, периоду, статусу — без SQL и программирования.

  • От ответа к визуализации

    Подбирает подходящий тип графика; полученный в диалоге график можно выгрузить или добавить в дашборд.

  • Автоматическая интерпретация

    Формирует выводы и аналитическое резюме по дашбордам.

  • Интеллектуальный анализ

    Сравнивает данные, выявляет аномалии и отклонения.

  • Контроль сроков и SLA

    Статистика по нарушению сроков исполнения.

  • Проактивный дайджест

    Сообщает об изменениях за период.

Соблюдает права доступа

Отвечает только по данным, доступным пользователю.

Проверяемый

Каждый ответ содержит ссылку на данные и параметры отбора.

Не выдумывает

Если данных не хватает, честно сообщает и уточняет нужную информацию.

ВИЗУАЛЬНАЯ АНАЛИТИКА

Конструктор дашбордов без программирования

Выбрали источник, представление и анализируемые поля — получили дашборд на данных хранилища.

  1. 01

    Единые данные

    Информация из различных систем доступна в одном контуре и используется для комплексной аналитики.

  2. 02

    Более 20 видов представлений

    Графики, круговые, столбчатые, пузырьковые диаграммы, индикаторы, таблицы и карты.

  3. 03

    Без программирования и SQL

    Создание и настройка дашбордов с помощью конструктора.

  4. 04

    Интерактивная аналитика

    Фильтры, детализация, пороговые и контрольные значения, сравнение в различных разрезах.

  5. 05

    Личные и командные дашборды

    Собрать свой дашборд или предоставить доступ группе пользователей.

  6. 06

    Прозрачность процесса

    Число строк, исходные данные и метрики выполнения с предпросмотром.

Экран «Дашборды»: столбчатые и кольцевые диаграммы, сводная таблица, индикатор
Экран «Коллекции и метамодель данных»: настройка валидатора и каталог преднастроенных скриптов
КАК ЭТО РАБОТАЕТ

От источника до витрины — в едином интерфейсе

  1. 01

    Подключили источник

    Выбрали систему или сервис и настроили подключение: REST, SOAP, Kafka, CSV, БД.

  2. 02

    Настроили структуру данных

    Выбрали нужные таблицы, поля, типы данных и ограничения.

  3. 03

    Настроили загрузку

    Задали правила обработки, расписание и параметры повторных попыток.

  4. 04

    Запустили загрузку

    Данные автоматически поступают в систему по заданному расписанию.

  5. 05

    Контролируем качество

    Видим статус загрузки, отслеживаем ошибки и при необходимости исправляем данные.

  6. 06

    Создали витрину для потребителя

    Подготовили данные в нужном формате: API, аналитика, отчётность.

СЦЕНАРИИ ИСПОЛЬЗОВАНИЯ

Типовые задачи на одной платформе

Консолидация данных

Задача
Данные разрознены по системам, сводные показатели собирают вручную, цифры расходятся.
Решение
Данные всех систем в одной модели — единое согласованное представление.

Подключение новых источников

Задача
Каждая интеграция — отдельный проект, который зависит от подрядчиков и сроков.
Решение
Источники и получатели подключаются через метамодель, без доработки кода.

Контроль качества данных

Задача
В отчётность уходят ошибки и дубликаты, данные приходится вводить повторно.
Решение
Форматно-логический контроль и дедупликация до попадания в витрину, разбор конфликтов импорта в интерфейсе.

Аудит и проверки

Задача
Невозможно восстановить состояние данных на прошедшую дату.
Решение
Историческая модель хранения с полным сохранением истории изменений — состояние любых данных на любую дату.

Предоставление данных

Задача
Потребителям нужны данные в своём формате, и каждая выгрузка готовится вручную.
Решение
Витрины данных, выдача через API и экспорт по расписанию.

Самостоятельная аналитика

Задача
Новый отчёт требует постановки задачи и привлечения ИТ-специалистов.
Решение
Конструктор дашбордов и ИИ-помощник — срезы строят сами пользователи.
АРХИТЕКТУРА

Микросервисы на отечественном стеке

  1. Системы-источники
  2. Приём и хранение исходных данных
  3. Преобразование и форматно-логический контроль
  4. Управление метамоделью
  5. Первичное хранилищеPostgreSQL
  6. Экспорт / дашборды

Серверная часть — микросервисы на Kotlin (JVM): приём и хранение исходных данных, преобразование и контроль качества, управление метамоделью, первичным хранилищем и миграциями, отчёты, импорт и экспорт. Асинхронное взаимодействие — через шину сообщений NATS.

Первичное историческое хранилище — PostgreSQL; исходные данные, метамодель и очереди обработки — MongoDB. Веб-клиент администратора — Vue 3 / TypeScript. Контейнеризация — Docker, непрерывная интеграция — Jenkins. Аутентификация пользователей — по протоколу OIDC.

Развёртывание

  • Контейнеризация и автоматизированное развёртывание
  • Управление и масштабирование в публичном или частном облаке
  • Единый вход по протоколу OIDC
  • Русский и английский интерфейс, светлая и тёмная темы

Совместимость с российскими ОС и СУБД

Операционные системы
Astra Linux Server РЕД ОС Альт Сервер Platform V SberLinux OS Server
СУБД
Postgres Pro СУБД Tantor Special Edition Pangolin DB

Свяжитесь с нами

Расскажем о возможностях Datalogia.AI и ответим на вопросы по внедрению.