DataForge выходит на рынок: визуальное моделирование, семантический слой и два AI-агента в одной платформе
Решение объединяет визуальное моделирование данных, управление бизнес-показателями и двух AI-агентов, которые автоматизируют создание семантического слоя и отвечают на вопросы на естественном языке.
Компания BI Consult объявила о выводе на российский рынок собственной платформы DataForge. Продукт предназначен для сквозного управления аналитическими данными и построен вокруг идеи self-service: бизнес-аналитики могут формализовать показатели и измерения, инженеры данных — проектировать модели и привязывать их к источникам, а BI-разработчики — собирать готовые витрины для отчётности. DataForge помогает решать типичные проблемы крупных компаний: разрозненное описание бизнес-показателей, несогласованность формул и зависимостей, ручную передачу требований между бизнесом, инженерами данных и BI-командами, а также сложность контроля изменений аналитических моделей.
Что представляет собой DataForge
Платформа объединяет в одном рабочем пространстве управление бизнес-метаданными, визуальное моделирование данных, конструирование аналитических витрин и AI-аналитику. DataForge связывает бизнес-логику — показатели, измерения, факты, формулы и зависимости — с логической моделью данных и дальнейшей реализацией витрин в целевых базах данных, сокращая разрыв между требованиями бизнеса и технической реализацией аналитики.
В основе DataForge находится так называемый Реестр показателей и измерений (РПИ) — структурированный каталог показателей, измерений, фактов и их взаимосвязей. На его основе платформа позволяет визуально проектировать таблицы фактов и автоматически учитывать взаимосвязи между показателями, формировать витрины из одной или нескольких таблиц фактов с использованием JOIN и UNION и задавать правила агрегации. Для контроля качества предусмотрены проверки формул и данных, а также визуализация происхождения и зависимостей показателей (lineage). После проверки витрины DataForge автоматически генерирует SQL-код и может создавать физические представления непосредственно в подключённой целевой СУБД. Модели ведутся в версиях, что позволяет отслеживать изменения, сравнивать состояния проекта и при необходимости возвращаться к предыдущим версиям. DataForge поставляется как on-premise решение в виде Docker-контейнеров и разворачивается в инфраструктуре компании — на собственных серверах или в частном облаке.
«Российский рынок корпоративной аналитики сегодня находится в точке перехода от "кустарных" отчётов к промышленному управлению аналитической логикой, — комментирует Павел Шалавин, владелец продукта DataForge. — Во многих компаниях определения показателей, формулы, зависимости и правила построения витрин распределены между документацией, кодом, отдельными командами и конкретными специалистами. В результате одни и те же метрики могут трактоваться по-разному, а изменение бизнес-требований проходит длинную цепочку согласований — от аналитика до инженера данных и BI-разработчика. DataForge создавался как единая среда, где эту логику можно формализовать, связать с моделью данных и довести до готовой витрины — с прозрачными зависимостями и контролем изменений».
AI-агенты как технологическое ядро
Важная технологическая особенность DataForge — два встроенных AI-агента, которые берут на себя трудоёмкие этапы работы с аналитическими метаданными и данными. Первый агент помогает формировать Реестр показателей и измерений. В классическом проекте аналитики вручную изучают структуру базы данных, сопоставляют технические поля с бизнес-сущностями, определяют показатели и измерения, присваивают им понятные названия и описания и формализуют правила расчёта. AI-агент автоматизирует значительную часть этой работы: он подключается к базе данных заказчика или анализирует DDL-скрипты, после чего с помощью гибридного алгоритма — сначала строгих правил, затем языковой модели — классифицирует сущности, интерпретирует их смысл, генерирует понятные описания и предлагает формулы показателей. На выходе получается структурированный реестр, который можно сразу загрузить в DataForge и использовать как основу для дальнейшего построения отчетности.
Второй агент работает непосредственно с бизнес-пользователями. Это диалоговая система, где руководитель или аналитик может задать вопрос на русском или английском языке. Агент самостоятельно определяет, какие данные нужны для ответа, обращается к семантическому слою DataForge, при необходимости исследует структуру базы данных, пишет корректный SQL-запрос, выполняет его, строит наглядную визуализацию и формулирует выводы. Весь цикл занимает в среднем около полутора минут. Ответы агента строятся на реальных данных и воспроизводимых запросах. Он умеет строить 15 типов графиков – от простых линейчатых до диаграмм Парето и тепловых карт, а также применять 18 аналитических методов, включая прогнозирование, ABC и XYZ-анализ, RFM-сегментацию, когортный анализ, кластеризацию, детекцию аномалий, план-факт анализ и многие другие. Важно, что система защищена от некорректного использования: агент не может изменить или удалить данные, ограничен по времени выполнения запроса и объёму выборки, а каждый его шаг фиксируется в системе логирования.
Оба агента работают как единый конвейер. Первый формализует техническую структуру данных в виде понятного бизнесу реестра показателей и измерений: связывает сущности базы данных с бизнес-названиями, описаниями и правилами расчёта. Этот реестр становится основой семантического слоя и дальнейшего моделирования в DataForge. Второй агент использует эту формализованную бизнес-логику при работе с запросами пользователей: он понимает, какие данные и показатели соответствуют вопросу, и обращается к ним через согласованный слой метаданных. Вместе агенты связывают два этапа — формализацию аналитической логики и её использование в self-service аналитике.
Первое внедрение и планы развития
Первым заказчиком, начавшим внедрение DataForge, стала компания PARUS Asset Management — крупнейшая независимая управляющая компания на рынке коллективных инвестиций в коммерческую недвижимость с портфелем более 100 млрд рублей. Сейчас продукт находится на этапе установки и настройки под бизнес-задачи клиента.
В ближайших планах развития — согласование изменений в бизнес-логике, интеграция с каталогами данных, расширение возможностей моделирования и поддержки источников данных, а также другие функциональные улучшения.