Когда специалисты по работе с данными из компании Miro настроили искусственный интеллект для прямого взаимодействия со своей облачной платформой Snowflake, нейросеть ошибалась более чем в 65% случаев. Проблема заключалась не в самой языковой модели, а в отсутствии контекста. Имея дело с десятками тысяч таблиц и не имея единого семантического ориентира, ИИ-агенты просто не могли соотнести бизнес-вопросы с нужными массивами данных. Для решения этой проблемы стартап DataHub представил технологию Context Intelligence, которая призвана исправить подобные ошибки.
Содержание
Превращение истории запросов в базу знаний
Новая технология Context Intelligence анализирует историю SQL-запросов для автоматического создания семантического индекса. Затем этот индекс передается ИИ-агентам через популярные фреймворки и протоколы, такие как MCP (Model Context Protocol), LangChain, Google Agent Development Kit и CrewAI. Система использует ту же инфраструктуру анализа логов, которую DataHub ранее применял для отслеживания связей между данными в крупных ИТ-инфраструктурах по всему миру.
Проект DataHub зародился в LinkedIn, где один из сооснователей компании Ширшанка Дас в течение 11 лет руководил направлением инфраструктуры данных. Сегодня это решение с открытым исходным кодом поддерживают более 15 тысяч участников сообщества, а сама платформа используется более чем в трех тысячах компаний.
По словам технического директора DataHub Ширшанки Даса, бизнес теперь может превратить многолетний опыт аналитиков в интерактивную базу знаний. ИИ-агенты перестанут ошибаться при объединении таблиц, так как получат доступ к уже проверенным и подтвержденным человеком алгоритмам составления SQL-запросов.
Преимущества анализа истории запросов перед обычной схемой базы данных
Традиционные схемы баз данных часто оказываются слишком сложными или неполными для искусственного интеллекта. Технология Context Intelligence работает иначе, используя три основных этапа:
- Фильтрация шума. Логи систем управления базами данных перегружены лишней информацией. Алгоритм DataHub отбирает только наиболее качественные аналитические запросы и регулярные конвейеры данных, которые отражают реальную бизнес-логику компании.
- Создание семантических якорей. Система извлекает шаблоны из этих запросов и преобразует их в структурированные текстовые описания. Они служат основой для поиска, к которой обращаются ИИ-агенты перед генерацией SQL-кода.
- Контроль со стороны человека. Через специальный интерфейс эксперты могут проверять предложенный ИИ контекст, устранять противоречия в определениях показателей и тестировать изменения перед публикацией.
Опыт компании Miro: интеграция ИИ в массив из 10 000 таблиц
Платформа для совместной работы Miro уже использовала DataHub для мониторинга потоков данных, когда решила запустить ИИ-помощников для аналитики в среде Snowflake. Как отмечают представители Miro, масштаб корпоративных данных сразу стал серьезным препятствием. Прямая отправка запросов на естественном языке приводила к ошибкам ИИ в большинстве случаев, поскольку более 10 тысяч таблиц создавали слишком много путаницы.
В Miro решили проблему, сгруппировав данные в четко определенные продукты данных, что ограничило видимость для ИИ-агентов. Теперь запрос пользователя проходит через контекстный слой DataHub, который сопоставляет человеческий язык с нужными ИТ-активами, и только затем передает структурированную задачу в Snowflake для генерации итогового SQL-кода.
Борьба за управление контекстом
Рынок систем управления контекстом активно развивается. Свои решения предлагают такие крупные компании, как Pinecone, Oracle, Redis и Microsoft с платформой Fabric IQ. Однако разработчики DataHub делают ставку на независимость от конкретной платформы, предлагая интеграцию контекста в уже существующие конечные точки клиентов.
По мнению отраслевых аналитиков, преимущество DataHub заключается в возможности объединять метаданные как для структурированных, так и для неструктурированных объектов, включая документы и изображения. В то время как многие конкуренты фокусируются только на таблицах, комплексный подход позволяет точнее передавать бизнес-смысл ИИ-системам, что становится ключевым фактором в развитии корпоративных нейросетевых агентов.