ИИ-расширение для нормализации НСИ в 1С: как работает SOFROS AI/ML для «1С:MDM Управление НСИ»

«SOFROS AI/ML. Расширение для "1С:MDM Управление НСИ", редакция 1.0» от ООО «СОФРОС» - сертифицированный сервис нормализации НСИ, который работает на гибридном подходе: шаблонные методы, классическое машинное обучение и современные языковые модели. Продукт автоматически обрабатывает, очищает и структурирует большие массивы номенклатурных данных материально-технических ресурсов (МТР) внутри конфигурации «MDM Управление нормативно-справочной информацией». Сертификат «Совместимо! Система программ 1С:Предприятие» подтверждает совместимость продукта с системой программ 1С.

Что делает расширение на практике: определяет класс номенклатуры по наименованию, извлекает технические характеристики из неструктурированных строк, ищет похожие позиции и дубли, дообогащает карточки недостающими сведениями. Рутинные операции, которые обычно выполняет эксперт по НСИ, переходят в автоматический режим с последующей проверкой человеком.

Ключевые параметры продукта: назначение «Дополнение», работа с конфигурацией «MDM Управление нормативно-справочной информацией» редакции 2.5 начиная с версии 2.5.14.1, отсутствие необходимости менять типовую конфигурацию, полностью открытый программный код. Разработка выполнена в среде «1С:Предприятие 8.3», рекомендуемая версия платформы - не ниже 8.3.27.

Кому адресовано расширение: роли и типовые сценарии

• Методолог или специалист по НСИ. Отвечает за эталонную модель справочников и полноту характеристик. Массовая классификация новой номенклатуры и разбор спорных позиций превращаются в проверку предложенных вариантов вместо ручного заполнения карточек.
• Аналитик справочников МТР. Ищет дубли, сводит позиции после слияния баз, дополняет характеристики сведениями из внешних источников. Семантический поиск снимает зависимость от точного совпадения строк.
• IT-специалист и 1С-разработчик. Устанавливает расширение, контролирует обмен данными с внешними сервисами, проверяет логику интеграции по открытому коду.
• Руководитель проекта MDM. Оценивает объем ручной работы и сроки очистки справочников, планирует пилот на ограниченном участке номенклатуры.

Расширение не заменяет методолога. Оно снимает однообразные операции и оставляет человеку решения по спорным позициям, где нужна предметная экспертиза или знание внутренних стандартов компании.

Место продукта в контуре «1С:MDM Управление НСИ»

Расширение имеет назначение «Дополнение»: оно устанавливается поверх типовой конфигурации и не требует внесения изменений в ее код. Для политики обновлений это означает, что новый релиз MDM не конфликтует с логикой расширения. При смене релиза типовой расширяемой конфигурации работоспособность при необходимости обеспечивается предоставлением пользователю новой версии продукта.

Конфигурация «MDM Управление нормативно-справочной информацией» развивается в сторону ИИ-инструментов: в релизе 2.5.14 появился HTTP-сервис для ИИ-агентов на базе MCP-протокола. Разбор агентской модели и MCP-протокола в версии 2.5.14 помогает понять, как поиск мастер-данных по естественному языку сочетается с задачами нормализации.

Почему гибридный подход: шаблоны, классическое ML и языковые модели

Один метод не закрывает весь путь от «грязной» строки наименования до структурированной карточки НСИ. Шаблоны надежны там, где формат стабилен. Машинное обучение дает воспроизводимый результат с измеримой уверенностью. Языковые модели подключаются на нестандартных случаях и при дефиците обучающих примеров.

Пример. Наименование «Труба стальная 57х3,5 ГОСТ 8732-78 ст20» шаблон разбирает по размерам и номеру стандарта, модель классификации относит позицию к классу «Трубы стальные» с определенной уверенностью, а контекстный поиск подтягивает характеристики, которых нет в строке: тип покрытия, область применения, сорт. Каждый слой делает ту часть работы, где он сильнее остальных.

Шаблонные методы: скорость и предсказуемость на типовых данных

Первый слой - разбор стандартных структур наименований МТР, регулярные выражения, словари синонимов и единиц измерения. Правило прозрачно: видно, по какому признаку получено значение, и результат одинаково воспроизводится на однотипных строках без обучающей выборки. Слабое место - хрупкость при нестандартных формулировках. Поставщик переставил слова или добавил сокращение, и правило перестает срабатывать. Поэтому шаблоны отсекают простые случаи и не расходуют ресурс моделей на очевидное.

Классическое машинное обучение: воспроизводимая классификация и экстракция

Модель классификации автоматически определяет класс номенклатуры по полному наименованию и показывает вероятность и уверенность результата. Модель экстракции выделяет технические характеристики из строки наименования с визуальной разметкой, возможностью ручной корректировки и сохранением размеченных примеров для дообучения.

Цикл получается замкнутым: разметка, дообучение, рост точности на данных конкретной компании. Поведение модели предсказуемо: при том же входе и той же версии модели пользователь получает тот же класс и ту же оценку уверенности. Это отличает классическое ML от генеративных моделей, где ответ может меняться от запуска к запуску.

Языковые модели: дообогащение и работа с нестандартными случаями

Модель контекстного поиска на базе LLM дообогащает данные с использованием внешних языковых моделей и web-поиска, находит новые характеристики и значения. Слой полезен там, где в наименовании нет нужных сведений и их приходится восстанавливать по контексту.

Риск недостоверных ответов ограничен процедурой: результат приходит как вариант, а не как заполненное поле. Пользователь видит предложение и подтверждает его в форме. Открытый программный код позволяет проверить, какие именно данные передаются во внешнюю модель и как обрабатывается ответ.

Модели расширения: классификация, экстракция, семантический и контекстный поиск

Четыре модели работают как конвейер над одним объектом НСИ. Сначала определяется класс, затем извлекаются характеристики, после этого позиция проверяется на совпадения с существующими записями и дополняется недостающими значениями.

Модель классификации: класс номенклатуры с вероятностью и уверенностью

Модель определяет класс номенклатуры по полному наименованию с указанием вероятности и уверенности полученного результата. Пример: «Кабель ВВГнг-LS 3х2,5» относится к классу «Кабели силовые». Две оценки нужны для настройки порогов: выше порога позиция принимается автоматически, ниже - уходит на ручную проверку. Такой порог задает компания, и он может отличаться для разных классов МТР.

Модель экстракции: технические характеристики из строки наименования

Модель автоматически выделяет технические характеристики из строки наименования. Из записи «Круг стальной 20 мм ст3сп5 ГОСТ 2590-2006» извлекаются диаметр, марка стали и номер стандарта, каждый со своей разметкой в форме. Разметку видно, ее можно поправить и сопоставить с уже существующими значениями из базы. Размеченные примеры сохраняются и используются для дообучения.

Модель семантического поиска: нечеткий поиск и дедупликация

Модель выполняет нечеткий поиск по наименованиям МТР с использованием эмбеддингов и реранкера для повышения точности. Поддерживается поиск значений характеристик и наименований характеристик в алгоритмах дедупликации. Практический смысл: «Подшипник 6205» и «Подшипник 205 ГОСТ 8338» обозначают близкие изделия, хотя строки совпадают лишь частично. Эмбеддинги находят смысловую близость, реранкер отсекает ложные совпадения, которые возникают при чисто векторном сравнении.

Модель контекстного поиска (LLM): дообогащение и новые характеристики

Модель обеспечивает дообогащение данных с использованием внешних языковых моделей и web-поиска, а также поиск новых характеристик и значений. Для позиции без указания материала система предлагает варианты на основе web-источников, пользователь выбирает подходящий или создает новую характеристику. Интеграция с web-источниками работает как источник вариантов, а не как автоматическое заполнение карточки.

Как ИИ встраивается в работу пользователя: интерактивные формы и контроль результатов

Результаты ИИ доступны там, где пользователь и работает со справочником. Интерактивная работа с результатами ИИ идет непосредственно в формах пользователя: заполнение значений характеристик и классов по данным ИИ с выводом вариантов при вариативном определении, визуальная разметка характеристик, редактирование и сопоставление с существующими значениями из базы, семантический поиск в справочниках с сортировкой по степени уверенности, контекстный поиск значений и новых характеристик с поддержкой выбора из вариантов, созданием новых характеристик и интеграцией с web-источниками.

Принцип простой: ИИ предлагает, пользователь подтверждает. Это снимает два типовых опасения при первом знакомстве с такими инструментами: «что-то сломаю» и «потеряю данные».

Вариативное определение и сортировка по уверенности

Когда модель не дает однозначного ответа, система выводит несколько вариантов, отсортированных по степени уверенности. Пользователь выбирает корректный или отклоняет все. Ошибочное автозаполнение становится маловероятным, а типовые решения принимаются быстрее: типичную позицию с высокой уверенностью можно подтвердить одним кликом.

Разметка как источник дообучения

Ручная работа не пропадает. Пользователь корректирует разметку в форме, размеченные примеры сохраняются, модель дообучается на них. Чем активнее команда разбирает спорные позиции, тем выше точность на номенклатуре конкретной компании. Для методолога это аргумент в пользу того, чтобы начинать с пилотного участка и постепенно накапливать обучающую выборку.

Отдельный вопрос - какие сведения допустимо отправлять во внешние языковые модели и как ограничивать права помощника. Безопасная работа с ИИ в 1С: данные, проверка ответов и права приложений разбирает эти ограничения на уровне регламентов компании.

Совместимость, безопасность и открытый код: что важно знать до внедрения

Требования к версиям конфигурации и платформы

Конкретную версию платформы определяют требования расширяемой типовой конфигурации, поэтому перед установкой сверьте оба параметра: релиз MDM и релиз платформы. Эти же данные приведены в сообщении о сертификации продукта.

Почему «Дополнение» и открытый код снижают риски

Назначение «Дополнение» и отсутствие изменений типовой конфигурации означают, что штатные обновления MDM не конфликтуют с расширением. Снимается типовой риск сопровождения: после установки очередного релиза не приходится заново переносить доработки.

Открытый код дает возможность аудита. IT-служба видит, какие данные и куда передаются, как формируется запрос к внешней языковой модели, какие справочники задействованы в поиске. Логику обработки можно адаптировать под внутренние регламенты по работе с мастер-данными, и компания не оказывается заложником закрытого формата поставщика.

В каких случаях расширение дает эффект, а где остаются ограничения

Сценарии с наибольшей отдачей

• Загрузка нового каталога МТР на 10 000+ позиций. Задействованы классификация и экстракция: класс и характеристики проставляются автоматически, эксперт проверяет только позиции с низкой уверенностью.
• Очистка исторических справочников перед миграцией. Работает связка классификации и семантического поиска: сначала нормализуются наименования, затем выявляются близкие записи.
• Дедупликация после слияния баз. Основная нагрузка на модель семантического поиска с эмбеддингами и реранкером, включая поиск по значениям характеристик.
• Дообогащение характеристик для закупок. Подключается контекстный поиск на базе LLM: недостающие значения предлагаются из внешних источников и подтверждаются пользователем.

Границы автоматизации и роль эксперта

Качество результата зависит от объема и качества обучающих примеров. На старте, пока размеченных данных мало, доля ручной проверки выше, и это нормальный этап настройки. Результаты LLM требуют проверки человеком, нестандартные форматы наименований все равно доходят до методолога.

Порог автоматического принятия настраивается, поэтому компания сама определяет баланс между скоростью и контролем. Финальное решение по спорным позициям остается за специалистом по НСИ. Расширение снимает рутину, но не отменяет методологию ведения справочников.

С чего начать внедрение: практический чек-лист

1. Сверьте версию конфигурации «MDM Управление нормативно-справочной информацией»: нужна редакция 2.5 начиная с 2.5.14.1.
2. Проверьте версию платформы «1С:Предприятие 8.3»: рекомендуемая - не ниже 8.3.27, точные требования задает расширяемая конфигурация.
3. Подтвердите статус продукта: сертификат «Совместимо! Система программ 1С:Предприятие», назначение «Дополнение», отсутствие изменений типовой конфигурации.
4. Установите расширение и убедитесь, что штатные механизмы обновления MDM работают как прежде.
5. Выберите пилотный участок номенклатуры МТР: один класс или одно направление закупок, 500-2000 позиций достаточно для первой оценки.
6. Прогоните классификацию и экстракцию, посмотрите распределение оценок уверенности и определите рабочий порог автопринятия.
7. Разметьте спорные примеры в формах пользователя и запустите дообучение, сравните результат с первой итерацией.
8. Подключите семантический поиск для дедупликации, затем оцените контекстный поиск LLM на ограниченной выборке позиций.

Начинать со всего справочника сразу не стоит: без размеченных примеров доля ручной проверки будет высокой, а эффект сложно измерить. Пилот на узком участке дает и обучающие данные, и понятную оценку трудозатрат до масштабирования. Программный код продукта полностью открыт, поэтому IT-служба может заранее изучить логику обработки и оценить объем данных, который будет уходить во внешние модели. Детали функционала и точные требования к релизам сверяйте с актуальной документацией продукта и публикацией о сертификации, чтобы не опираться на устаревшие сведения.