Одной из главных задач стало совершенствование работы со специфической лексикой. Мы провели масштабное стресс-тестирование, чтобы проверить, как обновленная модель справляется с именами собственными, брендами и профессиональным жаргоном.
Искусственные ловушки для ИИДля проверки мы составили тексты, наполненные «словами-ловушками» — терминами, которые звучат похоже, но имеют принципиально разное значение в зависимости от контекста:
- Госсектор и промышленность: Проверялось распознавание длинных фамилий и названий корпораций. Система должна была не перепутать фамилию Мантуров с «авантюрой», а Уралвагонзавод — с простым сочетанием слов «вагон» и «завод».
- E-commerce и ритейл: Мы тестировали написание брендов в формате CamelCase и слитно (Wildberries, ВкусВилл). Важно было, чтобы при упоминании компании ВкусВилл ИИ не писал просто «вкус» или «вилл», а понимал, что речь об экосистеме, а не о «сборе ягод на рынке».
- IT и финансы: Контролировались аббревиатуры и названия ПО (1С:Бухгалтерия, СБП, Битрикс). Например, система должна была отличить платежную систему СБП от города СПб.
Кейс №1: Государственный сектор и промышленностьЦель: Проверить распознавание длинных фамилий и сложных названий госкорпораций.
- Слова для словаря: Мантуров, Ростех, Уралвагонзавод, Абдурахмангаджиев.
- Слова-ловушки (контроль): Авантюров, Рост, Вагонзавод, Гаджиев.
Текст для записи:«Коллеги, добрый день. Вчера Мантуров подписал приказ по нашему ведомству. Нам нужно усилить взаимодействие с Ростехом, особенно в части поставок на Уралвагонзавод. У нас в отделе за это отвечает Абдурахмангаджиев, прошу любить и жаловать. Это не какая-то там пустая авантюра, а серьезный рост показателей. Не надо просто смотреть, как едет вагон по заводу, нужно контролировать каждый этап сборки. И передайте господину Гаджиеву, что сроки горят».
Кейс №2: Ритейл и электронная коммерция (E-commerce)Цель: Проверить, как словарь справляется с брендами, которые пишутся слитно или имеют специфическое написание (CamelCase), и не путает ли их с физическими терминами.
- Слова для словаря: Wildberries, ВкусВилл, X5 Group, Пятёрочка.
- Слова-ловушки (контроль): Ягоды, Вкус, Икс пять, Пятерка (оценка или монета).
Текст для записи:«Наш основной фокус в этом квартале — запуск на Wildberries. Мы уже не просто собираем ягоды на рынке, мы строим экосистему. Конкуренция с ВкусВиллом растет, у них отличный вкус в плане маркетинга. Также посмотрите на отчет по X5 Group: их Пятёрочка показывает отличные результаты. Это вам не школьная пятерка в дневнике, а миллиардные обороты. Если какой-нибудь икс из группы пять решит уйти, мы должны быть готовы занять их долю».
Кейс №3: Финансы, IT и налогиЦель: Проверить аббревиатуры и специфическое российское ПО, которое модель часто воспринимает как «кашу».
- Слова для словаря: 1С:Бухгалтерия, Росфинмониторинг, СБП, Битрикс.
- Слова-ловушки (контроль): Один эс, Мониторинг, Спб (город), Бицепс.
Текст для записи:«Переходим к технической части. Нам нужно интегрировать 1С:Бухгалтерию с новой системой платежей через СБП. Будьте внимательны, Росфинмониторинг сейчас за всеми следит. Это вам не просто мониторинг трафика, а реальный риск блокировок. Все задачи ставим в Битрикс, а не записываем на салфетках. Если кто-то поедет в Спб в командировку, отчетность всё равно подаем через один эс, как обычно. И хватит качать бицепс, лучше прокачайте навыки работы с базами данных».