Таймлист

Тестирование точности — как мы побеждаем «трудные» слова

Статья обновлена 13 мая 2026 г.

Одной из главных задач стало совершенствование работы со специфической лексикой. Мы провели масштабное стресс-тестирование, чтобы проверить, как обновленная модель справляется с именами собственными, брендами и профессиональным жаргоном.

Искусственные ловушки для ИИ
Для проверки мы составили тексты, наполненные «словами-ловушками» — терминами, которые звучат похоже, но имеют принципиально разное значение в зависимости от контекста:
  • Госсектор и промышленность: Проверялось распознавание длинных фамилий и названий корпораций. Система должна была не перепутать фамилию Мантуров с «авантюрой», а Уралвагонзавод — с простым сочетанием слов «вагон» и «завод».
  • E-commerce и ритейл: Мы тестировали написание брендов в формате CamelCase и слитно (Wildberries, ВкусВилл). Важно было, чтобы при упоминании компании ВкусВилл ИИ не писал просто «вкус» или «вилл», а понимал, что речь об экосистеме, а не о «сборе ягод на рынке».
  • IT и финансы: Контролировались аббревиатуры и названия ПО (1С:Бухгалтерия, СБП, Битрикс). Например, система должна была отличить платежную систему СБП от города СПб.

Кейс №1: Государственный сектор и промышленность
Цель: Проверить распознавание длинных фамилий и сложных названий госкорпораций.
  • Слова для словаря: Мантуров, Ростех, Уралвагонзавод, Абдурахмангаджиев.
  • Слова-ловушки (контроль): Авантюров, Рост, Вагонзавод, Гаджиев.
Текст для записи:
«Коллеги, добрый день. Вчера Мантуров подписал приказ по нашему ведомству. Нам нужно усилить взаимодействие с Ростехом, особенно в части поставок на Уралвагонзавод. У нас в отделе за это отвечает Абдурахмангаджиев, прошу любить и жаловать. Это не какая-то там пустая авантюра, а серьезный рост показателей. Не надо просто смотреть, как едет вагон по заводу, нужно контролировать каждый этап сборки. И передайте господину Гаджиеву, что сроки горят».

Кейс №2: Ритейл и электронная коммерция (E-commerce)
Цель: Проверить, как словарь справляется с брендами, которые пишутся слитно или имеют специфическое написание (CamelCase), и не путает ли их с физическими терминами.
  • Слова для словаря: Wildberries, ВкусВилл, X5 Group, Пятёрочка.
  • Слова-ловушки (контроль): Ягоды, Вкус, Икс пять, Пятерка (оценка или монета).
Текст для записи:
«Наш основной фокус в этом квартале — запуск на Wildberries. Мы уже не просто собираем ягоды на рынке, мы строим экосистему. Конкуренция с ВкусВиллом растет, у них отличный вкус в плане маркетинга. Также посмотрите на отчет по X5 Group: их Пятёрочка показывает отличные результаты. Это вам не школьная пятерка в дневнике, а миллиардные обороты. Если какой-нибудь икс из группы пять решит уйти, мы должны быть готовы занять их долю».

Кейс №3: Финансы, IT и налоги
Цель: Проверить аббревиатуры и специфическое российское ПО, которое модель часто воспринимает как «кашу».
  • Слова для словаря: 1С:Бухгалтерия, Росфинмониторинг, СБП, Битрикс.
  • Слова-ловушки (контроль): Один эс, Мониторинг, Спб (город), Бицепс.
Текст для записи:
«Переходим к технической части. Нам нужно интегрировать 1С:Бухгалтерию с новой системой платежей через СБП. Будьте внимательны, Росфинмониторинг сейчас за всеми следит. Это вам не просто мониторинг трафика, а реальный риск блокировок. Все задачи ставим в Битрикс, а не записываем на салфетках. Если кто-то поедет в Спб в командировку, отчетность всё равно подаем через один эс, как обычно. И хватит качать бицепс, лучше прокачайте навыки работы с базами данных».
Тестирование проводилось в разных условиях: через запись на телефон и через компьютер по телемосту с эхом на заднем плане.
1) Запись на телефон
Красным помечены ошибки, зеленым правильное распознавание сложных слов и ловушек даже без подгрузки терминов.
Аудио можно послушать по ссылке: https://debug.timelist.ru/public/order/66e2af4d368e4d54119e74a6/69eb90b5eb18496e0f97de6e 

2) Через компьютер по телемосту с эхом на заднем плане
Послушать запись можно по ссылке: https://debug.timelist.ru/public/order/66e2af4d368e4d54119e74a6/69eb970eeb18496e0f97e1a3 

Были добавлены в словарь следующие слова:
  • Абдурахмангаджиев
  • Вкуссвил
  • Вайлдберис
  • 1C:Бухгалтерия
Результаты распознавания записи 1
Результаты распознавания записи 2
Итоги проверки:
  • Сложные фамилии: Даже при нечетком произношении (когда «Абдурахмангаджиев» звучало как «Дурмагаджиев»), система, благодаря настроенному словарю, выдала 100% корректный результат.
  • Контекстуальный выбор: ИИ безошибочно определил, где «пятерка» — это оценка в дневнике, а где — торговая сеть с миллиардными оборотами.
  • Регистр и форматирование: Модель корректно фиксирует названия в нужном регистре, избегая типичных ошибок простых транскрибаторов (например, «один с» вместо «1С»).
Маленькая деталь 
В ходе тестов мы заметили, что система иногда заменяет двоеточие в термине 1С:Бухгалтерия на пробел. Мы считаем это допустимым, так как в живой речи пунктуация внутри слов — явление редкое, а замена на пробел полностью сохраняет читаемость и смысл профессионального текста.
Итоги и перспективы
Проведенные тесты подтвердили, что использование специализированных словарей и механизмов контекстуального анализа позволяет ИИ успешно преодолевать барьеры «трудной» лексики. Система продемонстрировала высокую точность даже в сложных условиях записи, безошибочно различая профессиональные термины, специфические бренды и омонимичные «слова-ловушки». Несмотря на такие мелкие нюансы, как замена двоеточия пробелом в технических названиях, итоговый текст остается полностью читаемым и сохраняет свой профессиональный смысл. Это доказывает, что современные технологии распознавания речи уже сегодня способны эффективно работать с узкоспециализированным контентом в госсекторе, ритейле и IT-индустрии.

Читайте также

Показать еще
Поручите рутину искусственному интеллекту
Поручите рутину ИИ