Штраф и неустойка: поиск без общих слов
Как поиск по смыслу находит нужный текст, даже если в вопросе нет ни одного слова из ответа, и почему он измеряет похожесть, а не понимает.
Человек ищет в документах «штраф», а поиск находит пункт про «неустойку 0,1 % в день». Ни одного общего слова с вопросом — а найдено именно то, что нужно. Обычный поиск по словам так не умеет. Здесь работает поиск по смыслу.
Текст превращается в ряд чисел
Внутри такого поиска каждый текст превращается в длинный ряд чисел. Не в одно число, а в длинный ряд: у распространённых моделей — от тысячи до трёх тысяч чисел на один фрагмент.
Главное свойство этих рядов: похожие по смыслу тексты получают похожие ряды. «Штраф» и «неустойка» — разные слова, но используются в похожих ситуациях, поэтому их ряды чисел оказываются близкими.
Ряд чисел — как адрес на карте
Проще всего представить это как карту. Ряд чисел — это адрес точки на ней. Тексты с похожим смыслом лежат рядом: «штраф» и «неустойка» — по соседству, а «кот» и «футбол» — далеко друг от друга.
Настоящая карта устроена сложнее: у неё не два направления, как у бумажной, а столько, сколько чисел в ряду. И точка на ней обычно не отдельное слово, а целый абзац текста. Но принцип тот же.
Когда приходит вопрос, его тоже превращают в ряд чисел и ставят на ту же карту. Дальше поиск берёт ближайшие точки — абзацы, которые по смыслу ближе всего к вопросу. Совпадение букв для этого не нужно.
Не понимает, а измеряет похожесть
Легко сказать, что такой поиск «понимает смысл». Сами разработчики этих систем формулируют осторожнее: поиск не понимает слова, как человек, а измеряет, насколько тексты похожи.
Это различие важно. Поиск находит близкое по смыслу, но не проверяет, верно ли оно. Если в базе лежат два похожих пункта — старый и новый, — оба окажутся рядом с вопросом.
Где это встречается
Тот же приём работает в поиске по документам компании, в ботах, которые отвечают по базе знаний, и в поиске товаров. Если вы написали «кофта с капюшоном», поиск по смыслу может найти худи — хотя слова совсем разные.
Коротко
- Поиск по смыслу находит нужное даже без общих слов с вопросом.
- Текст превращается в длинный ряд чисел — у распространённых моделей от тысячи до трёх тысяч.
- Похожие по смыслу тексты получают похожие ряды и лежат рядом, как адреса на карте.
- Вопрос ставят на ту же карту и берут ближайшее.
- Поиск не понимает, а измеряет похожесть.
Примеры и расположение слов на схеме в ролике — условные.
