Из фото в таблицу: как ИИ читает мятый чек

Улан сфотографировал мятый чек — и через секунду получил таблицу: товары, цены, итог. Кажется, что программа прочитала чек, как человек. На деле она прошла несколько шагов, и ни на одном не «читала».

Шаг 1. Выровнять фото

Чек мятый, снят под углом, с тенью от руки. Сначала программа выравнивает картинку: находит края бумаги и распрямляет её, чтобы строки шли ровно.

Шаг 2. Найти строки

Дальше она ищет строки текста — полосы, где есть знаки, и промежутки между ними. Каждая строка становится отдельным кусочком картинки.

Шаг 3. Угадать буквы и цифры

В каждой строке программа разбирает знаки по одному и для каждого подбирает, на какую букву или цифру он больше всего похож. Это не чтение, а угадывание: у каждого варианта своя уверенность, и выбирается самый вероятный.

Шаг 4. Понять смысл

Буквы — ещё не таблица. Программа смотрит, где что стоит на чеке:

• число справа в строке — цена;
• строка со словом «итого» внизу — сумма;
• наверху — дата.

Строки встают в столбцы: товар, цена, итог. В ролике итог условного чека — 975 сомов.

Где ИИ ошибается

Чаще всего — на выцветшей печати. Знак бледный, половины штрихов не видно, и программа путает похожие цифры: единицу с семёркой. Было 210 — стало 270.

Поэтому хорошая программа не верит себе на слово:

• сверяет сумму строк с итогом — если не сходится, где-то ошибка;
• помечает сомнительное и отдаёт человеку на проверку.

Почему это полезно знать

Когда программа распознаёт документ, она не видит его, как мы. Она угадывает знаки и собирает из них смысл. Если результат важен — деньги, остатки, отчёты, — нужна сверка и человек, который проверит сомнительные места.

Коротко

• Распознавание чека идёт по шагам: выровнять фото, найти строки, угадать знаки, понять смысл.
• ИИ не читает, а подбирает, на какой знак больше всего похож каждый символ.
• На выцветшей печати путает похожие цифры, например 1 и 7.
• Хорошая программа сверяет строки с итогом и отдаёт сомнительное человеку.