СЕРВИСНЫЕ УСЛУГИ
СТУДИЯ В ЛИПЕЦКЕ

Советы · Семейный архив · 5 минут

Поиск по скану семейного документа: почему OCR ошибается в фамилиях и как проверить результат

Чем изображение страницы отличается от распознанного текста. Как проверить фамилии, даты, таблицы и сомнительные слова, сохраняя скан и честные пометки.
Сканирование создаёт изображение документа. Поисковый слой и проверенная расшифровка — отдельные этапы работы.

Сканирование создаёт изображение документа. Поисковый слой и проверенная расшифровка — отдельные этапы работы.
Gunnar Creutz · Wikimedia Commons · CC0. Полная опубликованная версия; без дополнительного кадрирования студией. Иллюстративный материал; не фотография заказа клиента.

Красивый скан не обязательно содержит доступный для поиска текст

В PDF может находиться только изображение страницы. Чтобы искать слова или выделять распознанные строки, обычно нужен дополнительный текстовый слой, полученный OCR. Он не появляется автоматически от самого факта сканирования.

Adobe отдельно описывает преобразование изображения в распознанный текст.[1] При этом появление выделения мышью не доказывает, что каждая буква прочитана правильно. За видимой фотографией фамилии может скрываться ошибочная последовательность символов.

Для семейных документов это особенно существенно: один неверный знак способен скрыть нужную запись от поиска. Поэтому полезно сразу различать изображение оригинала, результат распознавания и проверенную человеком расшифровку.

Старая печать, мелкий шрифт и особенности бумаги усложняют чтение. Пример исторической страницы не относится к документам клиента.
Старая печать, мелкий шрифт и особенности бумаги усложняют чтение. Пример исторической страницы не относится к документам клиента.University of North Carolina (1793-1962) · Wikimedia Commons · Public domain. Полная опубликованная версия; без дополнительного кадрирования студией. Иллюстративный материал; не фотография заказа клиента.
Три разных результатаТри разных результата. Изображение: Как выглядит исходная страница. OCR: Что автоматически прочитала программа. Проверка: Что сверено с изображением1ИзображениеКак выглядит исходная страница2OCRЧто автоматически прочиталапрограмма3ПроверкаЧто сверено с изображением
  1. ИзображениеКак выглядит исходная страница
  2. OCRЧто автоматически прочитала программа
  3. ПроверкаЧто сверено с изображением
Три разных результата. Авторская учебная схема студии «Мы из 90х»; пояснение, не фотография клиентского материала.

Почему имена и даты требуют особого внимания

Редкая фамилия, инициалы и сокращённое название места дают меньше контекста, чем обычная фраза. Программа может спутать похожие буквы и цифры или предложить знакомое слово вместо нужного имени.

Начните проверку с полей, ради которых сохраняли документ: фамилия, имя, дата, населённый пункт, номер записи. Читаемость остального абзаца не подтверждает эти сведения автоматически.

Не исправляйте необычное написание только потому, что современный вариант выглядит привычнее. Сначала проверьте сам оригинал. Если нужна нормализованная форма для семейного указателя, запишите её отдельно от дословной передачи документа.

Разборчивое изображение страницы помогает проверять OCR. Автоматическое распознавание не заменяет доступ к самому скану.
Разборчивое изображение страницы помогает проверять OCR. Автоматическое распознавание не заменяет доступ к самому скану.Dvortygirl · Wikimedia Commons · CC BY-SA 4.0. Полная опубликованная версия; без дополнительного кадрирования студией. Иллюстративный материал; не фотография заказа клиента.
Первая проверка текстаПервая проверка текста. Люди: Фамилии, имена и инициалы. Время: Даты и числовые обозначения. Место: Населённые пункты и адреса1ЛюдиФамилии, имена и инициалы2ВремяДаты и числовые обозначения3МестоНаселённые пункты и адреса
  1. ЛюдиФамилии, имена и инициалы
  2. ВремяДаты и числовые обозначения
  3. МестоНаселённые пункты и адреса
Первая проверка текста. Авторская учебная схема студии «Мы из 90х»; пояснение, не фотография клиентского материала.

Как подготовить материал для распознавания

Проверьте полноту кадра, резкость, ориентацию и отсутствие глубоких теней. Если строка обрезана, никакое распознавание не возвращает её как достоверно прочитанную. Для слабого текста важно иметь достаточно подробную исходную копию.

Выберите язык распознавания, соответствующий документу, если программа позволяет. Для смешанного материала отдельно учитывают разные языки и необычные знаки. Не следует автоматически считать старую орфографию ошибкой оригинала.

Рукопись, повреждённый текст и печатная страница — разные по сложности случаи. Возможности конкретной программы нужно оценивать на пробе. Сохраните исходное изображение до любых усилений контраста и автоматической очистки.

Перед запуском OCRПеред запуском OCR. Изображение: Полный кадр и нужная детализация. Настройка: Подходящий язык и диапазон страниц. Проба: Проверить сложный фрагмент1ИзображениеПолный кадр и нужнаядетализация2НастройкаПодходящий язык и диапазонстраниц3ПробаПроверить сложный фрагмент
  1. ИзображениеПолный кадр и нужная детализация
  2. НастройкаПодходящий язык и диапазон страниц
  3. ПробаПроверить сложный фрагмент
Перед запуском OCR. Авторская учебная схема студии «Мы из 90х»; пояснение, не фотография клиентского материала.

Почему таблица может читаться в неправильном порядке

Программа способна распознать большинство букв, но перепутать порядок столбцов. В списке жильцов фамилия и дата тогда окажутся связаны неверно. Для семейного исследования такая ошибка опаснее одной заметной опечатки.

Проверяйте строку целиком: имя, соседние поля, заголовки и перенос на следующую страницу. Если таблица содержит повторяющиеся фамилии, сравнивайте дополнительные признаки, а не выбирайте первое совпадение поиска.

В рабочей расшифровке полезно сохранять понятные строки и указание страницы. Выгруженный текст без разметки можно использовать для поиска, но выводы по нему следует сверять с изображением таблицы.

Рукописные подписи и табличный печатный текст проверяют разными способами. Нельзя судить о точности по одному удачному фрагменту.
Рукописные подписи и табличный печатный текст проверяют разными способами. Нельзя судить о точности по одному удачному фрагменту.Vyacheslav Argenberg · Wikimedia Commons · CC BY 4.0. Полная опубликованная версия; без дополнительного кадрирования студией. Иллюстративный материал; не фотография заказа клиента.

Как проверять, если программа отмечает сомнительные слова

Некоторые инструменты предлагают список подозрительных фрагментов. Adobe описывает сравнение распознанного слова с изображением и ручное исправление.[2] Это помогает найти часть проблем, но не является гарантией, что остальные слова верны.

Проверьте важные поля независимо от автоматических отметок. Полезный приём — поискать в PDF известную фамилию, затем выделить её и вставить в обычный текстовый редактор. Так становится видно, какие символы находятся в слое.

После исправления повторите поиск. Если документ понадобится родственникам, объясните, какие части проверены полностью, а какие остались только результатом OCR. Не обозначайте весь файл как вычитанный по проверке двух страниц.

Проверка поискового слояПроверка поискового слоя. Найти: Известную фамилию или дату. Сравнить: Слово и изображение страницы. Исправить: Подтверждённые ошибки. Повторить: Проверить поиск после изменения1НайтиИзвестную фамилию или дату2СравнитьСлово и изображение страницы3ИсправитьПодтверждённые ошибки4ПовторитьПроверить поиск послеизменения
  1. НайтиИзвестную фамилию или дату
  2. СравнитьСлово и изображение страницы
  3. ИсправитьПодтверждённые ошибки
  4. ПовторитьПроверить поиск после изменения
Проверка поискового слоя. Авторская учебная схема студии «Мы из 90х»; пояснение, не фотография клиентского материала.

Что писать, если слово невозможно прочитать уверенно

Оставьте понятную пометку: «неразборчиво», «предположительно» или несколько вариантов с вопросом. Укажите страницу и место фрагмента. Это честнее, чем превращать догадку в установленное имя родственника.

Можно сверить повторяющееся слово на других страницах и спросить человека, знакомого с почерком. Однако семейное ожидание не подменяет видимый текст. Если два источника расходятся, сохраните сам факт расхождения.

Не просите систему автоматически дописать отсутствующую строку как будто она прочитана с бумаги. Реконструкция возможного смысла и расшифровка сохранившегося оригинала имеют разный статус. В архиве они должны оставаться различимыми.

Качественная копия позволяет вернуться к сомнительному месту позже, когда появятся дополнительные сведения.
Качественная копия позволяет вернуться к сомнительному месту позже, когда появятся дополнительные сведения.Gunnar Creutz · Wikimedia Commons · CC0. Полная опубликованная версия; без дополнительного кадрирования студией. Иллюстративный материал; не фотография заказа клиента.

Как хранить скан, OCR и исправления вместе

Оставьте исходное изображение, поисковый PDF и при необходимости проверенную расшифровку отдельными понятными файлами. Свяжите их общим обозначением документа и страниц.

Комплект для семейного документа
ВерсияЧто в ней хранится
Исходный сканВид страницы без подмены текста
Поисковый PDFИзображение и распознанный слой
РасшифровкаТекст с пометками и уточнениями
ОписаниеИсточник, страницы, объём проверки

На телефоне таблицу можно прокручивать вбок.

В описании не требуется длинный отчёт. Достаточно указать, кто и когда сверял важные поля, где остались сомнения и к какому оригиналу относится комплект.

Чтобы семья могла проверить записьЧтобы семья могла проверить запись. Источник: Скан нужной страницы. Связь: Одинаковый номер документа. Статус: Понятно, что проверено человеком1ИсточникСкан нужной страницы2СвязьОдинаковый номер документа3СтатусПонятно, что провереночеловеком
  1. ИсточникСкан нужной страницы
  2. СвязьОдинаковый номер документа
  3. СтатусПонятно, что проверено человеком
Чтобы семья могла проверить запись. Авторская учебная схема студии «Мы из 90х»; пояснение, не фотография клиентского материала.

Что согласовать при сканировании в Липецке

Расскажите студии «Мы из 90х», какие материалы нужно сохранить: отдельные листы, книгу, печатный текст или рукописные страницы. Укажите объём и цель: чтение, поиск по фамилиям либо подготовка к дальнейшей расшифровке.

Сканирование, OCR и ручная проверка — отдельные вопросы состава заказа. Наличие услуги сканирования не следует понимать как автоматическое обещание безошибочно распознать любой почерк. Сначала согласуют необходимый результат.

Для семейной истории ценен комплект, который можно проверить по оригинальному изображению. Удобный поиск помогает находить сведения, а сохранённый скан позволяет убедиться, что программа прочитала их правильно.

Made on
Tilda