Зачем понадобилась нейросеть для древнерусских грамот
В Великом Новгороде найдено уже более 1200 берестяных грамот, и их количество ежегодно растёт. Ручная расшифровка таких документов — чрезвычайно трудоёмкий процесс, требующий высокой квалификации палеографов и архивистов. Многие символы имеют несколько вариантов прочтения, а устаревшие буквы и редкие диакритические знаки усложняют классификацию даже для опытных специалистов. Автоматических решений для этой задачи на данный момент практически не существует, а существующие аналоги либо недостаточно точны, либо нестабильны, либо требуют больших размеченных вручную датасетов. Разработка магистранта Новгородского государственного университета Ивана Филиппова призвана стать быстрым и надёжным инструментом для библиографов, палеографов и архивистов, позволяя существенно ускорить обработку археологических находок.
Архитектура нейросети: от детектора до распознавания
Работа системы начинается с детектора, который отвечает за обнаружение и объединение прямоугольных областей (боксов) вокруг каждой буквы на изображении грамоты. Поскольку модель не может обработать полную грамоту целиком и выдать детальную расшифровку, буквы подаются на распознавание по отдельности. После детекции выполняется сегментация, поиск контуров, объединение соседних боксов по расстоянию и соотношению площадей. Для распознавания каждой вырезки используется свёрточная нейронная сеть ResNet-18, адаптированная под изображения размером 64×64 пикселя. Все полученные вырезки букв сохраняются в виде PNG-файлов, сгруппированных по классам. Экспорт данных реализован на языке Python с использованием стандартных библиотек, что обеспечивает лёгкую интеграцию и последующую аналитику.
Обучение модели: датасет из эталонных грамот
Для обучения нейросети использовался датасет из пяти эталонных грамот, на которых буквы были размечены вручную. При отборе этих грамот учитывалось, чтобы они были целыми, крупными по объёму и содержали наибольшее разнообразие разборчиво написанных символов. Дополнительно в датасет вошли автоматические вырезки букв, полученные с помощью детектора. Такой подход позволил сформировать репрезентативную выборку, включающую как типичные, так и редкие варианты начертаний. Система способна обучаться самостоятельно: по мере использования программы датасет обогащается новыми качественными расшифровками, что постепенно повышает точность распознавания. В будущем этот процесс планируется полностью автоматизировать.
Точность и производительность: 98% за секунды
После всех доработок и корректировок точность распознавания букв достигла 98%. Полный прогон одного изображения занимает всего 1–2 секунды. Система демонстрирует высокую производительность и устойчивость благодаря компактной архитектуре и плавной работе пользовательского интерфейса. Такая скорость обработки позволяет использовать нейросеть не только для отдельных грамот, но и для массовой обработки архивных материалов. Разработчики отмечают, что модель, обученная на грамотах, хорошо работает и с рукописями, что открывает дополнительные возможности для исторических исследований.
Пользовательский интерфейс: Canvas и горячие клавиши
Для удобства пользователей создано приложение с интуитивным интерфейсом Canvas. Оно позволяет быстро загружать любые изображения грамот, использовать функции зума и панорамы для точного выбора областей, автоматически или вручную выделять рамки вокруг букв, а также мгновенно редактировать, перемещать, удалять и отменять действия. Все операции выполняются мышью и горячими клавишами, что обеспечивает высокую скорость работы даже с большими изображениями. Готовые инструменты Python гарантируют простоту интеграции и отзывчивость интерфейса. Приложение уже сейчас готово к интеграции в архивные и научные проекты по изучению древнерусских грамот.
Применение в науке: датирование и установление авторства
Разработка позволяет решать не только задачу распознавания текста, но и такие функции, как датирование грамоты и установление её авторства. Модель, обученная на берестяных грамотах, хорошо работает и с рукописями, что особенно важно, поскольку в архивах хранится множество рукописей, о которых, помимо самого текста, мало что известно. Разработчики открыты к взаимодействию с научными центрами, в частности с Центром археологических исследований НовГУ. Система может быть адаптирована для работы с различными типами древних документов, что делает её универсальным инструментом для палеографии.
Ограничения и вызовы при распознавании древних текстов
Несмотря на высокую точность, задача распознавания древнерусских символов остаётся сложной. Многие буквы имеют несколько вариантов прочтения, а разнообразие устаревших букв и редких диакритических знаков усложняет классификацию по стандартным моделям. Система требует качественных исходных изображений: грамоты должны быть целыми, крупными по объёму и содержать разборчиво написанные буквы. Повреждённые или фрагментированные документы могут снижать точность распознавания. Кроме того, модель пока обучалась на ограниченном датасете из пяти грамот, и для повышения устойчивости к редким вариантам начертаний требуется дальнейшее расширение обучающей выборки.
Перспективы развития и автоматизация обучения
В планах разработчиков — полностью автоматизировать процесс обучения нейросети. Сейчас, по мере использования программы, датасет обогащается новыми качественными расшифровками, которые вносятся пользователями. В будущем система сможет самостоятельно пополнять обучающую выборку, что позволит continuously улучшать точность распознавания. Также рассматривается возможность адаптации модели для работы с другими типами древних письменностей, включая тибетские рукописи и другие исторические документы. Проект получил грант в 1 миллион рублей по программе «Студенческий стартап» Фонда содействия инновациям, что подтверждает его актуальность и перспективность.
Как нейросеть меняет работу археологов и палеографов
Внедрение автоматического распознавания древнерусских грамот существенно ускоряет процесс обработки археологических находок. Вместо многих часов ручной расшифровки специалист получает готовый результат за 1–2 секунды, после чего может сосредоточиться на интерпретации и анализе текста. Система также помогает выявлять редкие символы и варианты начертаний, которые могли быть пропущены при визуальном осмотре. Это особенно важно при работе с большими массивами документов, например, при каталогизации архивов. Разработчики подчёркивают, что нейросеть не заменяет эксперта, а становится его надёжным помощником, беря на себя рутинную работу по распознаванию символов.
Вопросы и ответы
Какая точность распознавания у нейросети для древнерусских грамот?
После всех доработок и корректировок точность распознавания букв составляет 98%. Система обрабатывает одно изображение за 1–2 секунды.
На каких данных обучалась нейросеть?
Для обучения использовался датасет из пяти эталонных грамот с ручной разметкой букв. Дополнительно в датасет вошли автоматические вырезки букв, полученные с помощью детектора.
Может ли нейросеть работать с рукописями, а не только с грамотами?
Да, модель, обученная на грамотах, хорошо работает и с рукописями. Разработчики отмечают, что это является одной из основных целей дальнейшего развития проекта.
Какая архитектура нейросети используется для распознавания?
Для распознавания букв используется свёрточная нейронная сеть ResNet-18, адаптированная под изображения размером 64×64 пикселя.
Сколько времени занимает обработка одной грамоты?
Полный прогон одного изображения занимает 1–2 секунды, включая детекцию боксов, распознавание букв и экспорт результатов.
Какие функции, помимо распознавания текста, поддерживает система?
Система позволяет решать задачи датирования грамоты и установления её авторства. Также возможна адаптация модели для работы с различными типами древних документов.
Кто разработал нейросеть и получил ли проект финансирование?
Разработчик — магистрант НовГУ Иван Филиппов, руководитель проекта — доцент Ирина Телина. Проект получил грант в 1 миллион рублей по программе «Студенческий стартап» Фонда содействия инновациям.