Программы для обработки данных из метрических книг : ВГД

На сайте ВГД собираются люди, увлеченные генеалогией, историей, геральдикой и т.д. Здесь вы найдете собеседников, экспертов, умелых помощников в поисках предков и родственников. Вам подскажут где искать документы о павших в боях и пропавших без вести, в какой архив обратиться при исследовании родословной своей семьи, помогут определить по старой фотографии принадлежность к воинским частям, ведомствам и чину. ВГД - поиск людей в прошлом, настоящем и будущем!

Добрый вечер!
Вовремя нашёл эту тему.
Я веб-разработчик, просмотрел около 45 лет метрических книг по интересующему меня приходу и у меня появилось несколько идей по поводу перепечатывания и обработки данных из метрических книг.
Чуть позже опишу саму идею.
Реализация потребует определённого времени, а также множества пар глаз для помощи в перепечатывании.

Была также идея с нейронными сетями, но пока она трудноосуществима.

Добрый день.

"Пролистав" множество страниц изображений метрических книг, захотелось чего-то более удобного, чем просмотр тысяч картинок для поиска предков.
Пришла идея написания веб-приложения, наполняемого пользователями и для пользователей.
Проект может быть как минималистичным сайтом, так и полномасштабным порталом.

Веб-сайт для переписи метрических книг.
Назначение. Перепечатка метрических книг с разнесением информации по полям для последующего поиска.

Систематическое перепечатывание записей (основной функционал)

Несколько групп пользователей.

1. Посетитель.

Ищет информацию по приходу, деревне, фамилии и т.п.

2. Подготовитель метрик

Берёт оцифрованные метрики (familysearch и т.п.)
Создаёт отдельную папку по церкви и в ней - папку с годом
Создаёт задачу на перепечатывание, указывая данные церкви (для функционирования подстановки из уже заполнявшихся ранее данных)

3. Перепечатыватель метрик

Видит имеющиеся задачи для перепечатывания
Выбирает любую и начинает ею заниматься
К задаче прилагается папка с изображениями от подготовителя метрик
На задачу отводится определённый срок (в зависимости от количества листов), иначе работа именно этого человека по этой метрике считается неполной. Взять новую задачу в работу нельзя, если не выполнена уже имеющаяся.
Если метрика заполнена в срок, то ей задаётся стандартный индекс достоверности
Другие перепечатыватели видят, идёт ли работа над той или иной задачей - они могут также заняться ею.
Задача может достаться независимо 2-3 людям на анонимной основе.
Если над задачей поработало как минимум 2 человека, то ей ставится повышенный коэффициент достоверности. Это означает, что метрика переписана верно с большой долей вероятности.
Данные, полученные при перепечатывании 2-3 метрик сравниваются и результат направляется модератору
Для просмотра и поиска доступны только полностью обработанные метрики
(1 человеком, 2-3 людьми - с обозначением индекса достоверности)
При просмотре доступных перепечатанных метрик пользователь может оставить комментарий о той или иной ошибке, чтобы в дальнейшем она была исправлена. (Также пользователям доступен просмотр изображений метрик)

4. Модератор волости (или уезда и т.п.)

Получает и сверяет (автоматически) данные, полученные после перепечатывания 2-3 раз одной и той же метрики, решает возникшие несоответствия
В каждом результате модератор видит предупреждения (например, не заполнен населённый пункт)
После проверки и одобрения модератором метрики, которую перепечатали 2-3 раза, она получает повышенный коэффициент надёжности

Обособленные записи (дополнительный функционал)
Любой зарегистрированный участник может сам заполнять данные, которые посчитает нужным из имеющихся в его доступе метрических книг. Таким записям ставится наименьший индекс достоверности. Реализация данного функционала наиболее простая и трудная одновременно ввиду сложности мониторинга данных и возможной необходимости иметь достаточно серверных ресурсов для хранения множества пользовательских данных. Лучше всего такой функционал разработать как дополнительный для личных нужд без постоянного хранения на сервере. Возможно, оффлайн версия.

Минимальный план, если большой окажется затруднительным
Удобный онлайн-каталог с поиском по населенным пунктам, приходам, церквям с указанием ссылок на метрики на familysearch.

Реализация

Я могу реализовать техническую часть этого проекта.
Не откажусь от помощи тех, кто пишет на Angular, NodeJS, PHP, Java, Go.
Проект предполагается как бесплатный с открытым кодом.

Нужны старожилы форума для обсуждения самого проекта: его необходимости, функционала и т.п.
Также нужны все заинтересованные для перепечатывания метрик.

Готов также помочь с реализацией связки изображений и ввода данных.

Елена, а что, если вашу access-таблицу вывести в интернет с формами поиска?

Проект индексации метрик (и не только их, но и РС, ИДР и т.д.), безусловно, нужен. И в далекой перспективе он точно появится.
Но на одном энтузиазме тут не уедешь. Это колоссального масштаба работа. Нужно финансирование, гранты, привлечение НКО, ИРО, волонтеров. Силами форума и десятками заинтересованных форумчан ее не решить.

Rychagov написал:

[q]
Получает и сверяет (автоматически) данные, полученные после перепечатывания 2-3 раз одной и той же метрики, решает возникшие несоответствия
[/q]

Именно так сейчас идет индексация актовых книг ЗАГСами.

Делюсь опытом:
как раз недавно я закончила перепечатывать (это даже не индексанция) метрики более чем за сто лет по одному не очень большому селу Тульской губернии. Ушло на это более двух лет, потому что все делается в свободное от основной жизни время, как правило ночами...
Как все понимают, метрики в очень разной сохранности - есть неплохо читаемые, есть с угасающим текстом, есть плохо отсканированные, есть поврежденные, есть (и много) нерасшитые с утерей части текста в переплете и т.п.
Как результат - нет полной уверенности в правильном прочтении. Опять же - человеческий фактор - не исключены опечатки и т.п.
Т.е. мало разобрать написанное в метриках и перепечатать, это по-хорошему все надо проверить и исправить.
А ведь есть метрики по гораздо б'ольшим приходам, которые только читать за один год можно 4-6-8 часов, не переписывая.
Т.е. тут на энтузиазме и волонтерстве далеко не уедешь.

Опять же, чтоб хорошо работал поиск после индексации, необходимо единообразие записей. А в метриках даже один писарь может одно и то же имя записать несколькими вариантами, а сколько еще переврать! Т.е. должна быть какая-то унификация существующих имен.

Вводила МК по одному селу в программу Древо жизни, 17500 персон за 90 лет, ушло на это около трех лет

Аргументы действительно весомые.
Жаль, что нет нескольких тысяч энтузиастов, чтобы всё это подбить.

Насколько я понимаю, familysearch прекратили волонтёрскую деятельность.
Да и данные там, честно говоря, искать не очень удобно.

Также, думаю, в ближайшие годы ничего не появится для массовой переписи метрических книг.
Нейросетям тоже непросто совладать с рукописными дореволюционными текстами.

Какие есть варианты?
Возможно, можно реализовать что-то насущное и удобное для всех.

Rychagov написал:

[q]
Какие есть варианты?
Возможно, можно реализовать что-то насущное и удобное для всех.
[/q]

Maksim Andreevich написал:

[q]
Силами форума и десятками заинтересованных форумчан ее не решить.
[/q]

Vitaly,
я имею в виду что-то прикладное для личного пользования.

Rychagov написал:

[q]
для личного пользования.
[/q]

Это, наверное могут проконсультировать:

lotos1210 написал:

[q]
Вводила МК по одному селу в программу Древо жизни, 17500 персон за 90 лет, ушло на это около трех лет
[/q]

и

Любчинова написал:

[q]
Делюсь опытом:
как раз недавно я закончила перепечатывать (это даже не индексанция) метрики более чем за сто лет по одному не очень большому селу Тульской губернии. Ушло на это более двух лет
[/q]