Программы для обработки данных из метрических книг : ВГД

На сайте ВГД собираются люди, увлеченные генеалогией, историей, геральдикой и т.д. Здесь вы найдете собеседников, экспертов, умелых помощников в поисках предков и родственников. Вам подскажут где искать документы о павших в боях и пропавших без вести, в какой архив обратиться при исследовании родословной своей семьи, помогут определить по старой фотографии принадлежность к воинским частям, ведомствам и чину. ВГД - поиск людей в прошлом, настоящем и будущем!

Maksim Andreevich написал:

[q]
А горбатиться на дядю, который исчезнет через некоторое время, - увольте. Вот уже и ТС слился...
[/q]

Я бы не сказал, что слился.
Человек получил довольно обширный опыт.
Когда начинаешь какой-то проект на энтузиазме с начальными представлениями о проблеме, тогда и энтузиазм, и желание есть; море кажется по колено, а горы - по плечу. Потом постепенно углубляясь в проблему хорошо если единицы из тысяч доходят до реализации конечного проекта.

Плюс, во многом еще зависит от ведущего. Если он сможет настоять на своем, проект будет жить. Не сможет - так оно и умрет в зародыше.

P.S. Свой приход я добью из того что есть у меня в цифре в виде графических материалов в эксель. А там уж если появится какая платформа, то и сконвертировать данные не такая уж проблема. По крайней мере 2м людям это нужно (ну, исключая меня). Может и они что-то найдут.

Rychagov написал:

[q]
Ещё лучше было бы, чтобы государство или какая-либо организация взяла на себя такое дело и реализовала на примере Памяти народа.
[/q]

Не возьмет.
А если сделает, то получится косо и криво.

Поэтому пока каждый решает этот вопрос сам для себя.

Maksim Andreevich написал:

[q]
Давать деньги Росархиву на ненужную БД мест хранения геноисточников
[/q]

Вообще-то, такая база данных во как нужна.
Другое дело, что скооперироваться и договориться между различными ведомствами у нас трудно.

Скажем, те же метрические книги хранятся в различных архивах, в краеведческих музеях. Что-то утеряно за давностью лет (из-за военных событий). Все это когда-то все равно надо будет сводить воедино.

Всем Доброго Дня и Здоровья !
Случайно набрел на эту тему.
Вполне возможно, что об этом писали т.к. всю тему не просмотрел.

НО!

Вот это очень похоже на задачу поставленную ТС
https://forum.vgd.ru/post/511/55664/p1617791.htm#pp1617791

Это МК. Я скачал файл к примеру на "Б" это около 200 тыс. строк.
И так по всем буквам алфавита.
Это Excel и по мне так все очень удобно.
Как то это сделали.
Разработчик, как я понял работает по теме ВОВ https://forum.vgd.ru/post/188/53046/p1505411.htm#pp1505411

Доброго времени суток.
Работаю над созданием подобного софта для работы с архивами. Пока процесс застопорился на обкатке интерфейса и самой концепции.
https://forum.vgd.ru/4439/

Добрый день.
А кто-нибудь работает над семантическим анализом, чтобы по неразобранному тексту МК строить связи?

paul1914 написал:

[q]
Добрый день.
А кто-нибудь работает над семантическим анализом, чтобы по неразобранному тексту МК строить связи?
[/q]

А это реально? Прям сказка. Тут по разобранному часто строить не получается).

Vorogeya написал:

[q]
А это реально?
[/q]

Конечно, это не настоящий семантический анализ, но какую-то самоделку полуавтоматическую с обучением можно сделать...

Всем привет, изучаю сейчас программы для автоматического распознавания метрических книг, чтобы вручную не просматривать. В целом, подход везде одинаковый - тренируем нейросеть (модель) на базе уже распознанных вручную данных и потом её применяем для других похожих данных. Соответственно, программы делятся на те, где уже есть зашитые модели, и те, где можно свои модели тренировать.

Из существующих моделей распознания старинного рукописного русского текста самое лучшее, что я пока нашел - в сервисе Transkribus, вот на форуме Вилейского уезда его обсуждали. Там есть три модели, относящиеся к русскому языку

Russian generic handwriting (на текстах конца 19го и начала 20го века, в частности из проекта Прожито)
Rychkov archive (на рукописных тестах Константина Рычкова 1911-1913)
Russian church slavonic (на церковных текстах 16го века)

Для проверки загрузил туда скан метрической книги 1904 года с относительно читабельным текстом, лучше всего отработала модель Russian generic handwriting, на удивление, она распознала довольно много, включая названия населенных пунктов и фамилии. Самое интересное наверное фамилии, так вот из 12 фамилий на листе (6 фамилий отцов + 6 фамилий воспреемников) она распознала правильно 8. Разметка страницы при распознании не сохраняется, зато есть поиск по всем распознанным страницам, т.е. сценарий для себя я вижу какой - загружаем метрику - распознаем все страницы - делаем поиск по нужной фамилии и альтернативным написаниям - вручную смотрим найденные записи.

Понятно, что по одному листу рано выводы делать, но сам факт того, что существуют модели, которые хоть что-то распознают в метриках, обнадеживает.

Остальные две модели не распознали почти ничего.

Также, в сервисе можно тренировать свои собственные модели, если у вас есть размеченные данные.

Но, теперь ложка дёгтя - сервис платный, при регистрации дают 500 бесплатных кредитов, которых хватит на распознание 400 страниц, далее нужно платить, даже за использование своей собственной модели. Но раз они смогли натренировать модель, значит можно их опыт воспроизвести на open source решениях, конечно для этого нужны данные и опыт в этой теме.