Программы для обработки данных из метрических книг
paul1914 Сообщений: 332 На сайте с 2013 г. Рейтинг: 152
| Наверх ##
20 октября 2020 15:26 Добрый день. А кто-нибудь работает над семантическим анализом, чтобы по неразобранному тексту МК строить связи? --- Владимирская губерния, приходы Есиплево, Старково, Кузьминское Ильинской волости, Новобусино, пог. Осовицы, Глумовская Новоселка, Кривдино, Вошня (Юрьевский уезд), пог. Архангельский, пог. Данутино (Покровский уезд), Мошнино, Мячково (Александровский уезд), Сербилово (Суздальский уезд). | | |
К данной теме присоединена тема "Разработка ресурса обработки данных метрических книг" (6 апреля 2021 7:39)
|
VorogeyaПенсионерка  РФ, Москва Сообщений: 3400 На сайте с 2017 г. Рейтинг: 1711 | Наверх ##
6 апреля 2021 11:02 paul1914 написал: [q] Добрый день. А кто-нибудь работает над семантическим анализом, чтобы по неразобранному тексту МК строить связи?[/q]
А это реально? Прям сказка. Тут по разобранному часто строить не получается). --- C уважением, Ирина Владимировна.
---------------------------------------
Осадчий ( Грушевка Апостоловский р-н), Аверин (д. Колмаковка Тамбовская губ.), Синицын (Устье Калязинский у.), Жуков (д. Ефимово Калязинский у.), Трофимов (Б. Огарёво Тульская губ.) | | |
paul1914 Сообщений: 332 На сайте с 2013 г. Рейтинг: 152
| Наверх ##
6 апреля 2021 11:37 Vorogeya написал: [q] А это реально? [/q]
Конечно, это не настоящий семантический анализ, но какую-то самоделку полуавтоматическую с обучением можно сделать... --- Владимирская губерния, приходы Есиплево, Старково, Кузьминское Ильинской волости, Новобусино, пог. Осовицы, Глумовская Новоселка, Кривдино, Вошня (Юрьевский уезд), пог. Архангельский, пог. Данутино (Покровский уезд), Мошнино, Мячково (Александровский уезд), Сербилово (Суздальский уезд). | | |
nt86 Новичок
Новосибирск Сообщений: 26 На сайте с 2017 г. Рейтинг: 23 | Наверх ##
30 июля 2021 19:59 30 июля 2021 20:05 Всем привет, изучаю сейчас программы для автоматического распознавания метрических книг, чтобы вручную не просматривать. В целом, подход везде одинаковый - тренируем нейросеть (модель) на базе уже распознанных вручную данных и потом её применяем для других похожих данных. Соответственно, программы делятся на те, где уже есть зашитые модели, и те, где можно свои модели тренировать. Из существующих моделей распознания старинного рукописного русского текста самое лучшее, что я пока нашел - в сервисе Transkribus, вот на форуме Вилейского уезда его обсуждали. Там есть три модели, относящиеся к русскому языку Для проверки загрузил туда скан метрической книги 1904 года с относительно читабельным текстом, лучше всего отработала модель Russian generic handwriting, на удивление, она распознала довольно много, включая названия населенных пунктов и фамилии. Самое интересное наверное фамилии, так вот из 12 фамилий на листе (6 фамилий отцов + 6 фамилий воспреемников) она распознала правильно 8. Разметка страницы при распознании не сохраняется, зато есть поиск по всем распознанным страницам, т.е. сценарий для себя я вижу какой - загружаем метрику - распознаем все страницы - делаем поиск по нужной фамилии и альтернативным написаниям - вручную смотрим найденные записи. Понятно, что по одному листу рано выводы делать, но сам факт того, что существуют модели, которые хоть что-то распознают в метриках, обнадеживает. Остальные две модели не распознали почти ничего. Также, в сервисе можно тренировать свои собственные модели, если у вас есть размеченные данные. Но, теперь ложка дёгтя - сервис платный, при регистрации дают 500 бесплатных кредитов, которых хватит на распознание 400 страниц, далее нужно платить, даже за использование своей собственной модели. Но раз они смогли натренировать модель, значит можно их опыт воспроизвести на open source решениях, конечно для этого нужны данные и опыт в этой теме.
 --- Ищу: Тропины - Каргатский и Чулымский районы Новосибирской области, Николаевы - Крутинский район Омской области, Лапшаковы, Кобылкины - Забайкалье, Берковские, Гребенюк - Днепропетровская область Украины, Северный Казахстан, Бишкек | | Лайк (6) |
Gloyko Хабаровск Сообщений: 740 На сайте с 2019 г. Рейтинг: 1163 | Наверх ##
31 июля 2021 1:52 Мне кажется даже по одному листу много нестыковок. У обоих матерей отчества правильно нераспознаны: первая, скорее всего Семеонова, вторая- Евфимова. По священнику вообще "пальцем в небо". Он и Ггопов и Ппов, а на самом деле Попов. И.д псаломщика Александр превратился в " кракозябру". А если в Мк нет фамилий, то все равно всю МК придется перепроверять в ручную. Хотя идея, да, хорошая. Мне вот интересно, а "полуслепые" МК она читает? --- Биркин (с. Чесноково, Кузнецкий у, Томской г., с. Вышняя Замарайка Орловская г.), Климин, Шаров (он же Ульянов), Душанин (с. Араповка, с Стемас, д. Крутец Карсунский у Симбирской г) Кривов, Сивов (с. Кажлодка Тамбовской г. (ныне республика Мордовия), Ковшик (Полтавская г, Амурская обл), Ко(а)жарский | | |
nt86 Новичок
Новосибирск Сообщений: 26 На сайте с 2017 г. Рейтинг: 23 | Наверх ##
31 июля 2021 6:00 Gloyko написал: [q] Мне вот интересно, а "полуслепые" МК она читает?[/q]
Что такое "полуслепые" МК? Если дадите файл, я могу его прогнать там. --- Ищу: Тропины - Каргатский и Чулымский районы Новосибирской области, Николаевы - Крутинский район Омской области, Лапшаковы, Кобылкины - Забайкалье, Берковские, Гребенюк - Днепропетровская область Украины, Северный Казахстан, Бишкек | | |
Kahiseva Сообщений: 580 На сайте с 2017 г. Рейтинг: 276 | Наверх ##
7 сентября 2021 20:20 7 сентября 2021 20:59 >> Ответ на сообщение пользователя microArt от 22 июня 2017 20:41 Здравствуйте! Елена, а вы ещё не создали для себя такую волшебную "настольную" программу? Видела, что у вас есть БД по приходам. arkan1973 написал: [q] Для частного использования многим достаточно Excel. Если навыки чуть выше, то можно использовать Access, запилив форму ввода со справочниками губерний, уездов, волостей, населенных пунктов. Полноценная СУБД позволяет устанавливать между записями отношения child/parent то есть по сути выстраивать цепочки родственных связей. Наличие справочников существенно ускорит ввод и обеспечит единообразие и стандартизацию введенных данных.
Но это все для себя-любимого....
[/q]
Я тоже пока всё забиваю в Excel, c Access:ом мне пока не подружиться, а хотела сделать что-то похожее на "БД Население Барнаула на основе метрик" с созданием справочников имён, приходов, ссылкой на фонд, автоматическим ID брака и т.п. Kraut написал: [q] Ускоряем индексирование МК о рождении[/q] http://vilejski-uezd.by/xfa-bl...-knig.100/Очень интересный вариант если бы можно было (или можно?!) добавлять ещё графы.
 --- В работе: тверские карелы (приходы Золотиха, Кава, Залазино, Ник.Тучевск.), Литвин (Валява), Рывч (Ленинград,Латвия), Шарварок (Барышевка,Киев,Москва,Николаев), Лысенко/Орленко/ Сенник/ Сухопаль (Н.Басань,Глухов,Ядловка), Стеблина (Николаев,Чигирин)
| | |
Igortuff Новичок
Сообщений: 1 На сайте с 2022 г. Рейтинг: 2 | Наверх ##
3 февраля 2022 18:17 >> Ответ на сообщение пользователя Arcobaleno от 25 октября 2019 22:36 Подскажите, а где вы встречали фамилию Спиридонов и Пелагиада в одном месте? Новенький на форуме, пытаюсь найти записи по фамилиям Спиридоновы-Денежные. | | |
Руслан ДикушинМодератор раздела  Россия Сообщений: 2021 На сайте с 2011 г. Рейтинг: 18493 | Наверх ##
5 февраля 2022 11:32 8 февраля 2022 8:08 Igortuff написал: [q] >> Ответ на сообщение пользователя Arcobaleno от 25 октября 2019 22:36
Подскажите, а где вы встречали фамилию Спиридонов и Пелагиада в одном месте? Новенький на форуме, пытаюсь найти записи по фамилиям Спиридоновы-Денежные.[/q]
Здравствуйте! Если Вы хотите связаться с Arcobaleno напишите ей личное сообщение или лучше на адрес эл.почты, который указан в профиле, так как Arcobaleno больше двух лет не появлялась на форуме. Более подробно, как работать на форуме, как искать сведения про предков, читайте в темах https://forum.vgd.ru/1304/ https://docs.vgd.ru/kak-najti-predkov Удачи в поисках! | | |
|