Программы для обработки данных из метрических книг
arkan1973 Кемеровская обл. г. Прокопьевск Сообщений: 100 На сайте с 2015 г. Рейтинг: 64
| Наверх ##
25 октября 2019 8:50 25 октября 2019 9:12 KRdasa написал: [q] Зачем велосипед изобретать. Во всех генеалогических платформах (FamilySearch, MyHeritage, Geni, Ancestry и пр.) каждому новому заносимому в базу лицу присваивается уникальный номер - сразу и без всяких вопросов о том, что, "ой, а ведь такой уже есть". Затем уже система может предложить поиск совпадений. И только потом ручками можно проводить проверку и слияние дублей по некоторым заданным правилам. Никакой автоматики здесь быть не должно.[/q]
Согласен, было бы неплохо отдать свою подборку на MyHeritage например, проблема лишь в том что максимальные возможности поиска совпадений дает только платная подписка. Это значит я отдам за так (ну может за некие индивидуальные плюшки), а все остальные будут платить деньги. Исключение пожалуй FamilySearch, но там геморно заводить людей и строить связи (как мне показалось). KRdasa написал: [q] Генеалогические записи этот тот случай, когда лучше избыточность, чем потеря данных.[/q]
То есть на каждый факт рождения братьев-сестер у моей бабки я должен буду заводить нового Прадеда и Прабабку?? Согласистесь что глупо?? Почему к частному индивидуальному древу у нас подход один, а к "общаковой информации" другой. Наплодим сущностей - а они мож и не понадобятся никогда. А как быть с нечитаемыми персонами в МК? Тоже для каждого случая будем создавать персону "Нечитаемый" ?? Нет уж, я за то чтобы Иваны Петровы или Иван Петров (если нет прочих достоверно их разделяющих данных) был в Единственном лице пока Некто не найдет своего Ивана Петрова и не выделит его в отдельное делопроизводство. Речь ведь идет о сплошном перенесении Персональных данных в Базу. Если в одной МК воспреемником дважды засветился Иван Алексеевич Петров из одного села, а спустя год в другой МК этой-же церкви Иван Алексеевич Петров женится на Евфросинье Михайловой Дудкиной почему я должен считать что это ТРИ РАЗНЫХ ИВАНА? Во все эти три события можно прикрепить ссылку на этого Ивана. Они будут доступны, их при желании можно будет и разделить. KRdasa написал: [q] Получается наполнение базы именно по правилам реляционных баз данных. Есть уникальный номер (это key) персоны, вся остальная информация (в том числе имя, населенные пункты) - просто текстовая информация.[/q]
Населенные пункты, сословия, наименования церквей и пр. я бы тоже сделал справочными данными. В смысле хранящимися в отдельных таблицах ради обеспечения единообразия всех введенных данных. Примерное содержание базы (как это я себе представляю в самом первом приближении): 1 Справочники: - Персоналии (ФИО, дата рождения, пол) - Населенные пункты в соответствии с АТД РИ допустим на 1913 год (Губерния, уезд, волость - Сословия - Церкви и приходы (наименования) - виды документов : (МК, РС, ИР, БО,....) - Реквизиты документов (Архив-Фонд-опись-дело) - Вероисповедание - Вид акта (рождение, бракосочетание, смерть, ревизия, перепись и .т.п.) - Статус персоны (новорожденный, венчающийся, воспреемник, поручитель, и пр.) - Возможно какие-то еще... 2. Основныя таблицы: - События (id события, № страницы документа, номер строки на странице, id реквизита дела, id вида акта, id персоны, id вероисповедания, id статуса персоны..... Как-то так... | | |
romanvm Россия, г. Ефремов Сообщений: 5397 На сайте с 2014 г. Рейтинг: 3402 | Наверх ##
25 октября 2019 9:05 25 октября 2019 9:08 Вставлю свои пять копеек. arkan1973 написал: [q] Но ведь так быть не должно (с точки зрения правильной организации связей в БД)?[/q]
Почему это не должно? Я денормализация БД? arkan1973 написал: [q] Вы имеете автомобиль с уникальным VIN[/q]
Вот именно, что с УНИКАЛЬНЫМ VIN. Инспектор точно знает, что это один разъединственный автомобиль. А когда Вы заносите новые данные, Вы не можете утверждать, что Иван Иванович Иванов это именно тот, который уже есть в базе. У меня в древе было два Ивана Кондратьевича Вепринцевых у одного отца, сначала думал, что это один человек и женился два раза и соответственно наплодил кучу детей, и только после скрупулёзного изучения всех записей семьи удалось понять, что это два разных человека. Лично мне было бы интересно ввести ФИО искомой персоны и получить по ней всю имеющуюся выборку - все записи где эта персона фигурирует со всеми архивными данными - архив, фонд, опись, дело, РС или МК или исповедка, номер записи в этом документе и информация по этим записям. Типа такого - номер записи в деле, дата, ФИО, отец - ФИО, мать - ФИО, восприемник1, восприемник2, ГАТО, ф.100, оп. 100, л. 100 А все родственные связи я хочу делать сам, не надо что бы мне программа это делала. arkan1973 написал: [q] Населенные пункты, сословия, наименования церквей и пр. я бы тоже сделал справочными данными.[/q]
Это однозначно справочники. arkan1973 написал: [q] Нет уж, я за то чтобы Иваны Петровы или Иван Петров (если нет прочих достоверно их разделяющих данных) был в Единственном лице пока Некто не найдет своего Ивана Петрова и не выделит его в отдельное делопроизводство.[/q]
Ага, и так к условно моему Ивану Петрову кто-то налепит своих родственников, которые к моему Ивану Петрову вообще никаким боком. | | |
Maksim Andreevich Москва Сообщений: 10132 На сайте с 2016 г. Рейтинг: 5146
| Наверх ##
25 октября 2019 9:20 Arcobaleno написал: [q] А права на файлы, которые у мормонов, а также сканы из АИСов — они кому принадлежат?[/q]
По мормонам мутная история. там был какой-то левый договор в 1990-х гг., причем не с официальными структурами, а РОИА. Да, по жалобе одного госархива они закрывали доступ, но теперь-то он открыт и ни одной жалобы в суд нет. Насчет АИС. Росархив будет разрабатывать нормативку, регламентирующую их работу. Насколько знаю, там везде написано "с правом копирования". Если смотреть ГК РФ в части баз данных, то запрещено извлечение всего содержания базы данных или существенной части (ст.1334). При этом согласно ст. 1335.1: [q] 1. Лицо, правомерно пользующееся обнародованной базой данных, вправе без разрешения обладателя исключительного права - изготовителя базы данных и в той мере, в которой такие действия не нарушают авторские права изготовителя базы данных и других лиц, извлекать из базы данных материалы и осуществлять их последующее использование: в целях, для которых база данных ему предоставлена, в любом объеме, если иное не предусмотрено договором; в личных, научных, образовательных целях в объеме, оправданном указанными целями; в иных целях в объеме, составляющем несущественную часть базы данных. Использование материалов, извлеченных из базы данных, способом, предполагающим получение к ним доступа неограниченного круга лиц, должно сопровождаться указанием на базу данных, из которой эти материалы извлечены. ... 4. Изготовитель базы данных не может запрещать использование отдельных материалов, хотя и содержащихся в базе данных, но правомерно полученных использующим их лицом из иных, чем эта база данных, источников. [/q] | | |
arkan1973 Кемеровская обл. г. Прокопьевск Сообщений: 100 На сайте с 2015 г. Рейтинг: 64
| Наверх ##
25 октября 2019 9:27 25 октября 2019 9:37 romanvm написал: [q] Ага, и так к условно моему Ивану Петрову кто-то налепит своих родственников, которые к моему Ивану Петрову вообще никаким боком.[/q]
Блин... Это просто следствие "грамотности" пользователей. Не завел своего Ивана Петрова, а прилепил к единственному имеющемуся, получив тучу событий.... А если этих Иванов сотня??? По одному Ивану на одно событие.... Как это облегчит жизнь?? Удалять Иванов с точки зрения Вашей же логики нельзя - утеря информации. Значит придется перепривязывать события к правильному Ивану, пока не перепривяжем все... Получится верная картина мира и несколько бездушных Иванов просто висящих в Базе. | | |
arkan1973 Кемеровская обл. г. Прокопьевск Сообщений: 100 На сайте с 2015 г. Рейтинг: 64
| Наверх ##
25 октября 2019 9:31 romanvm написал: [q] А когда Вы заносите новые данные, Вы не можете утверждать, что Иван Иванович Иванов это именно тот, который уже есть в базе[/q]
Обратного-то тоже утверждать нельзя. | | |
romanvm Россия, г. Ефремов Сообщений: 5397 На сайте с 2014 г. Рейтинг: 3402 | Наверх ##
25 октября 2019 9:39 25 октября 2019 9:43 arkan1973 написал: [q] Блин... Это просто следствие грамотности пользователей.[/q]
А почему я должен страдать от грамотности пользователей и расчищать эти Авгиевы конюшни. arkan1973 написал: [q] А если этих Иванов сотня??? По одному Ивану на одно событие.... Как это облегчит жизнь??[/q]
И что? Да хоть тысячи. Я уже писал про Ваш пример с VIN. arkan1973 написал: [q] Обратного-то тоже утверждать нельзя.[/q]
Но позвольте уж мне самому определить мой это Иван или нет. Я сделаю выборку и проанализирую данные. arkan1973 написал: [q] Удалять Иванов с точки зрения Вашей же логики нельзя - утеря информации.[/q]
А зачем удалять? Повторю ещё раз - я сделаю выборку по Ивану, проанализирую данные. Всё. Вы хотите, что бы программа сама строила связи или БД иметь как сборник информации? arkan1973 написал: [q] Значит придется перепривязывать события к правильному Ивану, пока не перепривяжем все...[/q]
Зачем что-то перепривязывать? Заносить информацию из МК, РС и т.п. документов и всё. Анализируйте, создавайте родственные связи сами. | | |
arkan1973 Кемеровская обл. г. Прокопьевск Сообщений: 100 На сайте с 2015 г. Рейтинг: 64
| Наверх ##
25 октября 2019 9:44 romanvm написал: [q] Почему это не должно? Я денормализация БД?[/q]
Я понимаю что JOINы грузят сервер, но видимо мне не приходилось ворочать огромных баз, чтобы прибегать к денормализации. | | |
romanvm Россия, г. Ефремов Сообщений: 5397 На сайте с 2014 г. Рейтинг: 3402 | Наверх ##
25 октября 2019 10:00 Собственно вопрос упирается в то, что мы хотим. Если хотим как общую БД с информацией, то думаю, что надо заносить информацию как она есть в записях МК, РС и т.д. Если хотим что бы у нас что-то строилось, то как предлагает arkan1973 каждая персона должна быть уникальна и Иванов должно быть минимум. Как вариант, теоретически конечно потом можно провести шринкование базы. | | |
arkan1973 Кемеровская обл. г. Прокопьевск Сообщений: 100 На сайте с 2015 г. Рейтинг: 64
| Наверх ##
25 октября 2019 10:02 25 октября 2019 10:06 romanvm написал: [q] [/q]
Похоже нить упущена, боюсь мы говорим о разных вещах. Я рассматриваю персону как минимальный квант информации. Персона из справочника персон привязывается к любому событию из метрической книги например, или как урожденный, или как один из родителей, или как один из воспреемников, или как один из новобрачных и т.п.. Таким образом одному рождению в МК может соответствовать например пять записей в таблице событий (пять персон - новорожденный, два родителя, два воспреемника.) Событие в таблице объединено одним id события. Таким образом в одну таблицу можно уложить любые актовые события без привязки структуры таблицы к статусу события (рождение, смерть, бракосочетание, ревизия, перепись и т.д.). Я не рассматриваю назначение родственных связей (именно родственных) как автоматическое так и ручное. Я против того, чтобы забивать базу мервыми душами (хотя положа руку на сердце все они уже мертвы). | | |
arkan1973 Кемеровская обл. г. Прокопьевск Сообщений: 100 На сайте с 2015 г. Рейтинг: 64
| Наверх ##
25 октября 2019 10:14 romanvm написал: [q] Если хотим что бы у нас что-то строилось[/q]
Именно так.... Выборки практически любого вида, и для любой задачи. Вплоть до подсчета выходцев из Калуги на территории Томской Губернии (если еще и переселенческие дела обрабатывать). Я за то чтобы разработать пусть не правильный, но близкий к правильному формат БД, который бы позволил обрабатывать разные документы. Качественное проектирование это большая часть дела.. | | |
|