Инструменты ИИ (AI) для генеалогического исследования : ВГД

На сайте ВГД собираются люди, увлеченные генеалогией, историей, геральдикой и т.д. Здесь вы найдете собеседников, экспертов, умелых помощников в поисках предков и родственников. Вам подскажут где искать документы о павших в боях и пропавших без вести, в какой архив обратиться при исследовании родословной своей семьи, помогут определить по старой фотографии принадлежность к воинским частям, ведомствам и чину. ВГД - поиск людей в прошлом, настоящем и будущем!

Ivanovani написал:

[q]

Vkzh87 написал:
[q]

на ходу приходится корректировать сложные имена
[/q]

Как это происходит? У меня исповедка на полторы тысячи человек. Я должна сесть и проверить построчно, все ли он корректно понял?
[/q]

время для таких объемов еще не наступило))) я имел ввиду корректировка на ходу при голосовом наборе, автоматом пока не получается, много глюков

Ivanovani написал:

[q]
Deepseek неплохо вылавливает логические ошибки в готовых расшифровках и условные "описки", но править ему готовый документ доверять нельзя, потому что родной текст документа он пытается подогнать под современный язык, а это есть искажение исходного текста.

Часто что-то пропускает и не учитывает.
Из недавних кейсов: делаю запрос на цензуру фамилий, прошу их заменить на [Цензура].
Из 8 фамилий 2 не цензурирует.
[/q]

Пробуйте более мощные модели. Лучше через claude, он в этом сейчас наверно топ

У кого есть опыт использования российских облачных сервисов, предоставляющих доступ к моделям по выбору, через локальный десктопный LM-клиент (по API) типа LMStudio/Jan/Gpt4all и т.п.?
Желательно с ссылками на сервис (или названием) и примерно в какую сумму выходит период или количество токенов.
Интересуют только российские, т.к. нет времени/сил/ресурса (и желания) заниматься всякими хитрыми схемами по доступу и оплате заграничных.

Поделитесь, пожалуйста, информацией!

В рамках своего проекта GEDKeeper, разработал на базе ядра программы MCP-сервер для пополнения базы данных (файла) GEDCOM, посредством работы с текстом на естественном языке.

Тестировал на двух бесплатных облачных подписках (сжег под ноль) и на локальных моделях. И на локальных, и на облачных - работает. Но облачные закончились, а локальные - дискретка слабовата, не планировалась на такое. Тянет только маленькие и тупенькие модели, рассуждение ползет, как улитка. Инструменты (команды) MCP-сервера выполняются, данные залетают в базу, можно сохранить/загрузить, просмотреть. В общей сложности 74 команды уже есть - где-то половина от планируемого финального количества. Но начинаются сложные сценарии работы, комплексные, которые локально тестировать уже совсем тягомотно. Никаких сил не хватает ждать, пока уже запущенная модель прогреется и начнет работать. А перезапуски при разработке - частые.

Смотрел статьи и рейтинги на LM-облака яндекс, сбер - не вдохновляют ни те, ни другие. Смотрел в сторону Cloud.ru (тоже бывший сбер, но какой-то подозрительно отделившийся) - не определился с мнением. Может кто знает больше?

На мой взгляд, для распознавания рукописного текста сейчас лучше всего подходит Gemini. Начал его использовать для дневников, мемуаров и документов на русском языке. Пока все отлично. Уверено читает и современные, и дореволюционные страницы, причем иногда с некачественных, размытых фотографий. Вот пример: https://vetvidreva.ru/showalbum.php?albumID=9
Конечно, контроль и вычитка необходимы, но в целом это большая подмога, на страницу уходят считанные секунды

Для рукописного текста - сильно рекомендую Scribe AI - https://www.myheritage.com/scribe-ai?lang=RU пробовал с помощью него распознать Венгерский - на удивление отлично
Для примера скачал рандомно в я.архиве метрику на русском

Вот результат:

[q]

МЕТРИЧЕСКОЙ КНИГИ НА 1883 ГОДЪ, ЧАСТЬ ВТОРАЯ, О БРАКОСОЧЕТАВШИХСЯ.
Счётъ браковъ. Мѣсяцъ и день. Званіе, имя, отчество, фамилія и вѣроисповѣданіе жениха, и которымъ бракомъ. Лѣта жениха. Званіе, имя, отчество, фамилія и вѣроисповѣданіе невѣсты, и которымъ бракомъ. Лѣта невѣсты. Кто совершалъ таинство. Кто были поручители. Подпись свидѣтелей записи по желанію.
5. 11 Большемышевской волости деревни Ступина крестьянинъ Федоръ Ивановъ православнаго вѣроисповѣданія первымъ бракомъ 24. Большемышевской волости села Белянкинова крестьянская дѣвица Агафья Михайлова православнаго вѣроисповѣданія 19. Приходскій Священникъ Николай Звѣревъ, Діаконъ Павелъ Орловъ, Пономарь Михаилъ Смоленскій Поручителями по женихѣ были крестьяне Большемышевской волости деревни Ступина Егоръ Ивановъ, Терентій Васильевъ и Василій Никитинъ; по невѣстѣ - села Белянкинова крестьяне Николай Никифоровъ и Иванъ Ивановъ.
6. 18. Большемышевской волости сельца Колыча крестьянинъ Егоръ Никифоровъ православнаго вѣроисповѣданія первымъ бракомъ. 19. Большемышевской волости деревни Топорищева крестьянская дѣвица Параскева Никифорова православнаго вѣроисповѣданія 22. Приходскій Священникъ Николай Звѣревъ, Діаконъ Павелъ Орловъ, Пономарь Михаилъ Смоленскій Поручителями по женихѣ были крестьяне Большемышевской волости сельца Колыча Никифоръ Иларіоновъ, Николай Никифоровъ и Михаилъ Стефановъ; по невѣстѣ - Большемышевской волости деревни Топорищева крестьяне Максимъ Лукіановъ и Николай Егоровъ.
7. 18. Большемышевской волости сельца Голубина крестьянинъ Іоаннъ Ефимовъ православнаго вѣроисповѣданія первымъ бракомъ 19. Проживающая въ сельцѣ Голубинѣ воспитанница Воспитательнаго дома дѣвица Дарья Андреева православнаго вѣроисповѣданія 20. Приходскій Священникъ Николай Звѣревъ, Діаконъ Павелъ Орловъ, Пономарь Михаилъ Смоленскій Поручителями по женихѣ были крестьяне Большемышевской волости сельца Голубина Ефимъ Васильевъ, Александръ Тимофеевъ и Афанасій Ивановъ; по невѣстѣ - той же волости и сельца крестьяне Емельянъ Алексѣевъ и Федотъ Михаиловъ.
[/q]

Kaper156 написал:

[q]
Большемышевской
[/q]

В оригинале же Вельяминовской. Так что пока всё равно перепроверять нужно.

Поделюсь своим опытом использования ИИ в документальной генеалогии: чтение рукописей, поиск архивных источников и проверка родственных связей. Недавно написал об этом на MolGen и решил поделиться здесь тоже.

У меня уже были семейные деревья в MyHeritage, Geni и в локальных файлах, сканы из архивов и разрозненные материалы (записки, карты и т.п.). Дальше нужно было всё это разбирать, искать недостающие документы и проверять, действительно ли люди в разных записях относятся к одной семье.

Под ИИ-агентом здесь я имею в виду помощника, которому можно поручить исследовательскую задачу и дать инструменты для её выполнения. В моей работе он открывает архивные сайты, получает изображения, читает документы, пишет и запускает скрипты, сохраняет результаты и продолжает поиск по найденным зацепкам. Я задаю направление, добавляю семейный контекст и уточняю правила работы.

Пару месяцев назад я впервые попробовал подключить ИИ к этой задаче. В сохранившемся обсуждении разбора скана он тогда пришел к выводу:

[q]
Для этого корпуса нет одной универсальной модели, которую можно запустить на всех страницах и получить надежный результат.
[/q]

Предлагалось вручную разметить 60–100 страниц, дообучить специальные модели и начать с длительного пилотного проекта. Меня такое совсем не впечатлило ;D

Недавно я попробовал свежую модель и снова дал ей рукописный текст. На этот раз дело пошло: она читала снимки, выделяла семьи, сохраняла расшифровки и отмечала сомнительные места. Для начала такого разбора строить предложенную систему не понадобилось. Пока это первичное чтение с отмеченными сомнениями, полную проверку качества всего корпуса я ещё не проводил.

Постепенно работа разошлась на семь чатов и как минимум четырёх дополнительных агентов. Часть чатов занималась отдельными семейными ветвями, отдельный чат – первичной расшифровкой рукописей, ещё один – организацией общего архива. Внутри этой работы подключались помощники для технического учёта, проверки прежних результатов и визуального разбора документов.

Разделение задач оказалось существенной частью опыта. Один агент ищет следующую запись по конкретной ветви, другой приводит материалы в порядок: связывает изображения с текстами, проверяет сохранность файлов, делает каталог и передаёт найденные зацепки исследовательским чатам. Результаты остаются в файлах: расшифровки, источники, объяснения принятых связей и нерешённые вопросы.

За неполные две недели по журналам запусков набралось около 330 агент-часов. Это суммарная длительность запусков разных исполнителей, включая инструменты и ожидания, с отдельным учётом параллельной работы. В корпусе исповедок первично разобраны 63 комплекта, 796 снимков и 36,5 тысячи именных строк. Это строки, а не уникальные люди; около 4,5 тысячи строк отмечены как сомнительные.

В двух ветвях документально приняли 65 и 40 связей «родитель – ребёнок». От выбранных исторических корней прослежены цепочки к совокупно 103 предкам, местами до восьми поколений вместе с корнем. Часть имён уже была в деревьях, но теперь появились документы и обоснования связей. Некоторые прежние связи пришлось исправить.

ИИ нашёл для исследования немало источников, о которых я раньше не знал. В основном это были открытые ресурсы. Для работы с Тверским архивом он попросил подключить платный доступ: я его оплатил, а агент занялся получением и разбором документов. Поиск охватил материалы и каталоги РГАДА, РГИА, ЦГИА Санкт-Петербурга, национальных архивов Финляндии и Эстонии, Тверского архива и Тверского центра документации новейшей истории, сведения муниципального архива Максатихинского района. Пригодились также РГБ, РНБ, НЭБ, Государственная публичная историческая библиотека и тверские библиотеки. Помимо исходных деревьев MyHeritage и Geni, использовали FamilySearch, SSHY, Digihakemisto, HisKi, базу «Великие описи», форум ВГД, «Наши предки», «Открытый список», опубликованные материалы на Flickr, Google Drive, Яндекс Диске, Wikimedia/Wikisource и многие другие источники. В результате по всем направлениям исследования сохранено более 33 тысяч уникальных файлов общим объёмом около 26 ГБ: изображения документов, книги и их части, описи, карты и каталожные материалы.

О принятии связей в основное дерево мы договорились отдельно. Если агент обосновал конкретную связь по документам, я считаю её сразу согласованной: не нужно каждый раз ждать моего отдельного «да» или обязательного второго независимого "субагента-аудитора". В документе подходит и прямое указание, и совокупность свидетельств, если установлены конкретные люди, проверены родство, хронология и существенные альтернативы. Источники и объяснения сохраняем, гипотезы держим отдельно.

Эти правила пришлось уточнять в процессе. Сначала агент местами слишком упирался в отсутствие отдельной метрики или буквального слова «мать» рядом с именем, поэтому даже при очевидном совпадении он пытался все время обязательно найти еще какой-то документ. Я ему уточнил: ещё один документ нужен только для решения конкретного вопроса, а не просто на всякий случай, чтобы условно 99.95% уверенности превратилось в 99.99%.

Нерешённую дату можно было оставить открытой, если обосновано, что она не меняет вывод о родстве.

В одном разборе после пересмотра критериев агент повторно сверил семейные книги и брачную запись и оформил совокупное доказательство. Число предков с непрерывной принятой цепочкой от исходного человека выросло с 14 до 28. Это были не 14 новых находок: одно обоснованное звено соединяло уже исследованные поколения.

Теперь несколько других примеров того, как это выглядит на практике. В исходном дереве матерью ребёнка была записана более поздняя жена отца. Я предложил проверить два брака; агент сопоставил семейную книгу и метрику, после чего материнскую линию удалось исправить.

Другую женщину удалось проследить от записи даты крещения через детскую книгу и школьный список до брака и собственной семьи. Несмотря на расхождения в годах, сопоставление семейных групп и хронологии позволило установить её родителей. Противоречие в дате сохранили.

С одним селом пришлось разбираться через историю местности. Агент нашел его в официальном справочнике, затем отыскал опубликованные воспоминания жителей. Они помогли различить старое поселение, местные названия и позднейший посёлок переселенцев. Я уточнил семейную привязку, и стало понятнее, где искать дальше.

В другом поиске агент обнаружил реестр архивных потерь: фонд нужного прихода, 53 дела, числился утраченным во время ВОВ. При этом сохранившиеся книги в другом фонде остались в работе.

Были и технические задачи. В двух книгах текст на экране читался, а при извлечении превращался в неправильные символы. Агент заново распознал 1 414 страниц, сохранил результат отдельно от оригиналов, и по книгам стало возможно искать текст. А неясную цифру в рукописи проверил по надёжному написанию "1835" на той же странице: сравнил форму 3 и 5 и исправил своё первоначальное чтение года с 1775 на 1773. Другими словами по этому "1835" можно было понять как конкретный писарь эти цифры изображал.

Наконец, в отдельном поиске сведений о дедушке агент нашёл библиографическую запись его статьи (о которой моя семья не знала вообще), подготовил запрос в РГБ и после моего согласования он сам (!) отправил письмо с подключённой почты.

Рабочие выводы пока без независимой проверки, полный документальный путь от выбранных корней до меня ещё не везде закрыт. Но я мягко говоря удивлён тем, насколько удалось сдвинуться с места. Постепенно сложилась работа нескольких исполнителей с архивными сайтами, документами и общими файлами; моя роль – направлять поиск, давать семейные подсказки и определять, какие основания достаточны для принятия связи. Идеально

Отличный опыт!

Поделитесь - каким агентом пользовались? Какой харнесс и набор инструментов - дефолтный для агента или что-то дополнительное использовали? И какая модель?

Norseman написал:

[q]
Отличный опыт!

Поделитесь - каким агентом пользовались? Какой харнесс и набор инструментов - дефолтный для агента или что-то дополнительное использовали? И какая модель?
[/q]

Спасибо!

Фактически, весь харнесс – штатный Codex.

Использую модели GPT-6 Astra (постановка задач и планирование) и GPT-6.1 Sol (основная работа), уровни рассуждения high/xhigh в зависимости от чата.
Настраивал их интуитивно, опираясь на опыт работы с этими моделями в других проектах.

Все чаты работают с общей папкой, поэтому результаты сохраняются в файлах и доступны для продолжения работы. Связанные сведения хранятся в JSON, пояснения и исследовательские разборы – преимущественно в markdown.

Структура такая:

[q]
Проект/
├── AGENTS.md – правила работы для агента
│
├── archive/ – сами материалы
│ ├── documents/ – архивные документы и сканы
│ ├── trees/ – исходные выгрузки деревьев
│ ├── literature/ – литература
│ ├── maps/ – карты
│ ├── stories/ – семейные рассказы
│ ├── correspondence/ – переписка и запросы
│ ├── derived/ – производные файлы
│ └── research_history/ – материалы этапов исследования
│
├── knowledge/ – каталог содержимого
│ ├── collections/ – связанные записи по типам
│ └── branches/ – подборки по родам
│
├── research/ – разбор документов, сопоставления, гипотезы и дальнейший план поиска
├── canonical/ – люди, родственные связи, их статусы и решения о принятии в дерево
├── decisions/ – мои указания и правила исследования
└── scripts/ – скрипты обработки и проверки
[/q]

Что используют агенты – инструменты работы с файлами, терминал, веб-поиск, просмотр изображений и делегирование задач. Дополнительно использовались браузерная автоматизация, локальные утилиты для PDF и OCR, а также python- и JS-скрипты. Агент пишет скрипты сам по ходу работы: для скачивания материалов, каталогизации, проверки дублей и поиска по текстам. Для запроса в РГБ подключил gmail плагин.

Для распознавания сканов документов он использует в основном Tesseract, а из PDF с готовым текстовым слоем извлекает текст напрямую. Рукописный текст и сложные фрагменты ИИ разбирает по изображениям страниц – именно в этом и есть ключевой прогресс!

Обычный OCR помогает с предварительным поиском, но сам по себе не считается достоверной расшифровкой: фрагменты, на которых строятся генеалогические выводы, агент сверяет с изображением оригинала, а сомнительные чтения отмечает отдельно.

Инструкции проекта завёл в AGENTS.md: что сохранять, как фиксировать источники, как отделять гипотезу от доказанного родства и когда принимать связь в дерево. Постепенно уточняю правила, учась на ошибках

Один раз слишком широко поставил задачу оркестратору: попросил его унифицировать все материалы, сохранять полные тексты и выделенные сведения, а затем завершить весь разбор архива. Агент построил подробный каталог, но увлекся техническим сопровождением. Например, подключение трех метрических книг дало больше 4000 связанных записей: карточки файлов, изображений страниц, уже существовавших OCR-текстов и связи между ними.

Это конечно полезная организация материалов, но новых родственных связей сама по себе она не устанавливает. Добавились многочисленные проверки, отчёты и служебные файлы. По крайне быстрому расходу лимитов я понял, что глубину обработки всё же нужно как-то соотносить с текущими исследовательскими вопросами. Поэтому я остановил работу и попросил самого агента разобрать недостатки своего подхода - он отметил повторные проверки всего каталога при небольших добавлениях и то, что исследовательская польза такой детализации не была измерена изначально

Стараюсь найти разумную глубину: сохранять источники и результаты так, чтобы ими можно было пользоваться повторно, а подробный разбор привязывать к конкретным вопросам. Рассчитываю, что при исследовании следующей фамилии это позволит быстрее находить нужное среди уже собранного и меньше тратить на повторную обработку.

По поводу итогового интерфейса или какого-то "дашборда". Пробовал gramps, потом просил агента написать приложение под меня – ну всё не то, если честно. В итоге понял, что мне удобнее хранить каноническое дерево и связи с документами, а нужное представление получать отдельными запросами. Условно: "Построй вертикальное дерево по этой ветке от такого-то человека, добавь разделители по столетиям, покажи род занятий и известные годы жизни". Или: "сделай интерактивную карту мест проживания; сначала покажи 5 вариантов на HTML мокапе".

Такой подход кажется мне удобнее, чем заранее пытаться уместить все будущие задачи в один интерфейс. Откровенно говоря, появляется ощущение, что привычные подходы из серии "найти приложение и приспособиться к его возможностям" уходит. Интереснее иметь свои данные в понятной структуре и получать нужные инструменты и представления по запросу.

Инструменты ИИ (AI) для генеалогического исследования

Все, что касается искусственного интеллекта, в помощь в исследованиях