Инструменты ИИ (AI) для генеалогического исследования : ВГД

На сайте ВГД собираются люди, увлеченные генеалогией, историей, геральдикой и т.д. Здесь вы найдете собеседников, экспертов, умелых помощников в поисках предков и родственников. Вам подскажут где искать документы о павших в боях и пропавших без вести, в какой архив обратиться при исследовании родословной своей семьи, помогут определить по старой фотографии принадлежность к воинским частям, ведомствам и чину. ВГД - поиск людей в прошлом, настоящем и будущем!

Norseman написал:

[q]
Отличный опыт!

Поделитесь - каким агентом пользовались? Какой харнесс и набор инструментов - дефолтный для агента или что-то дополнительное использовали? И какая модель?
[/q]

Спасибо!

Фактически, весь харнесс – штатный Codex.

Использую модели GPT-6 Astra (постановка задач и планирование) и GPT-6.1 Sol (основная работа), уровни рассуждения high/xhigh в зависимости от чата.
Настраивал их интуитивно, опираясь на опыт работы с этими моделями в других проектах.

Все чаты работают с общей папкой, поэтому результаты сохраняются в файлах и доступны для продолжения работы. Связанные сведения хранятся в JSON, пояснения и исследовательские разборы – преимущественно в markdown.

Структура такая:

[q]
Проект/
├── AGENTS.md – правила работы для агента
│
├── archive/ – сами материалы
│ ├── documents/ – архивные документы и сканы
│ ├── trees/ – исходные выгрузки деревьев
│ ├── literature/ – литература
│ ├── maps/ – карты
│ ├── stories/ – семейные рассказы
│ ├── correspondence/ – переписка и запросы
│ ├── derived/ – производные файлы
│ └── research_history/ – материалы этапов исследования
│
├── knowledge/ – каталог содержимого
│ ├── collections/ – связанные записи по типам
│ └── branches/ – подборки по родам
│
├── research/ – разбор документов, сопоставления, гипотезы и дальнейший план поиска
├── canonical/ – люди, родственные связи, их статусы и решения о принятии в дерево
├── decisions/ – мои указания и правила исследования
└── scripts/ – скрипты обработки и проверки
[/q]

Что используют агенты – инструменты работы с файлами, терминал, веб-поиск, просмотр изображений и делегирование задач. Дополнительно использовались браузерная автоматизация, локальные утилиты для PDF и OCR, а также python- и JS-скрипты. Агент пишет скрипты сам по ходу работы: для скачивания материалов, каталогизации, проверки дублей и поиска по текстам. Для запроса в РГБ подключил gmail плагин.

Для распознавания сканов документов он использует в основном Tesseract, а из PDF с готовым текстовым слоем извлекает текст напрямую. Рукописный текст и сложные фрагменты ИИ разбирает по изображениям страниц – именно в этом и есть ключевой прогресс!

Обычный OCR помогает с предварительным поиском, но сам по себе не считается достоверной расшифровкой: фрагменты, на которых строятся генеалогические выводы, агент сверяет с изображением оригинала, а сомнительные чтения отмечает отдельно.

Инструкции проекта завёл в AGENTS.md: что сохранять, как фиксировать источники, как отделять гипотезу от доказанного родства и когда принимать связь в дерево. Постепенно уточняю правила, учась на ошибках

Один раз слишком широко поставил задачу оркестратору: попросил его унифицировать все материалы, сохранять полные тексты и выделенные сведения, а затем завершить весь разбор архива. Агент построил подробный каталог, но увлекся техническим сопровождением. Например, подключение трех метрических книг дало больше 4000 связанных записей: карточки файлов, изображений страниц, уже существовавших OCR-текстов и связи между ними.

Это конечно полезная организация материалов, но новых родственных связей сама по себе она не устанавливает. Добавились многочисленные проверки, отчёты и служебные файлы. По крайне быстрому расходу лимитов я понял, что глубину обработки всё же нужно как-то соотносить с текущими исследовательскими вопросами. Поэтому я остановил работу и попросил самого агента разобрать недостатки своего подхода - он отметил повторные проверки всего каталога при небольших добавлениях и то, что исследовательская польза такой детализации не была измерена изначально

Стараюсь найти разумную глубину: сохранять источники и результаты так, чтобы ими можно было пользоваться повторно, а подробный разбор привязывать к конкретным вопросам. Рассчитываю, что при исследовании следующей фамилии это позволит быстрее находить нужное среди уже собранного и меньше тратить на повторную обработку.

По поводу итогового интерфейса или какого-то "дашборда". Пробовал gramps, потом просил агента написать приложение под меня – ну всё не то, если честно. В итоге понял, что мне удобнее хранить каноническое дерево и связи с документами, а нужное представление получать отдельными запросами. Условно: "Построй вертикальное дерево по этой ветке от такого-то человека, добавь разделители по столетиям, покажи род занятий и известные годы жизни". Или: "сделай интерактивную карту мест проживания; сначала покажи 5 вариантов на HTML мокапе".

Такой подход кажется мне удобнее, чем заранее пытаться уместить все будущие задачи в один интерфейс. Откровенно говоря, появляется ощущение, что привычные подходы из серии "найти приложение и приспособиться к его возможностям" уходит. Интереснее иметь свои данные в понятной структуре и получать нужные инструменты и представления по запросу.

Классный опыт! Спасибо, что поделились!!! Всё очень-очень интересно

Я пока до такого уровня не дошел, хотя модели и агентов использую в хвост и в гриву уже месяцев 8-9... - слишком люблю работать руками и абсолютный личный контроль :( Знаю, что меня это тормозит, но сломать привычки пока не получается

Это при том, что уже пробовал выстроить пайплайн и до-обучить модель под себя, сделать свой RAG, сделал простенького агента для себя со своей обвязкой - чтобы точно знать как это всё работает, обвешался моделями сверху-донизу, снабдил две своих личных проги встроенными MCP-инструментами для управления из своего персонального ассистента... В общем с низовкой проблем никаких, а вот сверху - читаю такие сообщения как ваше - и только облизываюсь, а выстроить такое-же не могу :( - личные предпочтения ломают

Дерево проекта у вас шикарное! Респект!

Norseman написал:

[q]
Классный опыт! Спасибо, что поделились!!! Всё очень-очень интересно

Я пока до такого уровня не дошел, хотя модели и агентов использую в хвост и в гриву уже месяцев 8-9... - слишком люблю работать руками и абсолютный личный контроль :( Знаю, что меня это тормозит, но сломать привычки пока не получается

Это при том, что уже пробовал выстроить пайплайн и до-обучить модель под себя, сделать свой RAG, сделал простенького агента для себя со своей обвязкой - чтобы точно знать как это всё работает, обвешался моделями сверху-донизу, снабдил две своих личных проги встроенными MCP-инструментами для управления из своего персонального ассистента... В общем с низовкой проблем никаких, а вот сверху - читаю такие сообщения как ваше - и только облизываюсь, а выстроить такое-же не могу :( - личные предпочтения ломают
[/q]

Понимаю. У меня обратная ситуация - люблю анализировать уже готовенькое

Norseman написал:

[q]
Дерево проекта у вас шикарное! Респект!
[/q]

Спасибо! Буду периодически писать в эту ветку, что интересного получается - и находки, и грабли

4head написал:

[q]
Использую модели GPT-6 Astra (постановка задач и планирование) и GPT-6.1 Sol (основная работа), уровни рассуждения high/xhigh в зависимости от чата.
Настраивал их интуитивно, опираясь на опыт работы с этими моделями в других проектах.

Все чаты работают с общей папкой, поэтому результаты сохраняются в файлах и доступны для продолжения работы. Связанные сведения хранятся в JSON, пояснения и исследовательские разборы – преимущественно в markdown.
[/q]

абсолютно верный подход, как мне кажется. Astra и Claude Opus 5.5 жужжат очень хорошо, но и токены кушают как не в себя. В частности, на распознавании текста. Делать какую-то специализированную модель - мне кажется уже никакого смысла нет, потому что модели общего применения завтрашнего дня переплюнут специализированную модель сегодняшнего дня на раз два. Это соревнование мы уже проиграли. Единственное, что с локальной моделью можно выиграть стоимость токенов за счет амортизации оборудования. Тогда интересно - удалось ли кому-нибудь взять готовую Gamma или Qwen и сварить из них что-то удобоваримое. Что важно - разработчики Астры и Опуса смотрят внутрь транскриптор и оптимизируют свои модели - поэтому условный Opus 6.0 будет точнее на Х% и дешевле на Y%.

gecube написал:

[q]
Делать какую-то специализированную модель - мне кажется уже никакого смысла нет, потому что модели общего применения завтрашнего дня переплюнут специализированную модель сегодняшнего дня на раз два. Это соревнование мы уже проиграли. Единственное, что с локальной моделью можно выиграть стоимость токенов за счет амортизации оборудования. Тогда интересно - удалось ли кому-нибудь взять готовую Gamma или Qwen и сварить из них что-то удобоваримое.
[/q]

Абсолютно с вами согласен.

Я пробовал свой пайплайн собрать для файн-тюнинга подобранной модели, именно Gemma. Но не для распознавания - тут с гигантами соревноваться - только время тратить. Хотел до-обучить на понимание паттернов разбора архаичных формулировок в переписях и метриках, на соответствие имен. Потому что столкнулся в своих экспериментах с тем, что если что-то противоречит базовому корпусу обучения используемой модели - ни RAG, ни факты, ни паттерны, ни системная роль - не авторитет. "Железный болван" будет тупить до победного, признаваться в ошибках, плакаться и всё равно косячить. Но увы. Столкнулся с элементарной вещью сразу же - хоть сколько ты занимайся генеалогией, сколько накопил распознанных документов и прочего - чтобы реально как следует до-обучить модель - нужен хороший качественный и вычитанный корпус документов. Большой! Пруфа прямо сейчас вам не приведу и не докажу, но было такое что для качественного до-обучения существующей модели нужно не менее 200 разных паттернов только на одну новую или конфликтную сущность (черт его знает, где я это читал, но такая цифра в голове осела). В одиночку биться головой об стенку и собирать корпус документов для обучения, да еще вычитывать и форматировать, чистить и подготавливать... увы. Закрыл эту тему.

Norseman написал:

[q]
Я пробовал свой пайплайн собрать для файн-тюнинга подобранной модели, именно Gemma. Но не для распознавания - тут с гигантами соревноваться - только время тратить. Хотел до-обучить на понимание паттернов разбора архаичных формулировок в переписях и метриках, на соответствие имен. Потому что столкнулся в своих экспериментах с тем, что если что-то противоречит базовому корпусу обучения используемой модели - ни RAG, ни факты, ни паттерны, ни системная роль - не авторитет. "Железный болван" будет тупить до победного, признаваться в ошибках, плакаться и всё равно косячить. Но увы. Столкнулся с элементарной вещью сразу же - хоть сколько ты занимайся генеалогией, сколько накопил распознанных документов и прочего - чтобы реально как следует до-обучить модель - нужен хороший качественный и вычитанный корпус документов. Большой! Пруфа прямо сейчас вам не приведу и не докажу, но было такое что для качественного до-обучения существующей модели нужно не менее 200 разных паттернов только на одну новую или конфликтную сущность (черт его знает, где я это читал, но такая цифра в голове осела). В одиночку биться головой об стенку и собирать корпус документов для обучения, да еще вычитывать и форматировать, чистить и подготавливать... увы. Закрыл эту тему.
[/q]

все хуже. Если рукопись - паттерны меняются от писаря к писарю. А по годам - бланки разные. То есть это можно распознать, кодифицировать и маленькой нейронкой перенаправлять на другие более специализированные нейронки. Но какое-то сумасшествие. Реально.

А есть ли где-то описание, куда соваться новичкам в этом вопросе? Меня немного смущает обьем, на котором судя по всему вы работаете, ведь для эффективности этих агентов нужны большие обьемы. То есть например сохраненные сканы метрик целиком?

Простите за дурацкие вопросы, звучит соблазнительно, но пока непонятно, как взяться

Присоединяюсь к вопросу, массив сканов есть большой, как наиболее простым способом его обработать? Нужна ли оплата за границу? Может быть пробовали пользоваться апи яндекса для распознавания?

Habbenula написал:

[q]
А есть ли где-то описание, куда соваться новичкам в этом вопросе? Меня немного смущает обьем, на котором судя по всему вы работаете, ведь для эффективности этих агентов нужны большие обьемы. То есть например сохраненные сканы метрик целиком?

Простите за дурацкие вопросы, звучит соблазнительно, но пока непонятно, как взяться
[/q]

Нет, для обычного пользователя всё проще. Вы можете начать с того, что у вас есть и потихоньку учиться и экспериментировать. Сначала попробуйте решить одну-несколько мелких задач на чем-то простом и бесплатном: Google, Qwen, DeepSeek, Z.ai. Алиса наконец. - Это придаст вам уверенности и вы получите опыт с малого, как ставить задачу, как формулировать, в каком виде получите какой-то ответ. Но учитывайте - на простом и бесплатном вы и результат получите маленький, не представительный. Но зато попробуете.

Все эти бесплатные ИИ системы вполне неплохо (в разной степени) могут распознавать русские рукописные источники. Некоторые - вполне на приличную глубину. Скорее всего будут ошибки распознавания, погрешности - это нормально и не означает, что они бесполезны. Конечно, автоматизировать поиск в архивах, самостоятельно разбираться в ваших документах, вести самостоятельный поиск они не смогут - для бОльших задач нужны большие системы, мощные.

После того, как вы попробуете. Чуть-чуть набьете руку - можно будет подучиться, причем с помощью тех самых бесплатных ИИ - и купить начальную агентную подписку. Там возможности будут уже совсем другие.

Ну а то, что мы обсуждали выше и вопрос больших объемов - это сильно другое. Вам это пока не нужно.

Инструменты ИИ (AI) для генеалогического исследования

Все, что касается искусственного интеллекта, в помощь в исследованиях