Инструменты ИИ (AI) для генеалогического исследования : ВГД

На сайте ВГД собираются люди, увлеченные генеалогией, историей, геральдикой и т.д. Здесь вы найдете собеседников, экспертов, умелых помощников в поисках предков и родственников. Вам подскажут где искать документы о павших в боях и пропавших без вести, в какой архив обратиться при исследовании родословной своей семьи, помогут определить по старой фотографии принадлежность к воинским частям, ведомствам и чину. ВГД - поиск людей в прошлом, настоящем и будущем!

Отличный опыт!

Поделитесь - каким агентом пользовались? Какой харнесс и набор инструментов - дефолтный для агента или что-то дополнительное использовали? И какая модель?

Norseman написал:

[q]
Отличный опыт!

Поделитесь - каким агентом пользовались? Какой харнесс и набор инструментов - дефолтный для агента или что-то дополнительное использовали? И какая модель?
[/q]

Спасибо!

Фактически, весь харнесс – штатный Codex.

Использую модели GPT-6 Astra (постановка задач и планирование) и GPT-6.1 Sol (основная работа), уровни рассуждения high/xhigh в зависимости от чата.
Настраивал их интуитивно, опираясь на опыт работы с этими моделями в других проектах.

Все чаты работают с общей папкой, поэтому результаты сохраняются в файлах и доступны для продолжения работы. Связанные сведения хранятся в JSON, пояснения и исследовательские разборы – преимущественно в markdown.

Структура такая:

[q]
Проект/
├── AGENTS.md – правила работы для агента
│
├── archive/ – сами материалы
│ ├── documents/ – архивные документы и сканы
│ ├── trees/ – исходные выгрузки деревьев
│ ├── literature/ – литература
│ ├── maps/ – карты
│ ├── stories/ – семейные рассказы
│ ├── correspondence/ – переписка и запросы
│ ├── derived/ – производные файлы
│ └── research_history/ – материалы этапов исследования
│
├── knowledge/ – каталог содержимого
│ ├── collections/ – связанные записи по типам
│ └── branches/ – подборки по родам
│
├── research/ – разбор документов, сопоставления, гипотезы и дальнейший план поиска
├── canonical/ – люди, родственные связи, их статусы и решения о принятии в дерево
├── decisions/ – мои указания и правила исследования
└── scripts/ – скрипты обработки и проверки
[/q]

Что используют агенты – инструменты работы с файлами, терминал, веб-поиск, просмотр изображений и делегирование задач. Дополнительно использовались браузерная автоматизация, локальные утилиты для PDF и OCR, а также python- и JS-скрипты. Агент пишет скрипты сам по ходу работы: для скачивания материалов, каталогизации, проверки дублей и поиска по текстам. Для запроса в РГБ подключил gmail плагин.

Для распознавания сканов документов он использует в основном Tesseract, а из PDF с готовым текстовым слоем извлекает текст напрямую. Рукописный текст и сложные фрагменты ИИ разбирает по изображениям страниц – именно в этом и есть ключевой прогресс!

Обычный OCR помогает с предварительным поиском, но сам по себе не считается достоверной расшифровкой: фрагменты, на которых строятся генеалогические выводы, агент сверяет с изображением оригинала, а сомнительные чтения отмечает отдельно.

Инструкции проекта завёл в AGENTS.md: что сохранять, как фиксировать источники, как отделять гипотезу от доказанного родства и когда принимать связь в дерево. Постепенно уточняю правила, учась на ошибках

Один раз слишком широко поставил задачу оркестратору: попросил его унифицировать все материалы, сохранять полные тексты и выделенные сведения, а затем завершить весь разбор архива. Агент построил подробный каталог, но увлекся техническим сопровождением. Например, подключение трех метрических книг дало больше 4000 связанных записей: карточки файлов, изображений страниц, уже существовавших OCR-текстов и связи между ними.

Это конечно полезная организация материалов, но новых родственных связей сама по себе она не устанавливает. Добавились многочисленные проверки, отчёты и служебные файлы. По крайне быстрому расходу лимитов я понял, что глубину обработки всё же нужно как-то соотносить с текущими исследовательскими вопросами. Поэтому я остановил работу и попросил самого агента разобрать недостатки своего подхода - он отметил повторные проверки всего каталога при небольших добавлениях и то, что исследовательская польза такой детализации не была измерена изначально

Стараюсь найти разумную глубину: сохранять источники и результаты так, чтобы ими можно было пользоваться повторно, а подробный разбор привязывать к конкретным вопросам. Рассчитываю, что при исследовании следующей фамилии это позволит быстрее находить нужное среди уже собранного и меньше тратить на повторную обработку.

По поводу итогового интерфейса или какого-то "дашборда". Пробовал gramps, потом просил агента написать приложение под меня – ну всё не то, если честно. В итоге понял, что мне удобнее хранить каноническое дерево и связи с документами, а нужное представление получать отдельными запросами. Условно: "Построй вертикальное дерево по этой ветке от такого-то человека, добавь разделители по столетиям, покажи род занятий и известные годы жизни". Или: "сделай интерактивную карту мест проживания; сначала покажи 5 вариантов на HTML мокапе".

Такой подход кажется мне удобнее, чем заранее пытаться уместить все будущие задачи в один интерфейс. Откровенно говоря, появляется ощущение, что привычные подходы из серии "найти приложение и приспособиться к его возможностям" уходит. Интереснее иметь свои данные в понятной структуре и получать нужные инструменты и представления по запросу.

Классный опыт! Спасибо, что поделились!!! Всё очень-очень интересно

Я пока до такого уровня не дошел, хотя модели и агентов использую в хвост и в гриву уже месяцев 8-9... - слишком люблю работать руками и абсолютный личный контроль :( Знаю, что меня это тормозит, но сломать привычки пока не получается

Это при том, что уже пробовал выстроить пайплайн и до-обучить модель под себя, сделать свой RAG, сделал простенького агента для себя со своей обвязкой - чтобы точно знать как это всё работает, обвешался моделями сверху-донизу, снабдил две своих личных проги встроенными MCP-инструментами для управления из своего персонального ассистента... В общем с низовкой проблем никаких, а вот сверху - читаю такие сообщения как ваше - и только облизываюсь, а выстроить такое-же не могу :( - личные предпочтения ломают

Дерево проекта у вас шикарное! Респект!

Norseman написал:

[q]
Классный опыт! Спасибо, что поделились!!! Всё очень-очень интересно

Я пока до такого уровня не дошел, хотя модели и агентов использую в хвост и в гриву уже месяцев 8-9... - слишком люблю работать руками и абсолютный личный контроль :( Знаю, что меня это тормозит, но сломать привычки пока не получается

Это при том, что уже пробовал выстроить пайплайн и до-обучить модель под себя, сделать свой RAG, сделал простенького агента для себя со своей обвязкой - чтобы точно знать как это всё работает, обвешался моделями сверху-донизу, снабдил две своих личных проги встроенными MCP-инструментами для управления из своего персонального ассистента... В общем с низовкой проблем никаких, а вот сверху - читаю такие сообщения как ваше - и только облизываюсь, а выстроить такое-же не могу :( - личные предпочтения ломают
[/q]

Понимаю. У меня обратная ситуация - люблю анализировать уже готовенькое

Norseman написал:

[q]
Дерево проекта у вас шикарное! Респект!
[/q]

Спасибо! Буду периодически писать в эту ветку, что интересного получается - и находки, и грабли

4head написал:

[q]
Использую модели GPT-6 Astra (постановка задач и планирование) и GPT-6.1 Sol (основная работа), уровни рассуждения high/xhigh в зависимости от чата.
Настраивал их интуитивно, опираясь на опыт работы с этими моделями в других проектах.

Все чаты работают с общей папкой, поэтому результаты сохраняются в файлах и доступны для продолжения работы. Связанные сведения хранятся в JSON, пояснения и исследовательские разборы – преимущественно в markdown.
[/q]

абсолютно верный подход, как мне кажется. Astra и Claude Opus 5.5 жужжат очень хорошо, но и токены кушают как не в себя. В частности, на распознавании текста. Делать какую-то специализированную модель - мне кажется уже никакого смысла нет, потому что модели общего применения завтрашнего дня переплюнут специализированную модель сегодняшнего дня на раз два. Это соревнование мы уже проиграли. Единственное, что с локальной моделью можно выиграть стоимость токенов за счет амортизации оборудования. Тогда интересно - удалось ли кому-нибудь взять готовую Gamma или Qwen и сварить из них что-то удобоваримое. Что важно - разработчики Астры и Опуса смотрят внутрь транскриптор и оптимизируют свои модели - поэтому условный Opus 6.0 будет точнее на Х% и дешевле на Y%.

gecube написал:

[q]
Делать какую-то специализированную модель - мне кажется уже никакого смысла нет, потому что модели общего применения завтрашнего дня переплюнут специализированную модель сегодняшнего дня на раз два. Это соревнование мы уже проиграли. Единственное, что с локальной моделью можно выиграть стоимость токенов за счет амортизации оборудования. Тогда интересно - удалось ли кому-нибудь взять готовую Gamma или Qwen и сварить из них что-то удобоваримое.
[/q]

Абсолютно с вами согласен.

Я пробовал свой пайплайн собрать для файн-тюнинга подобранной модели, именно Gemma. Но не для распознавания - тут с гигантами соревноваться - только время тратить. Хотел до-обучить на понимание паттернов разбора архаичных формулировок в переписях и метриках, на соответствие имен. Потому что столкнулся в своих экспериментах с тем, что если что-то противоречит базовому корпусу обучения используемой модели - ни RAG, ни факты, ни паттерны, ни системная роль - не авторитет. "Железный болван" будет тупить до победного, признаваться в ошибках, плакаться и всё равно косячить. Но увы. Столкнулся с элементарной вещью сразу же - хоть сколько ты занимайся генеалогией, сколько накопил распознанных документов и прочего - чтобы реально как следует до-обучить модель - нужен хороший качественный и вычитанный корпус документов. Большой! Пруфа прямо сейчас вам не приведу и не докажу, но было такое что для качественного до-обучения существующей модели нужно не менее 200 разных паттернов только на одну новую или конфликтную сущность (черт его знает, где я это читал, но такая цифра в голове осела). В одиночку биться головой об стенку и собирать корпус документов для обучения, да еще вычитывать и форматировать, чистить и подготавливать... увы. Закрыл эту тему.

Norseman написал:

[q]
Я пробовал свой пайплайн собрать для файн-тюнинга подобранной модели, именно Gemma. Но не для распознавания - тут с гигантами соревноваться - только время тратить. Хотел до-обучить на понимание паттернов разбора архаичных формулировок в переписях и метриках, на соответствие имен. Потому что столкнулся в своих экспериментах с тем, что если что-то противоречит базовому корпусу обучения используемой модели - ни RAG, ни факты, ни паттерны, ни системная роль - не авторитет. "Железный болван" будет тупить до победного, признаваться в ошибках, плакаться и всё равно косячить. Но увы. Столкнулся с элементарной вещью сразу же - хоть сколько ты занимайся генеалогией, сколько накопил распознанных документов и прочего - чтобы реально как следует до-обучить модель - нужен хороший качественный и вычитанный корпус документов. Большой! Пруфа прямо сейчас вам не приведу и не докажу, но было такое что для качественного до-обучения существующей модели нужно не менее 200 разных паттернов только на одну новую или конфликтную сущность (черт его знает, где я это читал, но такая цифра в голове осела). В одиночку биться головой об стенку и собирать корпус документов для обучения, да еще вычитывать и форматировать, чистить и подготавливать... увы. Закрыл эту тему.
[/q]

все хуже. Если рукопись - паттерны меняются от писаря к писарю. А по годам - бланки разные. То есть это можно распознать, кодифицировать и маленькой нейронкой перенаправлять на другие более специализированные нейронки. Но какое-то сумасшествие. Реально.

Инструменты ИИ (AI) для генеалогического исследования

Все, что касается искусственного интеллекта, в помощь в исследованиях