Инструменты ИИ (AI) для генеалогического исследования

Кто-нибудь может помочь с установкой kra.ken ocr ?

Спасибо за тему!

Использую ChatGPT, хорошо помогает в таких случаях:

- общие вопросы о конкретных сословиях, исторических фактах, хорошо сопостовляет и подсказывает с учётом географии и времени
- отлично ищет по редким фамилиям с учетом ограничений, этот форум хорошо сканирует и подбивает информацию
- собрал информацию по определенной фамилии на сайте о первой мировой, всех (более 130 человек) оформил в таблицу, теперь могу автоматически сортировать по региону проживания, годам жизни, попросить сделать анализ
- подсказывает по архивам и фондам (не всегда идеально, надо перепроверять его ссылки), но фонды и описи находит

Расшифровывает МК плохо, некоторое додумывает. Если кто-то посоветует что-то для этого, буду рада. Ну или возможные полезные промпты для любых задач по генеалогии

Тестировал разбор русского курсива на GPT5 Thinking. Из плюсов - галлюцинаций сильно меньше, чем раньше, разбирает довольно неплохо. Минусы - разбор одного скана по времени - 5-10 минут, при этом весьма придирчив к качеству скана.

Скопирую сюда пост из сообщества Телеграм: https://t.me/genealogy_generation/330
Много информации по ИИ почему-то раскидано именно там, по постам разных групп и сообществ на нашу тематику...

---

Искусственный интеллект в генеалогии. Давно назревал этот пост, и вот. Скажу сразу, большинство новейших возможностей ИИ оперативно освещает (и внедряет) Иван Корякин в Генеалогике (http://t.me/go_genealogy), за что ему большое спасибо. У Ивана имеется на эту тему даже отдельное выступление (https://vk.com/video-213267140_456239350).
Итак, где нам может пригодиться ИИ (помимо Яндекс-Архива):

> Алиса на YandexGPT 5 Pro (https://alice.yandex.ru/?utm_source=yandex&utm_campaign=morda_header_oknyx&utm_medium=interface)
Поиск по открытым источникам начальной информации о семье, населенном пункте, административно-территориальном делении и даже имеющихся онлайн метрических книг и др.документов.

Вопросы, например, можно задать такие:
- что известно о семье Воронковых из Белоомута?
- онлайн метрические книги по Белоомуту
И тд

Что важно - всегда приводятся ссылки на источники.
Конечно, информация может быть далека от совершенства и нужно перепроверять, но все равно стоит попробовать.

> AIStudio от Google (https://aistudio.google.com/u/1/prompts/new_chat)
Обработка фото, реставрация, удаление дефектов, добавление фотореализма, раскрашивание, масштабирование и тд. Работает с впн.

> Перевод аудио в текст (обработка интервью):
В Генеалогике подробно (https://t.me/go_genealogy/1003) , а если кратко, то
Шаг1. Autophonic (https://auphonic.com/) обработка звука, удаление лишних шумов
Шаг2. Transcribetext (https://transcribetext.com/) Транскрибирование (перевод аудио в документ)
Шаг3. DeepSeek (https://www.deepseek.com/en) Перевод неудобоваримой набора слов в связный текст со знаками препинания и тд.

> Индексация/оцифровка – перевод мк, рс и др.документов в таблицы. Тут схема проста- надиктовать текст (подойдет любая прога для аудиозаписи), после чего перевести аудио в текст с заданными параметрами – рассортировать по таблице с определенными столбцами, параметрами и тд., можно использовать проги из п.3
Deepseek (https://www.deepseek.com/en) не может создавать файлы Excel, а корректно перенести таблицу напрямую из чата у меня не получилось (возможно, зависит от версии Excel), поэтому можно запросить создать из получившейся таблицы текстовой файл для блокнота и уже оттуда перенести данные в Excel.

> Создать презентацию за пару секунд поможет Gamma (https://gamma.app/). Картинки, конечно, она подбирает – закачаешься. Но все можно править.

> Поразвлечься. Оживить старое фото, чтобы предки помахали нам с экрана или обнять себя-маленькую/ого можно в приложении PixVerse (https://app.pixverse.ai/home) (нужно наложить на фото тот или иной шаблон из списка)

> И, в заключение, полезные боты в ТГ:
- Фамилион от Genotek (https://t.me/Genotek_Surname_bot) расскажет о происхождении фамилии, приведет статистику по распространению, этническому составу и тд.
- Буквица (https://t.me/BukvitsaAI_bot) транскрибирование аудио в текст
- GED2VCF (https://t.me/GED2VCF_bot) быстрый анализ GED-файла по количеству персон, фамилиям, наличию дат рождения, нп, полу и тд.
- Словарь русских имен (https://t.me/RussianPersonalNamesBot)
- Поиск участников войны (https://t.me/veteran_vov_bot) на «Памяти народа»

---

P.S. Повторюсь, я не являюсь автором текста. Сама пока еще не освоилась с возможностями ИИ, здесь опыт скорее отрицательный, хотя и выглядит весьма многообещающе. Не исключено, что если разработчики устранят ключевую проблему, а именно - склонность ИИ "бредить" и врать, то окажусь в первых рядах по использованию этого инструмента Однако вопрос фундаментальный: искоренима ли такая проблема, в принципе Кажется, пока нет

Добрый день!

Я в течение недели "игрался" как раз с установкой локально escriptoium и krаken для разметки страниц и обучения/дообучения моделей.
В целом весь процесс заработал, но тогда уперся в отсутствие больших датасетов для обучения.
Нашел в открытом доступе к размеченным рукописным строкам современным на русском языке + синтетический набор данных (искусственно сгенерированные строки на разных "рукописных" шрифтах, тоже для обучения моделей).

В итоге, разметил вручную примерно 350 "строк" из метрических книг одного архива 19 века и дообучил одну из моделей. Даже на таком небольшом кол-во вручную размеченных строк начало работать распознавание других листов, но еще с большим количество ошибок. Плюс если начнём брать книги других писарей из других губерний или других эпох, то конечно гораздо сильнее упадёт качество распознавание, это я понимаю.

Вот теперь думаю, что с эти делать дальше?

Вариант - поднять на каком-нибудь домене этот проект и открыть свободный доступ для всех заинтересованных генеалогов, чтобы вручную размечали строки, тем самым получая (экспортируя) для себя готовый перевод + за одно, громадная польза по наполнению датасетов для дальнейшего обучения. Как думаете?

Яндекс.Архив конечно этим вряд-ли "переплюнуть" можно, но, при достаточной заинтересованности и кол-ве волонтёров думаю можно вполне успешно "поконкурировать"...в том плане, что можно будет обучать отдельные "версии" моделей, заточенные под определенные года/регионы/документы... сейчас у меня это делается прям в интерфейсе достаточно просто и можно еще доработать.

https://youtu.be/SEFxazE3NgQ

Если у кого-то есть идеи по развитию - давайте пообшаемся.