Яндекс - «Поиск по архивам» - Генеалогический форум ВГД. Тема №140482

На сайте ВГД собираются люди, увлеченные генеалогией, историей, геральдикой и т.д. Здесь вы найдете собеседников, экспертов, умелых помощников в поисках предков и родственников. Вам подскажут где искать документы о павших в боях и пропавших без вести, в какой архив обратиться при исследовании родословной своей семьи, помогут определить по старой фотографии принадлежность к воинским частям, ведомствам и чину. ВГД - поиск людей в прошлом, настоящем и будущем!

Возможно, кто-то не знает, темы такой не нашла. Яндекс запустил поиск по распознанным через ИИ архивам. Протестировала, пока, увы, видимо, в основном московские метрики и архивы, но и это - большое подспорье.

Достаточно просто ввести в строку поиска фамилию, например, и выведется скан из архива, который доступен.

Надеюсь, будет полезно: https://yandex.ru/archive

Обратная связь с разработчиками.

Пара советов, как задавать им вопросы.
https://forum.vgd.ru/post/169/140482/p4446064.htm#pp4446064
https://forum.vgd.ru/post/169/140482/p4447315.htm#pp4447315

Яндекс "Поиск по архивам" в ТГ.

Как Яндекс научился распознавать, что написано в рукописных архивах: статья на Хабре о технологиях распознавания рукописного текста и в комментариях - ответы на некоторые вопросы.
Инструкция как открыть все дело, а не только одну найденную страницу от ozerskaya
В помощь желающим скачать изображение на локальный компьютер расширения для браузера от okolobaxa

Новости проекта

09.06.2023 Яндекс.Архивы добавили на сервис материалы ГАИО, загрузка и распознавание еще продолжаются, в общей сложности будет более 700 тыс. сканов по всем описям ф. 50 (включая особо ценные).
28.07.2023 Добавили Архивное управление Администрации городского округа Балашиха Московской области - Фондов 1 Дел 116 Оцифровано дел 114 Документов 55 323
31.10.2023 Первые итоги осени

Мы добавили на сервис “Епархиальные ведомости” и другие издания Русской Православной Церкви — около 77 тысяч выпусков или 3,5 млн сканов.
Также наш сервис пополнился материалами Государственного архива Астраханской области — в общей сложности около 1,5 млн сканов.
В разделе ЦГА Москвы добавилось более 600 дел, отсканированных архивом с июня по сентябрь.
В общей сложности на 376 дел пополнилась коллекция материалов ОГАОО (Оренбургская область).
150 новых дел прислали наши партнеры из Государственного архива Иркутской области.

09.11.2023 ОГАОО прислал еще более 400 отсканированных дел с метрическими книгами!
14.11.2023 У нас появилось около 6 тысяч новых дел фонда 229 «Московская духовная академия».
21.11.2023 У нас снова пополнение! Теперь пользователям «Поиска по архивам» доступны материалы из Муниципального архива Уссурийска — около 140 дел с метрическими книгами из церквей города и близлежащих сёл.
24.11.2023 Добавили 50 новых дел архива Иркутской области (ГАИО), Ф. 50 Иркутская духовная консистория источник
29.11.2023 Выложили материалы Ф. 392 оп. 1 Оренбургского архива "Книги записи родившихся, бракосочетавшихся, разведшихся и умерших евреев по городу Оренбургу" (75 дел)
06.12.2023 К юбилею "Вечерней Москвы" выложили на сервис полный архив газеты за 100 лет (разумеется, распознанный и с возможностью поиска) источник
11.12.2023 Оренбургский архив продолжает радовать - с начала декабря прислали сканы более 400 новых дел. источник
15.12.2023 Главархив Москвы передал в "Поиск по архивам" почти 1000 дел, отсканированных еще в октябре. Все уже выложены на сервис и почти все уже распознаны. источник
21.12.2023 Выложили МК и записи ЗАГС муниципальных архивов Каширы, Луховиц и Павловского Посада, всего около 200 тыс. сканов источник
27.12.2023 Выложили обновление по Оренбургу, документы распознались и появились в результатах поиска. Всего 246 дел. + перезалиты в лучшем качестве Ф. 98 оп. 2 д. 2 источник
12.01.2024 Первые обновления января (источник)

Появился Государственный архив Хабаровского края (ГАХК)
Добавились очередные 50 дел архива Иркутска (ГАИО, ф. 50, оп. 9)

06.02.2024 За прошедшую неделю «Поиск по архивам» пополнили почти 360 новых дел! Это свыше 100 тысяч сканов, поступивших из четырёх регионов страны. (источник)
25.02.2024 390 дел, отсканированных Главархивом Москвы в январе, загружены на сервис, распознаны, доступны в поиске (еще одно доедет на ближайшей неделе). (источник)
27.02.2024 Добавлено более 500 дел с метрическими книгами и записями ЗАГС с 1893-го по 1925 год из Государственного архива Приморского края (источник)
10.03.2024 Коллекцию «Поиска по архивам» пополнили материалы из фондов Государственного архива Вологодской области. На сервисе уже размещено около 800 дел (84,5 тыс. листов) ревизских сказок и других документов Вологодской казенной палаты; подготовка и публикация материалов продолжаются. (источник)
16.04.2024 Коллекцию «Поиска по архивам» пополнили 92 метрические книги, относящиеся к Камышловскому и Екатеринбургскому уездам Пермской губернии — сейчас это территория Курганской и Свердловской областей, хранившиеся в библиотеке Екатеринбургской духовной семинарии. (источник)

Проекту вчера исполнился год. Поздравляю всех нас - тех, кто занят наполнением, обихаживанием и доступностью данных, а также активных пользователей, которым посчастливилось на ресурсе получить новые знания о родных, живших задолго до нас. И всех, кому еще предстоит сделать свои открытия с помощью этого отличного инструмента!

Москвичам стало проще искать историю своих семей
Ракова: москвичи более 20 млн раз за год обратились к порталу «Поиск по архивам»

Москвичи более 20 миллионов раз воспользовались порталом «Поиск по архивам», который запустили в столице год назад. Туда были загружены более 5,4 миллиона страниц исторических материалов из Главархива Москвы и другие материалы. Как рассказала заместитель мэра по вопросам социального развития Анастасия Ракова, с помощью сервиса людям стало проще искать историю своих семей. Кроме того, он помогает ученым и журналистам, а на страницах, содержащих устаревшие символы и рукописи, тренируется искусственный интеллект.
Поиск по архивам — запущенный в начале 2023 года сервис Яндекса, который помогает быстро находить упоминания людей, населенных пунктов и событий в расшифрованных нейросетью рукописных документах XVIII-XX веков.
«На протяжении нескольких последних лет запросы, связанные с поиском предков и исследованием прошлого семьи, оказываются одними из самых популярных в Главархиве Москвы. Это особенно заметно в Год семьи, — рассказала Ракова. — Мы стремимся помочь жителям в столь важном деле и ищем способы сделать доступ к документам проще. Так, несколько лет назад мы открыли онлайн-сервис "Моя семья" и разместили в нем оцифрованные метрические книги — документы, содержащие сведения о рождении, браке и смерти москвичей и жителей Московской губернии разных вероисповеданий. На основе ресурса "Моя семья" нейросеть "Поиска по архивам" училась читать рукописные тексты. За год работы сервиса к порталу обратились более 20 миллионов раз, что говорит о его популярности и необходимости. Сама же нейросеть проанализировала свыше 10 миллионов страниц исторических документов».
Сервис «Поиск по архивам» помогает историкам, социологам, демографам, журналистам и простым москвичам находить информацию об исторических событиях и личностях. Как отметили в Соцкомплексе столицы, работать с архивными документами теперь так же легко, как с привычным поиском Яндекса.
Сейчас в «Поиске по архивам» есть документы из архивов 11 регионов, в том числе Москвы, Московской, Оренбургской, Новгородской, Иркутской, Астраханской и других областей. Всего нейросеть Яндекса распознала более 60 тысяч рукописных и печатных текстов середины XVIII — начала XX веков: в сумме это более 10 миллионов страниц, или 492 миллионов строк. В «Поиске по архивам» хранятся расшифрованные архивные дела (например, метрические книги и ревизские сказки), в которых содержится информация о людях, родившихся в России до 1917 года.
Кроме того, в сервисе собраны 3,6 миллиона оцифрованных страниц периодических изданий, таких как «Советский спорт», «Вечерняя Москва» и епархиальные ведомости.
Технология расшифровки в «Поиске по архивам» основана на оптическом распознавании символов. Нейросеть узнает утратившие актуальность знаки (например, исчезнувшие из алфавита буквы), учитывает особенности почерка и за несколько секунд преобразует трудночитаемые записи в печатный текст. Для работы с версткой газетных страниц нейросеть научили распознавать текст на огромных полосах, набранный мелким шрифтом на низкоплотной бумаге.
Ссылка

ixes написал:

[q]
Технология расшифровки в «Поиске по архивам» основана на оптическом распознавании символов. Нейросеть узнает утратившие актуальность знаки (например, исчезнувшие из алфавита буквы), учитывает особенности почерка и за несколько секунд преобразует трудночитаемые записи в печатный текст.
[/q]

Если по гамбургскому счету, то какая будет оценка технологии расшифровки по пятибалльной шкале?

Для примера взял первую попавшуюся строку на открытой странице, и вот такой получился беглый анализ, не претендующий на статистическую значимость.
В книге написано: Дочь Тельшевского мещанина Овсея Орелиовича Маста Эстеръ
Распознанный текст гласит: Дочь Тещенево наго мѣщанина Фокоя Сергеліовича Маста детеръ

Число слов: 7 8
Число знаков: 55 57
Ошибки:
льш щен
с о
ко на
Овсе Фоко
Ор Сер
Эс де
Итого ошибки составили 14/55 или примерно 25%. О смысле ИИ пока даже задумываться не умеет.
Как думаете, до троечки технология уже дотягивает? Хотя формально 3/4 от 5 баллов уже ближе к 4, чем к тройке.
Это я не к тому, что все плохо, все пропало и никуда не годится. Мне просто тон статьи как-то не очень заходит, не люблю излишней бравурности.

С другой стороны как кто то уже писал: Вам дали удочку, а дальше вы уже сами ...

>> Ответ на сообщение пользователя oztech от 31 января 2024 12:53

Из моего небольшого опыта использования Я.архив считаю, что результат "перевода" нельзя рассматривать отдельно от поискового запроса. Как мне показалось, Я.архив далек от идеала, но он выдает не только информацию, которая в его понимании соответствует запросу, но и похожую на нее. А дальше уже дело за исследователем пересмотреть и отсеять лишнее. В любом случае это намного лучше, чем "иди туда, не знаю куда, ищи то, не знаю что". А если и знаешь куда и что, то не всегда это где рядом с тобой, не говоря о том, что еще нужно потратить часы, дни, недели на просмотр.

Так что Я.архив и сервис от Генотек - это революция в мире генеалогии и с этой точки зрения я не вижу тут какой-то бравурности. А со временем, я уверен, точность распознавания будет улучшаться.

njkzp написал:

[q]
С другой стороны как кто то уже писал: Вам дали удочку, а дальше вы уже сами ...
[/q]

Дареному коню в зубы не смотрят

oztech написал:

[q]
тон статьи как-то не очень заходит
[/q]

Критикуешь - предлагай! Сделайте распознавание лучше

Я за результаты по своим в дёсны готова расцеловать того самого коня

tirael написал:

[q]
...сервис от Генотек - это революция в мире генеалогии...
[/q]

Какой конкретно тамошний сервис – "революция"?

D_SK написал:

[q]

Какой конкретно тамошний сервис – "революция"?
[/q]

Поисковый.
https://forum.vgd.ru/4536/1310...iew&o=
Вам не понравился?

tirael написал:

[q]
сервис от Генотек
[/q]

Вот на Генотеке, кстати, ни разу не удалось ничего по своим найти. Наверно, я просто "не умею его готовить"

А Яндекс-архив помог очень - нашла такое и там, где искать не пришло бы в голову, по некоторым веткам прямо на 3-5, а местами и больше, поколений продвинулась. Главное было понять, в какой церкви, например, могут быть записи по семье, если это не очевидно. Ну а потом, естественно, сплошной просмотр МК по этой церкви за прочие нужные годы, чтобы "выловить" те записи, которые ЯА не распознал или распознал неверно. Как-то так. Огромная польза генеалогу от этого сервиса!

Яндекс - «Поиск по архивам»

Поиск по распознаным сканам метрических записей! https://yandex.ru/archive