Яндекс - «Поиск по архивам» - Генеалогический форум ВГД. Тема №140482

На сайте ВГД собираются люди, увлеченные генеалогией, историей, геральдикой и т.д. Здесь вы найдете собеседников, экспертов, умелых помощников в поисках предков и родственников. Вам подскажут где искать документы о павших в боях и пропавших без вести, в какой архив обратиться при исследовании родословной своей семьи, помогут определить по старой фотографии принадлежность к воинским частям, ведомствам и чину. ВГД - поиск людей в прошлом, настоящем и будущем!

Возможно, кто-то не знает, темы такой не нашла. Яндекс запустил поиск по распознанным через ИИ архивам. Протестировала, пока, увы, видимо, в основном московские метрики и архивы, но и это - большое подспорье.

Достаточно просто ввести в строку поиска фамилию, например, и выведется скан из архива, который доступен.

Надеюсь, будет полезно: https://yandex.ru/archive

Обратная связь с разработчиками.

Пара советов, как задавать им вопросы.
https://forum.vgd.ru/post/169/140482/p4446064.htm#pp4446064
https://forum.vgd.ru/post/169/140482/p4447315.htm#pp4447315

Яндекс "Поиск по архивам" в ТГ.

Как Яндекс научился распознавать, что написано в рукописных архивах: статья на Хабре о технологиях распознавания рукописного текста и в комментариях - ответы на некоторые вопросы.
Инструкция как открыть все дело, а не только одну найденную страницу от ozerskaya
В помощь желающим скачать изображение на локальный компьютер расширения для браузера от okolobaxa

Новости проекта

09.06.2023 Яндекс.Архивы добавили на сервис материалы ГАИО, загрузка и распознавание еще продолжаются, в общей сложности будет более 700 тыс. сканов по всем описям ф. 50 (включая особо ценные).
28.07.2023 Добавили Архивное управление Администрации городского округа Балашиха Московской области - Фондов 1 Дел 116 Оцифровано дел 114 Документов 55 323
31.10.2023 Первые итоги осени

Мы добавили на сервис “Епархиальные ведомости” и другие издания Русской Православной Церкви — около 77 тысяч выпусков или 3,5 млн сканов.
Также наш сервис пополнился материалами Государственного архива Астраханской области — в общей сложности около 1,5 млн сканов.
В разделе ЦГА Москвы добавилось более 600 дел, отсканированных архивом с июня по сентябрь.
В общей сложности на 376 дел пополнилась коллекция материалов ОГАОО (Оренбургская область).
150 новых дел прислали наши партнеры из Государственного архива Иркутской области.

09.11.2023 ОГАОО прислал еще более 400 отсканированных дел с метрическими книгами!
14.11.2023 У нас появилось около 6 тысяч новых дел фонда 229 «Московская духовная академия».
21.11.2023 У нас снова пополнение! Теперь пользователям «Поиска по архивам» доступны материалы из Муниципального архива Уссурийска — около 140 дел с метрическими книгами из церквей города и близлежащих сёл.
24.11.2023 Добавили 50 новых дел архива Иркутской области (ГАИО), Ф. 50 Иркутская духовная консистория источник
29.11.2023 Выложили материалы Ф. 392 оп. 1 Оренбургского архива "Книги записи родившихся, бракосочетавшихся, разведшихся и умерших евреев по городу Оренбургу" (75 дел)
06.12.2023 К юбилею "Вечерней Москвы" выложили на сервис полный архив газеты за 100 лет (разумеется, распознанный и с возможностью поиска) источник
11.12.2023 Оренбургский архив продолжает радовать - с начала декабря прислали сканы более 400 новых дел. источник
15.12.2023 Главархив Москвы передал в "Поиск по архивам" почти 1000 дел, отсканированных еще в октябре. Все уже выложены на сервис и почти все уже распознаны. источник
21.12.2023 Выложили МК и записи ЗАГС муниципальных архивов Каширы, Луховиц и Павловского Посада, всего около 200 тыс. сканов источник
27.12.2023 Выложили обновление по Оренбургу, документы распознались и появились в результатах поиска. Всего 246 дел. + перезалиты в лучшем качестве Ф. 98 оп. 2 д. 2 источник
12.01.2024 Первые обновления января (источник)

Появился Государственный архив Хабаровского края (ГАХК)
Добавились очередные 50 дел архива Иркутска (ГАИО, ф. 50, оп. 9)

06.02.2024 За прошедшую неделю «Поиск по архивам» пополнили почти 360 новых дел! Это свыше 100 тысяч сканов, поступивших из четырёх регионов страны. (источник)
25.02.2024 390 дел, отсканированных Главархивом Москвы в январе, загружены на сервис, распознаны, доступны в поиске (еще одно доедет на ближайшей неделе). (источник)
27.02.2024 Добавлено более 500 дел с метрическими книгами и записями ЗАГС с 1893-го по 1925 год из Государственного архива Приморского края (источник)
10.03.2024 Коллекцию «Поиска по архивам» пополнили материалы из фондов Государственного архива Вологодской области. На сервисе уже размещено около 800 дел (84,5 тыс. листов) ревизских сказок и других документов Вологодской казенной палаты; подготовка и публикация материалов продолжаются. (источник)
16.04.2024 Коллекцию «Поиска по архивам» пополнили 92 метрические книги, относящиеся к Камышловскому и Екатеринбургскому уездам Пермской губернии — сейчас это территория Курганской и Свердловской областей, хранившиеся в библиотеке Екатеринбургской духовной семинарии. (источник)

LeTom написал:

[q]
Вот тут, кстати, дан ответ касательно исправления ошибок.
https://habr.com/ru/company/ya...t_25183928
[/q]

Судя по никам, вопросы там задают, как раз наши ВГД-шники - программисты.
А значит, вопросы правильные, совсем не дилетантские.

okolobaxa написал:

[q]
Эм, я не указал, что работает только для страницы с одним сканом, не для массового скачивания.
Для массового скачивания с самого сайта ЦГА Москвы используйте вот это инструмент, написанный мной ранее https://github.com/okolobaxa/cgamos-downloader
[/q]

С Вашего позволения добавлю для таких одарённых, как я

Чтобы попасть в нужное меню в последней версии Yandex Browser (да и вообще во всех Chrome' анутых браузерах), где присутствуют все волшебные кнопки "режим разработчика" и "загрузить распакованный плагин", надо в рабочей строке браузера вбить: browser://extensions/
И всё получится.
Как только нашли нужную страницу, увеличили, посмотрели, убедились - нужный фрагмент - обновите страницу, чтобы она была в изначальных параметрах. А дальше качайте по инструкции к плагину.
Огромная благодарность автору за идею и реализацию!

Количество дел ЦГА Москвы в каталоге Яндекса увеличилось.
Сейчас у них отмечено "Оцифровано дел 7386", А еще вчера (или пару дней назад) было 7155.
Лед тронулся. Надеюсь и остальные уже оцифрованные 3 с лишним тысячи дел из ЦГАМ загрузят.

Несколько тысяч дел Оренбургского архива Яндекс загрузил за неделю.
Поэтому, если решение о добавлении по ЦГАМ принято, все может произойти в короткий срок.

Я вот даже подумываю пока отложить просмотр, чтобы два подхода не делать.
А то просмотришь результаты по 7тыс дел, а потом при просмотре результатов из 10 тыс дел, две трети могут быть "старыми". А на определение того, смотрел уже файл или нет, тоже время требуется. Не все же старые находки в голове удержишь.

С учетом того, что количество дел изменилось, решил некоторый цифры сравнить.

Обратил внимание, что в каталоге Яндекса в фонде 592 числится всего 49 дел, в то время, как на сайте ЦГА Москвы выложено 47дел.

Сравнил количество дел по описям.
Фонд 592, опись 1 - у Яндекса числится 15 дел, на сайта ЦГАМ - 13 дел.
Фонд 592, опись 2 - у Яндекса числится 34 дел, на сайта ЦГАМ столько же.

С учетом того, что Яндекс может получать дела напрямую от архива и уже были отмечены случаи, когда у Яндекса были выложены дела, которые ЦГАМ у себя не выкладывал, сверил все по номерам дел.

Оказалось, что хоть у Яндекса и числится 15 дел в первой описи, реально обложки и заголовки выложены по 13 делам. Т.е. "новых" дел нет.
И тогда остаются две версии. Либо Яндекс не умеет считать, либо он отобразил реальное количество дел, которые у него уже есть, а два "недостающих в каталоге дела" должны появиться в ближайшее время после распознавания текста. Посмотрим, чем дело закончится.

Как вопросы на Хабре задавать можно?
То есть, может ли человек "с улицы" (то есть, я) после простой регистрации задавать там вопросы? Или нет?

KoLenka написал:

[q]
Фамилия вроде не самая популярная - Красновский.
Но поиск Яндекса при вводе фамилии , уже в первый день выдавал мне более 9 000 документов. Ибо существует 2 огромных священнических рода с этой фамилией, в Москве и Карелии. И фактически мне выдаётся каждая запись , подписанная, тем или иным Красновским.
Что в таких случаях делать? КАк искать?

Можно ли разработчикам Яндекса задать такой вопрос, или это чисто мои проблемы, сиди Лена и листай 9000 или 30 000, просто листай

И ещё, у меня там же деревня с шикарным названием РАЙ.
Красновский ввести не могу, по причине тысяч документов, но и Рай получается тоже.
Прицеплю скрин, просто посмеяться. Вто Рая. Ясен перец, все части у меня.
[/q]

У Вас же большой опыт разных поисков, как бы Вы сами "идеальный" поиск для Вашего случая видите? Искать всех Красновских, кроме священников? В какой-то степени Вам с этим поисковым запросом не повезло". Но, я думаю, Ивановы, глядя на такие проблемы, рыдают навзрыд.

Отсеять священников вряд ли автоматически получится, а вот уменьшить выборку в каких-то случаях можно. Например, если бы были дополнительные фильтры по фонду и еще по каким-то параметрам, - ставите номера фондов, которые исключают "ненужные" регионы, ограничиваете временной период и тп. Можно пробовать дополнительно писать крестьянин/мещанин/купец итп Красновский. Можете попробовать искать по точной форме слова или указывать минус слова (язык поиска в рекомендациях есть). В каких-то отдельных случаях поможет. Но волшебного рецепта у меня для Вас нет.

При поиске по трем буквам, тоже проблема объективная. А если учесть ещё возможность изменения окончаний, то вообще поиск по одной букве получается.

В какой-то степени улучшение алгоритмов распознавания уменьшит количество ложных отображений. Например, если "вто рая" будет распознано одним целым словом, то по запросу "рая" выводиться не будет. Но что в этом случае можно порекомендовать Яндексу? "Работайте лучше..."? Они и так творят чудеса и стараются и дальше улучшать алгоритмы.

А вопрос Яндексу Вы конечно можете задать. Либо в поддержку пытаться писать, хотя могут и не ответить, либо на "хабре" можете попробовать. На хабре для этого нужно зарегистрироваться. После этого новые пользователи могут оставлять комментарии, но отображаются они не сразу, а после прохождения модерации. При этом модератором выступает сам автор статьи. Если сообщение без оскорблений, то оно обычно без проблем модерацию проходит. Если одно сообщение пользователя прошло модерацию, то последующие сообщения пользователя в той же теме сразу отображаются. ... По сути автор может и не ответить - это физически очень сложно. Но по крайней мере сообщение прочитают. И еще для новых пользователей на хабре может быть ограничение по времени добавления комментариев со дня опубликования статьи. Пробуйте сами. Там правила иногда меняются, я их не отслеживаю. Раньше вообще можно было получить учетную запись только по приглашению или после написания статьи... (По вопросам написания сообщений на хабре, если что-то не получается, - это не ко мне).

xbox, спасибо за ответ.
Лично я Хабр иногда читаю (там интересное попадается про IT-технологии, а мне такое нравится), но никогда там не писала (в комментариях).
Тогда спросите их, пожалуйста, хотя бы про географический список (в помощь нейросети).
Это-то могут люди составить...

Про загрузку своих собственных документов для расшифровки можно даже не мечтать - архивы не потерпят такого самоуправства. Это я поняла.

А про рекомендацию про торренты - это спасибо. Учту...

microArt написал:

[q]
Тогда спросите их, пожалуйста..
[/q]

Все вопросы Яндексу прошу задавать напрямую.

Marlon написал:

[q]

KoLenka написал:
[q]

Вто Рая.
[/q]

Вообще не смешно. Ведь в самом документе части обозначены римскими цифрами. Или интеллект Яндекса только арабские воспринимает?
[/q]

Разовьет понемножку свой интеллект

А так-то все-же неплохо- еще один канал информации. тем более, что нас, людей с мало-мальским опытом не испугаешь таким переложением текста. Иногда смотришь -абракадабра в переложении, а интуитивно понятно, так как знаешь наименования своих географических объектов, приходов и т.д.
Новичкам, тем, кто с разбега пытается в эту историю с Яндексом вскочить, конечно сложновато, поскольку нет базы. Мне на это жалуются подписчики ВКонтакте. Но я очень надеюсь, что Яндекс откроет двери для принятия наших правок и предложений. Конечно, по типу Википедии этого делать нельзя, иначе могут быть проблемы. Искусственному интеллекту помощь человеческого еще никогда не мешала

Marlon написал:

[q]
KoLenka написал:
[q]
Вто Рая.
[/q]
Вообще не смешно. Ведь в самом документе части обозначены римскими цифрами. Или интеллект Яндекса только арабские воспринимает?
[/q]

Яндекс - «Поиск по архивам»

Поиск по распознаным сканам метрических записей! https://yandex.ru/archive