Яндекс - «Поиск по архивам»

Мне здорово помогла в прочтении текста elena_krd. Заметила то, что другие не увидели, считаю ее тоже высококвалифицированным специалистом. Правда, обращался за помощью уже давно.

Imbir, добавьте, пожалуйста, в первое сообщение ссылки:

Обратная связь с разработчиками.
https://yandex.ru/archive/feedback

Пара советов, как задавать им вопросы.
https://forum.vgd.ru/post/169/140482/p4446064.htm#pp4446064
https://forum.vgd.ru/post/169/140482/p4447315.htm#pp4447315

Как Яндекс научился распознавать, что написано в рукописных архивах.
Статья на Хабре о технологиях распознавания рукописного текста и в комментариях - ответы на некоторые вопросы.
https://habr.com/ru/company/yandex/blog/712510/

Сейчас перечитываю там комментарии.

Вот xbox пишет, процитирую полностью:

[q]

Александр, примите в качестве идеи на будущее. У архивов есть большое количество описей дел, которые хранятся в их фондах. Небольшая часть из этих описей переведена в "текстовый" вид, по которому можно проводить поиск. Но бОльшая часть остается "нераспознанной".

К примеру, на сайте ЦГА Москвы выложено ~5500 отсканированных описей в формате PDF и это количество увеличивается. Из всего этого объема, я думаю, текстовый поиск доступен в лучшем случае в ~10%. В каждой описи может быть от нескольких страниц, до нескольких сотен страниц. На одной странице описи может быть до 10-20 заголовков единиц хранения. Т.е. в одной описи максимум может быть до 1-2 тыс записей.

В архивах очень много ценных документов, которые никто не смотрит десятилетиями, просто по той причине, что люди о них не знают. Например, я недавно смотрел ценный документ 17 века, который до меня с 1917года не посмотрел ни один человек... В заголовках дел в описи может быть много интересного. Например, почти по каждому уезду сохранились фонды, хранящие судебные дела. Заголовки в описи примерно такие: "Дело об оскорблении мещанина Иванова Ивана Ивановича мещанином Петровым П.П", "Дело о взыскании купцом Ивановым И.И. долга с ....", "Дело о духовном завещании купца ... своего состояния такой-то церкви и открытия при ней богадельни", "Дело крестьян деревни такой-то к ...". Ходатайства, обвинения, личные дела учащихся, служащих, арестованных итп. Все варианты заголовков не перечисляю. Их огромное количество. Даже в заголовках уже много ценной генеалогической информации. А если кто-то нашел нужный заголовок, то он может дополнительно в архиве посмотреть или удаленно заказать копию дела. А в одном таком деле может быть информации о предке больше, чем во всех остальных источниках.

Я понимаю, что для Яндекса задача распознавания описей в приоритетах далеко не на первых строчках. Но, может быть, когда-нибудь вы и на нее обратите внимание. С технической точки зрения распознавание таких документов намного проще распознавания метрик. Очень многие описи напечатаны на печатной машинке или в типографии, а более старые описи, хоть и написаны от руки, но обычно написаны "современным" почерком и в большинстве случаев имеют четкую структуру.

[/q]

Ответ:

[q]

В этом направлении (наполнение описями и их добавление в поиск) мы также движется. И тут я думаю скоро будут обновления на сервисе.

[/q]

По моему личному мнению, такие дела удобно привязывать к карте, к определенному приходу или к деревне, населенному пункту. Просто я когда пробовала составить свою базу данных (в Access, преимущественно, по Порховскому уезду Псковской губернии), то привязывала такие дела (заголовки дел) к приходу.

microArt написал:

[q]

К примеру, на сайте ЦГА Москвы выложено ~5500 отсканированных описей в формате PDF и это количество увеличивается. Из всего этого объема, я думаю, текстовый поиск доступен в лучшем случае в ~10%. В каждой описи может быть от нескольких страниц, до нескольких сотен страниц. На одной странице описи может быть до 10-20 заголовков единиц хранения. Т.е. в одной описи максимум может быть до 1-2 тыс записей.

[/q]

Есть, к примеру, сервис hryc.by, в котором как раз и проводится поиск по описям нескольких десятков архивов. Может, конечно, Яндекс сделает лучше, но это реально существующий сервис уже сейчас.

Присоединюсь к конструктивным постам, которые были выше. Если есть желание улучшить сервис Яндекс Архив, то выше написано много четко и по делу. Если есть ошибка, то ее надо четко и понятно описать.

По поводу дальнейших планов наполнения сервиса Яндекса «Поиск по архивам».

Совершенно очевидно, что планы эти есть, и с нами ими никто не поделится). То, что Яндекс начал заниматься этим проектом, значит то, что если сюда пошел бизнес, значит бизнес понял как на этом можно заработать. Пока Росархив разрабатывает какой то там Электронный читальный зал, помните, была такая новость в 2018 году https://forum.vgd.ru/615/93775 Яндекс берет и делает. Возможно, этот проект реализуется в рамках какого то гранта, сказать сложно. Нам как пользователям это не должно быть особо интересно. Важно то, что этот проект стартовал, и то, что уже получилось это невероятно круто. Направления развития у сервиса большие. Если сделанный «движок» будут постоянно совершенствовать и отлаживать, то спектр применения у него может быть очень широк. Помимо основного текущего сервиса, можно сделать и пускай даже и платную возможность пользователям загружать и распознавать свои документы. Или сделать подключаемый модуль для уже разработанных других информационных систем, которые уже реализованы и работают у других архивов. Многие архивы уже обзавелись своими АИСами, многие с платным доступом. Отказаться от них и передать все наработанное годами Яндексу они вряд ли захотят. Но это дело будущего. Не очень как мне кажется далекого. Есть еще библиотеки в которых есть рукописи. Тут еще много чего можно нафантазировать.

Другой вопрос. За счет, каких архивов Яндекс Архив будет наполнять свой сервис?
Видится несколько вариантов таких архивов:
1. Архивы, которые имеют оборудования для сканирования, годами сканируют, имеют большое количество отсканированных дел, свои АИСы, которые позволяют выкладывать отсканированное в общий доступ в интернет. И которые делают это бесплатно, для нас для пользователей. И первым в этом списке конечно ЦГА Москвы, на базе которого и начался видимо проект Яндекса. Новгородский архив если я правильно понял также подходит по всем этим критериям и отлично вписывается в эту категорию. Эти архивы и так предоставляют бесплатный доступ к своим оцифрованным делам, поэтому передача материалов для Яндекса им только в плюс. Таких архивов, правда немного.
2. Архивы, которые имеют оборудования для сканирования, годами сканируют, имеют большое количество отсканированных дел, НО которые у них доступны только в читальном зале. Таких архивов уже больше. И Оренбургский архив как раз и относится к таким. Отсканировано много, но денег на свою АИС нет. Думаю, что такие архивы будут на первых порах основой наполнения нового сервиса Яндекса.
3. Архивы которые имеют все то что в п.1, только предоставляют доступ к оцифрованным образам на платной основе. Чтобы с ними была достигнута договоренность, у этих архивов должна быть материальная заинтересованность. Как она может быть достигнута, не могу сказать. Как вариант сотрудничества как я писал выше, если Яндекс сможет сделать модуль для таких систем, и эти архивы в рамках своих АИС смогут использовать машинную индексацию дел OCR Яндекса.
Архивы у которых нет оборудования для сканирования рассматривать нет смысла.

Все что я написал выше, мои небольшие мысли на эту тему, не более того. В реальности может быть совсем по-другому. Но всем интересно как будет развиваться новый сервис и с какими другими архивами будет достигнута договоренность о том, что именно их документы будут предоставлены для Яндекс Архива. Мне тоже интересно, поэтому я написал два запроса в Архивный комитет Санкт-Петербурга и Архивный Комитет Тверской области с простым вопросом: общались ли эти архивные комитеты с Яндексом на эту тему. Сегодня получил первый ответ от Архивного комитета Санкт-Петербурга.
Его прикладываю к посту:
"По Вашему обращению, поступившему на сервис «Электронная приемная» на официальном сайте Администрации Санкт-Петербурга в информационно-телекоммуникационной сети «Интернет», о возможности предоставления оцифрованных образов документов санкт-петербургских государственных архивов для сервиса Яндекса «Поиск по архивам» сообщаем, что предложений об участии в данном проекте от компании Яндекс в Архивный комитет Санкт-Петербурга не поступало."

Ответ был ожидаем. Но я считаю, что всегда лучше задать вопрос и получить ответ, чем додумывать ответ за кого-либо. Если читающим этим строки также интересно по своим архивам, ведутся ли в ваших городах такие переговоры, сделайте запрос архивному комитету или тому ведомству в подчинении которого находятся ваши архивы, и потом поделитесь ответом, здесь на форуме. Может быть ваш запрос будет новой информацией для архива о запущенном сервисе Яндекса и побудит их руководителей сделать первый шаг в сторону переговоров. Наивно, да? Возможно, но лично я попробовал. Как получу ответ от Архивного комитета Тверской области опубликую его здесь же. Всем интересных открытий с Яндекс Архивом!