E-POISK Продвинутый онлайн поиск и просмотр дел в ЦГА Москвы

На сайте ВГД собираются люди, увлеченные генеалогией, историей, геральдикой и т.д. Здесь вы найдете собеседников, экспертов, умелых помощников в поисках предков и родственников. Вам подскажут где искать документы о павших в боях и пропавших без вести, в какой архив обратиться при исследовании родословной своей семьи, помогут определить по старой фотографии принадлежность к воинским частям, ведомствам и чину. ВГД - поиск людей в прошлом, настоящем и будущем!

Представлю вашему вниманию свою новую разработку.

Сайт epoisk.ru позволяет искать информацию о метрических книгах, исповедных ведомостях, ревизских сказках, хранящихся в Центральном государственном архиве г. Москвы (ЦГА Москвы).

Подробнее можно прочитать здесь. https://epoisk.ru/about/

Полностью повторять описание здесь не буду. Отмечу только некоторые из преимуществ.

Расширенные фильтры: поиск по нескольким словам, по году, по периоду, по номеру или названию фонда, по номеру или названию описи, минус-слова, минус-фонды, минус-описи, поиск по наличию ЭФП, по наличию дела онлайн, по наличию копии на пленке, несколько режимов сортировки.
Текстовый поиск осуществляется сразу по двум источникам (по данным из НСА и по данным с основного сайта ЦГА Москвы), а также по дополнительным пользовательским записям. Если хоть в одном описании есть ключевое слово, то Вы обязательно увидите запись в результатах поиска.
Здесь можно найти данные и по выложенным на сайт архива делам и по делам, пока не выложенным. (А на основном сайте архива есть информация только о выложенных делах. На сайте НСА есть информация о большинстве дел, включая не оцифрованные, но там нет ссылок для перехода на основной сайт архива для просмотра сканов).
Интеллектуальный поиск по году. Например поиск по году "1876" найдет записи, у которых год был в оригинале указан "1875-1877", "1870, 1879, 1900", "2 января 1876г", "после 1875 г" итп. (На сайтах архивов в поле годы данные указываются без какой-то четкой структуры, а поиск по году обычно отсутствует или нормально не работает)
Интеллектуальный поиск по периоду. Тоже, что и выше. Например поиск по периоду 1820-1840 найдет записи, в у которых оригинале год был указан "1830", "1815-1850", "1830-1845", "5 января 1835 ...1836" итп.
Возможность сразу увидеть в результатах поиска подсвеченные поисковые слова в части фрагмента описания, а также возможность по клику сразу в таблице развернуть полное описание, длина которого иногда может быть более 10 тысяч символов.
Поиск доступен для пользователей, расположенных за пределами РФ. (В настоящее время государственные архивы разрешают доступ к своим сайтам только с российских IP-адресов).
Поисковые запросы выполняются значительно быстрее, чем на сайтах архивов
Более 300 дел в описании содержат дополнительные пользовательские примечания. Например, это могут быть номера начальных страниц для каждой церкви в большом деле. Такая информация в некоторых случаях может сильно облегчить нахождение в деле требуемого фрагмента.

В названии этой темы есть слова "поиск" и "просмотр" дел. На сайте реализован пока только поиск. А второе слово добавлено на всякий случай на будущее, поскольку название темы можно задать только один раз.

Напоминаю, что, если у вас есть какие-то наработки по делам (расширенные описания, номера страниц по отдельным церквям, примечания об ошибках в описи и др), вы можете их вносить в открытую гугл-таблицу и они при следующем обновлении базы данных попадут на новый сайт, а также в Excel-"мегатаблицы".

Ссылка на открытую гугл-таблицу.

Прилагаю несколько скриншотов. Я думаю вы и сами быстро разберетесь, как и что искать на новом ресурсе.

Обсуждать новый ресурс можно в этой теме (в части, касающейся ЦГА Москвы).
Обсудить этот же ресурс в части, касающейся поиска захоронений можно в отдельной теме.

v. 2.2.1 Возможность искать ссылки на отсканированные описи ЦГА Москвы в формате pdf.
Поиск осуществляется по всем отделам хранения за все годы (1619-2016)

https://epoisk.ru/opisi_pdf/ - Начальная страница поиска pdf-описей

Ссылки на pdf-файлы также автоматически добавляются на следующие типы страниц:
https://epoisk.ru/cases/203/ - на странице фонда
https://epoisk.ru/cases/203/780/ - на странице описи
https://epoisk.ru/cases/203/780/1/ - на странице единицы хранения

В дополнение к предыдущему анонсу:
Добавлена статистика по количеству ссылок на отсканированные описи в формате pdf в разрезе по отделам хранения и по фондам.

https://epoisk.ru/opisi_pdf/stat/ - ссылка на страницу статистики

v.2.2.2 ("три лебедя") Для длинных описаний дел появилась возможность по нажатию на ссылку автоматически расставлять переносы строк.

Переносы строк в базе данных изначально не хранятся, поскольку во всех источниках они обычно расставлены неправильно и в табличном представлении данных от них толку не было.
Но описания бывают такие длинные, что в карточке единицы хранения тоже трудно ориентироваться. Чтобы текст был более читаемый, теперь в карточке дела его можно смотреть с переносами.

Я тестировал, как переносы автоматические расставляются на большом количестве дел, но естественно все дела не проверял.
Мелкие недочеты могут оставаться. Но, если заметите, совсем какую-то дичь с переносами, пишите, - попробую скорректировать, при условии, что в исходных текстах есть за что зацепиться. (Бывают тексты, в которых используются только слова и пробелы).

В описаниях дел десятки разных стилей оформления. Где-то используются точки, где-то запятые, где-то точки с запятой, где-то нет цифр, где-то цифры указаны просто, где-то в кавычках, где-то в скобках, иногда с хештегом. Точка может быть концом предложения, а может быть и сокращением слова. Кто-то использует дефисы. Очередность слов тоже непостоянная. А в пользовательских примечаниях может быть вообще, что угодно. Иногда одно правило добавления переносов, может противоречить другому. Постарался найти баланс.

Как это работает на больших описаниях, можно протестировать здесь:
https://epoisk.ru/cases/203/745/1055/

Moroii написал:

[q]
просто интересно.
[/q]

Если просто интересно задайте вопрос в личку.
То, что сделал и делает xbox показывает альтернативу архиву как можно работать с данными. Без этой альтернативы не было бы текущего развития у архива. Взгляд и решение со стороны дает стимулы для дальнейшего развития. Но это побочный эффект.
Главное что сделан отличный инструмент для работы. Который помогает большущему количеству исследователей в работе.
Если Вы этого не понимаете Moroii новичок, с рейтингом 0 и количеством сообщений 1, то это печально.

solo_vv написал:

[q]

Moroii написал:
[q]

просто интересно.
[/q]

Если просто интересно задайте вопрос в личку.
То, что сделал и делает xbox показывает альтернативу архиву как можно работать с данными. Без этой альтернативы не было бы текущего развития у архива. Взгляд и решение со стороны дает стимулы для дальнейшего развития. Но это побочный эффект.
Главное что сделан отличный инструмент для работы. Который помогает большущему количеству исследователей в работе.
Если Вы этого не понимаете Moroii новичок, с рейтингом 0 и количеством сообщений 1, то это печально.
[/q]

Неужели мои вопросы такие колкие, что сразу минусов сообщению накидали?
Все мы много раз слышали поговорку "По себе людей не судят", а по кому нужно судить? Я имея навыки и умение искать информацию пользуюсь этим. На всеобщее обозрение не выкладываю. Но если я действительно хочу помочь улучшить что-то, я это делаю предлагая свою помощь и идеи реализации. А в данном случаем мне действительно очень интересно чем руководствуется автор ветки. Думаю есть и другие пользователи форума и не только, кто задается вопросом - "А зачем все это? Для чего ты тратишь свои ресурсы и время? Ты альтруист или с заделом на будущее?" ИМХО.

solo_vv написал:

[q]
Moroii
В этой ветке xbox представил свою работу. Если есть пожелания и предложения по работе сервиса велкам.
Хотите спросить о мотивации, о погоде, о природе xbox спросите его в личку, не засоряйте флудом форум.
Хотите потролить, поищите другое место для этого.
[/q]

А Вы местный шериф к-й всем говорит как нужно себя вести, где, что, как и кому писать? Форум на то и форум, чтобы не прятаться в личке, а открыто общаться. Если автор ветки не готов ответить, никто его к этому не принуждает. А флудить это по всей видимости Ваша сфера иначе зачем отвечать на сообщения адресованное явно не Вам? Adios amigo!

Moroii написал:

[q]
Добрый день! Я новенький. Наткнулся на Ваш проект только на этом форуме. Много усилий вижу приложили к разработке такого инструмента. Интересные функции реализовали. Не поймите меня не правильно, но зачем Вы это делаете? Кто-то на форуме Вас даже обвиняет в дальнейшей коммерциализации своего проекта. Некоторые пользователи в самом начале (появлении сервиса архива) начали обсуждать варианты помощи архиву, как в составлении заголовков, так и в сканировании документов и т.д. Без обид, такое ощущение, что Вас в архиве обидели и теперь Вы таким образом показываете архиву, что епоиск лучше чем и т.д. и т.п. и вместо помощи архиву перетягиваете аудиторию к себе..
[/q]

Встречный вопрос к Вам. Вы пишите про пользователей, которые предлагали помощь архиву в самом начале появления сервиса. Я один из тех пользователей. Это было более двух лет назад. Но Ваша учетная запись зарегистрирована неделю назад и здесь оставлено первое сообщение. Предлагаю, писать под своим реальным ником.

Зачем я это делаю, я уже писал несколько раз. В том числе и на самом сайте eposik частично написано. Повторяться не хочу.
По поводу помощи архиву, я считаю, что epoisk оказывает архиву неоценимую помощь. Как это работает показываю на нескольких последних примерах.

С момента запуска на сайте архива было одно поисковое поле, работающее по принципу "догадайся, что я хочу". Это поле выдавало все, что угодно, но обычно не то, что нужно. Точнее таких поисковых полей было несколько. Они дублировали друг друга в каждом разделе. И до сих пор частично дублируют. На одной странице могут быть одновременно поле "поиск по сайту" с тремя переключателями "поиск по сайту", "по архивным документам", "расширенный поиск" и прямо под ним еще одно поисковое поле "Поиск". Вот это второе поле ищет только в пределах раздела (книги, сказки, итп). Таких разделов сейчас минимум семь. Даже на главной странице несколько разных поисков. Т.е., если вы что-то ищите, у вас десяток разных вариантов, куда вводить запрос. И результаты в разных поисках отличаются. Если ищите в разделе метрические книги, то не найдете исповедные ведомости итп. Если во "втором" поле ввести фразу, например, "Звенигород", то предлагается поиск разделить еще на части "где искать - фонды, описи, дела".

Почему так происходит.? Когда разрабатывается сайт, сначала составляется техническое задание. Правильно составить ТЗ - это непростая задача. Составляет гос.заказчик, который прекрасно выполняет свои задачи по сохранности документов итп, но мало представляет о том, что можно сделать на сайте. Поэтому чаще всего ТЗ составляют примерно так - Нам нужен сайт с обязательным разделами Об архиве, Новости, Контакты, Метрические книги и еще нужен поиск. Потом какой-то человек из вебстудии, у которого слово "архив" в основном ассоциируется с WinZip, WinRar итп, ставит задачу дизайнеру примерно в таком же виде, добавляя от себя что-то. Дизайнер отрисовывает макет с большими баннерами на пол экрана, с красивыми закругленными полями для ввода итп. Потом задача передается верстальщикам и программистам. Программисты читают задание "нужен поиск", находят в старых проектах "поиск по товарам" и переносят его на новый сайт. Дальше сайт принимают по принципу: Сайт-есть, контакты-есть, новости-есть, метрические книги-есть, поиск есть, и все довольны. После этого начинается новый финансовый год, разработчики меняются, задачи меняются, но старые "наработки" остаются, а к ним добавляются новые. А рекомендации пользователей по улучшению сайта максимум доходят до админа, который исправляет опечатки и перезаливает не полностью закачанные книги.

Минимум два года на сайте архива в части поиска по большому счету ничего не менялось. К конце декабря я запустил сайт epoisk. И уже в марте на сайте архива появляется расширенный поиск по всем разделам с архивными документами, который пытается полностью скопировать интерфейс epoisk, включая дословное цитирование примечаний. Совпадение? Я думаю, что руководство архива обратило внимание на epoisk и поставило задачу разработчикам "Сделать точно так же". Epoisk - это фактически готовое тех.задание для разработчиков архива. А раз есть правильное ТЗ, то и дело двигается в правильном направлении. И пусть пока новый "расширенный поиск" архива находит меньше результатов, чем epoisk, и пусть он не умеет искать дела, которые доступны только в читальном зале, но это большой шаг, который идет на пользу всем посетителям их сайта. А если бы epoisk не показал пример, то сайт архива не менялся бы годами. Если в этом сомневаетесь, зайдите на сайт РГАДА и посмотрите на технические возможности "Архива древних актов".

Вы пишите, что пользователи предлагали архиву в составлении заголовков и сканировании. Про сканирование я раньше не слышал. Не очень представляю, как и где сторонние пользователи могут сканировать архивные дела. По заголовкам - на сайте архива с 2021года до сих пор есть более ста неподписанных дел, которые никак текстовым поиском нельзя найти. Еще несколько сотен дел, подписаны не полностью. А где нет ни одного неподписанного дела и заголовки более полные? Да, на том сайте, который непонятно для чего нужен, - в том числе благодаря общей помощи пользователей форума по наполнению, а благодаря также объединению данных из разных источников, каждый из которых по отдельности неполный.

Второй пример - раньше архив не публиковал номера дел, которые ежемесячно добавляет на сайт. Потом стал публиковать в табличке, но делал это с большой задержкой. Иногда мог через месяц обновлять данные после физической выгрузки. А в марте 2023года архив опубликовал номера дел фактически в момент обновления. Совпадение?

Если показывать архиву пример, то для всех будет только лучше. Сайт архива будет дальше развиваться и улучшаться. Ведь всё очень просто - сделай хорошо и посетителям не придется искать какие-то таблички или ещё что-то на стороне.

А если не показывать пример, то будет, как сейчас в разделе описи. Попробуйте на сайте архива найти отсканированную опись в формате pdf "Метрические книги церквей Московской губернии". Если по названию не найдете, попробуйте найти по номеру опись 780, фонд 203. Это одна из самых востребованных описей. Посчитайте, сколько на это ушло времени и кликов. А сколько на эту задачу потратит новый пользователь, который раньше не интересовался архивами и на сайт зашел первый раз?

>> Ответ на сообщение пользователя xbox от 31 марта 2023 14:47

Спасибо за ответ!
Подозрительные Вы все тут, как будто в чем-то уличили.
Я слежу за форумом очень давно, пользуюсь советами и информацией с него, но не регистрировался. Доказывать и оправдываться смысла нет, все равно никто не поверит.

Как пример (читай помощь) для архива по реализации функций Ваш сервис хорош, тут даже спорить никто не берётся. А вот метод помощи я считаю выбран не верно. Как не крути вы забираете аудиторию у архива. Вместо того чтобы написать письмо руководству учреждения с описанием своих предложений и предложением помощи. Я вижу данных посыл, как смотрите какой я крутой програмер, спарсил с сайта архива все данные и такой крутой поиск сделал. А в архиве работают недоспецы (своим ответом на мой вопрос Вы это подтвердили) к-е даже ТЗ написать не могут. В юношестве все знают как такое называется (цензура).

Всем мир!!!

Написать решил в защиту пользователя к-й в соседней ветке имеет схожее мнение. И как я вижу минусы на этом форуме получают все, кто думает иначе.

Яростно плюсую все, что пишет и делает xbox в Москве и Грыц (hryc.by) в Беларуси.

Вчера ответила участнице форума, что дело ее деда есть в партийном фонде в Минске, забыла написать номер дела. Она в нетерпении позвонила в архив, а ей сказали - у нас нет проиндексированных описей на сайте (думаю, что и в самом архиве нет проиндексированных описей, так и листают бумажные экземпляры, слюня пальцы).
Вы скажете, в Москве такого быть не может? Еще как может.

Все происходит именно так, как написал xbox:

xbox написал:

[q]
Когда разрабатывается сайт, сначала составляется техническое задание. Правильно составить ТЗ - это непростая задача. Составляет гос.заказчик, который прекрасно выполняет свои задачи по сохранности документов итп, но мало представляет о том, что можно сделать на сайте. Поэтому чаще всего ТЗ составляют примерно так - Нам нужен сайт с обязательным разделами Об архиве, Новости, Контакты, Метрические книги и еще нужен поиск. Потом какой-то человек из вебстудии, у которого слово "архив" в основном ассоциируется с WinZip, WinRar итп, ставит задачу дизайнеру примерно в таком же виде, добавляя от себя что-то. Дизайнер отрисовывает макет с большими баннерами на пол экрана, с красивыми закругленными полями для ввода итп. Потом задача передается верстальщикам и программистам. Программисты читают задание "нужен поиск", находят в старых проектах "поиск по товарам" и переносят его на новый сайт. Дальше сайт принимают по принципу: Сайт-есть, контакты-есть, новости-есть, метрические книги-есть, поиск есть, и все довольны. После этого начинается новый финансовый год, разработчики меняются, задачи меняются, но старые "наработки" остаются, а к ним добавляются новые. А рекомендации пользователей по улучшению сайта максимум доходят до админа, который исправляет опечатки и перезаливает не полностью закачанные книги.
[/q]

Уверена, что разработчик должен сидеть на предприятии, а не быть привлеченным со стороны, и понимать, что делается. Примеры работающих архивных АИСов (Тула, Ярославль) и не работающих, которых лихорадит регулярно - тот же Ростов нД и Татарстан, который отключил свою АИС по причине необходимости модернизации - тому пример (интересно, если у вас порвались ботинки, вы их выкидываете и ходите босиком, пока не купите новые, или сначала покупаете, а потом выкидываете старые?).
..............

Moroii написал:

[q]
Написать решил в защиту пользователя к-й в соседней ветке имеет схожее мнение. И как я вижу минусы на этом форуме получают все, кто думает иначе.
[/q]

Сходите в архив, не сидите на ветках форума.
Вы знаете, что в ЦГА Москвы аж 4 поисковых программы, и в них проиндексированы разные фонды? Плюс "Межархивный поиск", это у же пятая. Плюс поиск по фамилии в ОХДОПИМ в базе "нса", который недоступен на Профсоюзной, зато в ОХДОПИМ недоступна база фонд-опись-дело (поиска партийного дедушку вам на Профсоюзной порекомендуют съездить в другой архив; причем и в ОХДОПИМ есть набранные на компьютерах описи с личными делами, в эту базу не внеенные); что база "Алфавиты загсов" до недавнего времени была недоступна в здании на Профсоюзной, 82 (где одна и та же сеть и программы, что на Профсоюзной, 80); что невозможность сделать поиск по алфавиту загсов в компьютерах (а не в "поисковых столах") целый месяц объясняли "большим объемом данных, компьютеры не справляются с таким поиском"

).

Moroii написал:

[q]
А в архиве работают недоспецы (своим ответом на мой вопрос Вы это подтвердили) к-е даже ТЗ написать не могут. В юношестве все знают как такое называется (цензура).
[/q]

Заметьте, не я это написала)) про недоспецев. Ну, сами решайте.
Значит, про НСА.
В ЦГА есть две(!) базы с выложенными отсканированными описями (и это разные базы; и не факт, что они совпадают с перечнем выложенных описей на сайте).
В фонд-опись-дело рядом с названием описи есть пометка - внесено в НСА. Так это разные НСА, и вы голову сломаете, ища по фамилии в одной базе, а оно найдется в другой.

В ЦГА есть дела, внесенные в НСА с реквизитами 16-0-0 (то есть опись и дело неизвестно), потому что архив переформатировал описи и потерял файл с новой нумерацией (а в описях по тыще дел, в каждом деле по 100-150 тетрадей, упорядоченных не по алфавиту, и сладок виноград, да не достать...).

В ЦГА есть компьютерные описи (набранные шрифтом Таймс нью роман), которые архив не может выложить на сайт вообще никак (пример: фонд 363. Ладно, его худо-бедно отволонтерили).
В ЦГА есть фонд 417 (Коммерческий институт), описи которого внесены в НСА частично (буква А внесена, а буква К например нет). Это, как вы понимаете, компьютерные описи.

В ЦГА есть фамильные указатели, распечатанные на АЦПУ (такие угловатые буковки в неподъемных альбомах). Разумеется, их нет ни в каком нса и исходников тоже нет.

Участник на форуме с гордостью давеча написал, что ему из архива прислали сведения про наличие сведений о бывших сотрудниках какого-то советского учреждения, "делюсь, это пригодится кому-нибудь еще". Выяснить наличие этих сведений в базе "Межархивный поиск" занимает 2 минуты. Человек писал письмо, сотрудник отвечал, регистрировал запрос, посылал ответ. Время ничего не стоит. Выложить базу "Межархивный поиск" на сайт архива займет, наверное, меньше времени.

ЦГАТО, который системно входит в Главархив, пару лет назад убрал со своего сайта огромный криво сделанный пдф (кстати, почему описи в архивах всегда набраны без соблюдения правил верстки? С пробелами, с висячими строками?) со списком фондов предприятий с личными делами. На сайте остались только "крупнейшие предприятия" и "новые поступления" прошлогодней давности. Ну нравится людям регулярно отвечать "Есть ли у вас дела о парикмахерской номер пять Первомайского района и за какой год?".

А этот пресловутый поиск "фонд-опись...". Вот пример. Искала фамилию Левит, база выдала Льва Толстого и левых эсеров. Ну да, это для удобства, это подсказки, чтобы старушки-посетительницы, позабывшие орфографию... А сделать простой поиск в огромной базе, содержащей дела советского и досоветского (т.е. все дела) периода - не, никак? "Содержит, не содержит, начинается с " - эта опция почти реализована в цгашной базе "нса", значит, умеете программировать без подсказок с генеалогических форумов?
Искала фамилию Ким, получила "великим" и "таким" во всех падежах, то есть 20 тысяч результатов. Ааа, скажет сотрудник архива, вы бы вбили имя-отчество, тогда программа бы все нашла. А если нет имя-отчества в памяти потомков? А если имя отчество в заголовке дела отсутствует?

Или опять ждать, пока xbox нарисует для вас алгоритм поиска, но уже не по заголовкам, а по содержимому описей?

Moroii написал:

[q]
Вместо того чтобы написать письмо руководству учреждения с описанием своих предложений и предложением помощи.
[/q]

А вы думаете, что руководство учреждения не знает всего этого и не использует компьютер в своей работе?

зы. Скрины всех использованных примеров могу выложить.

xbox написал:

[q]
А сколько на эту задачу потратит новый пользователь, который раньше не интересовался архивами и на сайт зашел первый раз?
[/q]

А сколько на эту задачу потратит посетитель архива, который раньше не интересовался архивами и пришел на Профсоюзную в первый раз, записаться в читальный зал и найти метрику бабушки (не будучи многолетним посетителем сайта вгд и генеалогических групп)? А нисколько. Плюнет и из читального зала пойдет писать запросы или искать частника.