Выгрузки данных в Excel из АИС ЦГА Москвы и СПИСОК ФОНДОВ

ОБНОВЛЕННЫЕ МЕГАТАБЛИЦЫ В ЭКСЕЛЕ - 203 И 51 ФОНДЫ
Данные по состоянию на 04.02.2022

Вторая версия "мегатаблиц". См. прилагаемый файл.

Эти таблицы будут полезны всем, и исследователям, и сотрудникам архива.
Это не замена старых таблиц (со списками метрических книг), а дополнение к дальнейшее развитие.
По сравнению с предыдущей версией "мегатаблиц" месячной давности, кроме обновления источников, был произведена работа над ошибками и дополнительная работа по улучшению удобства пользования.

Для тех, кто встречается с мегатаблицами впервые приведу описание, частично предыдущее, частично дополненное.

Для того, чтобы получить эти мегатаблицы, собираются данные из НСА (Научно справочный аппарат), затем объединяются с данными по метрикам, исповедкам, и ревизским сказкам, собранным на основном сайте ЦГА Москвы в разделе "Моя семья". Данные в этих источниках не связанны и для того, чтобы найти соответствие строк в разных источниках формируются "ключи", которые позволяют однозначно идентифицировать каждую запись и далее их сопоставлять друг с другом. После объединения, выбрасывается лишнее, проводится сравнение данных из двух источников, выделение ошибок, несоответствий, а также строк, содержащих записи о делах, уже оцифрованных, но пока не выложенных на сайт.

В данной таблице представлен:

• 203 фонд - записи по всем метрическим книгам (описи 745, 750, 764, 768, 771, 776, 777, 780, 782) - 9971 записей
• 203 фонд - записи по исповедным ведомостям (опись 747) - 2113 записей
• 51 фонд - записи по ревизскими сказкам (опись 8) - 988 записей
  

По указанным разделам данные в НСА представлены хоть и с пробелами, но довольно полно. Таким образом, первое, что мы получаем:
Почти полную опись в табличном виде по всем метрикам, исповедкам и ревизским сказкам 203 и 51 фонда.

До этого в трех отдельных таблицах был только список дел, выложенных на сайте в разделе Моя семья (а это далеко не все, что есть) и многостраничные сканы описей в PDF формате.
Описи в PDF формате точные, но они разбросаны по разным томам, отметки там стоят по состоянию на дату сканирования, несколько лет назад, а главное в них очень непросто и очень не быстро искать даже при наличии опыта.

Поскольку данные объединяются, теперь у нас в файле сразу два описания.
Первое из базы НСА, оно обычно есть, но далеко не всегда. Второе описание есть в случае, если дело выложено на основном сайте.
Можно отфильтровать дела, выложенные на сайте без описания и сразу посмотреть описание из базы НСА.
Или, если есть какие-то сомнения в описании на сайте, можно сравнить его с данными из НСА.

Для всех выложенных на сайте дел, есть ссылка для просмотра в разделе "Моя семья".

Объединение данных открывает нам новые возможности.

Можно посмотреть отметки ОФП в базе НСА и сравнить их с сайтом.

1. Таким образом, в базе НСА можно найти записи, в которых забыли поставить отметку ОФП. Если дело выложено на сайте, то оно точно отсканировано и отметка в НСА должна быть. Но в представленном куске НСА есть более 100 дел, где забыли поставить эту отметку.

2. А можно найти записи, по которым в базе НСА стоит отметка ЭФП, но при этом дело не выложено на сайт. Это, как минимум, означает, что такое дело можно посмотреть без заказа в читальном зале. А еще это может означать, что, в перспективе уже отсканированные дела появятся могут появится в последующих выгрузках при обновлении раздела сайта "Моя семья".

Для более удобной фильтрации дел по признаку ЭФП, я добавил столбец "ЭФП-diff".
В этом столбце может быть четыре значения:

• "НСА, Сайт" - это норма, дело имеет пометку ЭФП в базе НСА и оно выложено на сайт
• "Сайт" - дело выложено на сайт, но у него нет пометки ЭФП в базе НСА. Такие записи помечены красным. Всего таких дел 103шт. Это "флаг" для работников архива, чтобы внесли пометку в НСА.
• "НСА" - а это те самые дела отсканированные, но не выложенные на сайт. Они помечены "золотым" цветом.
• "НСА-У" - это виртуальное дело. Фактически это всего лишь продолжение очень длинного описания, не помещающегося в одно поле, основного дела.
  

Кроме этого появилась возможность сверить год и количество страниц в двух источниках. Если есть расхождение, то значит высокая вероятность ошибки.
Год сравнивается даже при условии вольного написания. Например, запись "(1912,1913-1918) и " 1912-" будут считаться совпадающими.
По году дополнительно проверяется слишком низкое значение. Разница и ошибки в записях по году отмечаются красной заливкой.

При сравнении количества страниц встречаются записи с большим расхождением. Если разница двух источников по одному делу составляет более 50 страниц, то число страниц помечается красным шрифтом. У этой проверки есть исключение. Опись 745, 203 фонда не проверяется, поскольку там очень много "виртуальных дел"...

Совсем все типы ошибок я не стал раскрашивать цветом. Применений прилагаемого файла для контроля ошибок может быть гораздо больше. Например, можно отобрать записи в НСА, у которых вообще не указан год, но при этом год указан в записях на сайте. Или наоборот. И после этого можно год быстро скопировать из одной базы в другую.

При наличии расхождений в двух версиях можно перейти прямо из таблицы на сайт и посмотреть сканы. В 99% случаев в разделе Моя семья будет более точная информация.

И по аналогии с предыдущими таблицами в мегатаблице представлены "вычисляемые" колонки "Год1", "Год2" и "Все годы", которые позволяют искать и фильтровать записи по году в случаях, когда в оригинале год не указан явным образом, а указан, например, диапазоном.
фильтры" -> "между" -> 1860 и 1870.

Обращаю внимание, особенно сотрудников архива, что Excel позволяет фильтровать и сортировать колонки не только по значению, но и по цвету.
Это может пригодиться для выбора всех строк с каким-нибудь типом ошибки.
Например, чтобы выбрать все строки с расхождением и ошибками в годе, ставим фильтр по цвету - красная заливка.
А для того, чтобы выбрать все записи с большим расхождением по количеству страниц, ставим фильтр по цвету - красный шрифт.

Список сокращений в таблице:

• ФП - Фонд пользования (копия оригинала в каком-то виде)
• СФ - Страховой фонд (копия на пленке)
• ЭФП - Электронный Фонд Пользования (дело отсканировано и доступно на компьютере в читальном зале, а некоторые доступны и на сайте)
• ОЦ - Особая ценность
• УД - Уникальные документы
  

В следующем сообщении будет иллюстрация по мегатаблицам. А уже последующие обновления через месяц будут без таких длинных описаний.

Теперь живите с этим.

И еще один небольшой бонус.

В прилагаемом файле отобраны записи, которые изменились в базе НСА примерно за месяц (за Январь 2022г).
Сравнивались все данные (примерно 89тыс записей), которые есть в онлайн-базе НСА.

В первую очередь меня интересовало, у каких дел за месяц появилась свежая отметка "ЭФП".
Всего таких дел было найдено ~239шт, а именно

• 203ф 745оп - 2шт
• 203ф 747оп - 20шт (исповедки, в январе на сайт выложена только половина)
• 203ф 764оп - 1шт
• 203ф 776оп - 1шт
• 203ф 776оп - 81шт (эти все выложены на сайт в январе)
• 1472ф 1оп - 52шт
• 2124ф 2оп -1шт
  

Таким образом, теперь мы знаем, что именно сканировал архив в январе 2022, а может быть пораньше - в декабре 2021г.
На сайт выложено далеко не все. То, что пока не выложено можно посмотреть на компьютерах читального зала.

ОБНОВЛЕННЫЕ ФАЙЛЫ В ФОРМАТЕ EXCEL с полной информацией
ПО МЕТРИЧЕСКИМ КНИГАМ, ИСПОВЕДНЫМ ВЕДОМОСТЯМ И РЕВИЗСКИМ СКАЗКАМ,
выложенным на сайте ЦГА Москвы, с учетом изменений на сайте с 03/02/2022 по 22/02/2022.
См. вложение.

В ФЕВРАЛЕ 2022 Г. ДОБАВЛЕНЫ НОВЫЕ ДЕЛА С МЕТРИЧЕСКИМИ КНИГАМИ:

Фонд 203 опись 745: 1659, 1660, 1667, 1686, 1688. (Всего 5шт)

Фонд 203 опись 776: 448, 504. (Всего 2шт)

Фонд 203 опись 780: 2658, 2850, 2851, 2853, 2854, 2855, 2856, 2857, 2859, 2861, 2863, 2864, 2865, 2867, 2868, 2870, 2871, 2872, 2873, 2874, 2875, 2877, 2878, 2879, 2880, 2883, 2885, 2887, 2889, 2892, 2895, 2896, 2897, 2899, 2900, 2903, 2904, 2905, 2906, 2909, 2910, 2911, 2916, 2917, 2919, 2920, 2921, 2922, 2923, 2924, 2925, 2926, 2927, 2928, 2929, 2930, 2931, 2932, 2933, 2941, 2942, 2948, 2949, 2950, 2951, 2952, 2953, 2954, 2956, 2957, 2958, 2959, 2960, 2961, 2962, 2963, 2964, 2966, 2968, 2969, 2972, 2973, 2974, 2975, 2976, 2977, 2978, 2979, 2980, 2981, 2983, 2984, 2985, 2986, 2988, 2993, 2994, 2996, 2997, 2998, 2999, 3000, 3001, 3002, 3003, 3894. (Всего 106шт)


В ФЕВРАЛЕ 2022 Г. ДОБАВЛЕНЫ НОВЫЕ ДЕЛА С ИСПОВЕДНЫМИ ВЕДОМОСТЯМИ:

Фонд 203 опись 747: 1473, 1475, 1476, 1484, 1485, 1490, 1515, 1516, 1532. (Всего 9шт)

Кроме того в файлах отражено перемещение за прошедший месяц некоторых дел из раздела "метрические книги" в раздел "исповедные ведомости" и "ревизские сказки".


Начиная с этой версии, в таблицах реализован новый алгоритм по заполнению описаний дел.

В случае, если на сайте ЦГАМ в разделе "Моя Семья" дело не подписано и/или по нему не указаны "годы", то такая информация берется из другого источника - НСА (Научно справочный аппарат) https://nsa.cgamos.ru/ . Причем, в базе НСА по некоторым делам описания из-за слишком длинного текста разбиваются на 2-3-4 отдельные записи, в каждой из которых содержится только часть текста. Все такие записи находятся и перед копированием объединяются в одну.

В случае, если и в НСА не находятся данные с описанием и/или датами, то используется еще одни источник, - гугл-таблица с заголовками дел, наполнением которой занимаются волонтеры с этого форума.

Несмотря на то, что гугл-таблица заполнена, все желающие могут там вносить правки. Это может быть как исправление ошибок и опечаток, так и дополнение существующих коротких заголовков более развернутыми данными. Кроме того эта же таблица будет использоваться в будущем в случаях, если в новых ежемесячных обновлениях на сайте ЦГАМ появятся еще "неподписанные" дела. В любой момент можете редактировать гугл-таблицу при необходимости.

Ссылка на упомянутую выше гугл-таблицу с пользовательскими заголовками. https://docs.google.com/spread...sp=sharing


В экселевских файлах описания, получены из альтернативных источников, выделены цветом и дополнительно подписаны "Данные из НСА: " или "Данные с форума: ".

На сайте ЦГАМ есть около 180 дел, в которых отсутствуют описания и/или годы.
В результате применения описанных выше новых алгоритмов, в приложенных файлах все такие дела уже подписанны.
На текущий момент в таком виде информации по выложенным на сайте ЦГАМ делам, больше нет нигде.




Файл: MetricBookData-20220222-124736.xlsx, 1256 Кб

Файл: IspovednieVedomostiData-20220222-130054.xlsx, 102 Кб

Файл: RevSkazkiData-20220222-130721.xlsx, 66 Кб

ОБНОВЛЕННЫЕ ФАЙЛЫ В ФОРМАТЕ EXCEL с полной информацией
ПО МЕТРИЧЕСКИМ КНИГАМ, выложенным на сайте ЦГА Москвы, с учетом изменений на сайте с 22/02/2022 по 25/03/2022.
См. вложение.

25 МАРТА 2022 Г. ДОБАВЛЕНЫ НОВЫЕ ДЕЛА:

Фонд 203 опись 745: 1335, 1385, 1689, 1703, 1704, 1705, 1711, 1712, 1715, 1716, 1717, 2050А. (Всего 12шт)

Фонд 203 опись 780: 3006, 3007, 3008, 3009, 3010, 3011, 3012, 3013, 3014, 3015, 3016, 3017, 3018, 3019, 3020, 3021, 3022, 3023, 3024, 3025, 3026, 3027, 3028, 3029, 3030, 3031, 3032, 3033, 3034, 3036, 3037, 3038, 3039, 3041, 3042, 3043, 3044, 3045, 3046, 3047, 3049, 3050, 3051, 3052, 3053, 3054, 3056, 3057, 3058, 3060, 3062, 3063, 3065, 3066, 3067, 3068, 3070, 3071, 3072, 3073, 3074, 3075, 3076, 3077, 3081, 3082, 3084, 3085, 3086, 3089, 3090, 3091, 3092, 3093, 3094, 3099, 3100, 3101, 3102, 3103, 3104, 3105, 3106, 3107, 3108, 3109, 3110, 3112, 3113, 3114, 3115, 3116, 3117, 3118, 3119, 3120, 3121, 3123. (Всего 98шт)


Напоминаю, что в случаях, когда на сайте ЦГА Москвы в разделе "Моя семья" у дела отсутствует описание, описание берется из базы НСА (https://nsa.cgamos.ru),
а если и в НСА описания нет, то оно берется из таблицы, которую заполняют волонтеры https://docs.google.com/spread...sp=sharing

Обратите внимание в указанной выше гугл-таблице у тринадцати дел 203 фонда 745 описи пользователи форума в описании дел указали не только все церкви, но и номера всех страниц, на которых начинаются книги этих церквей. Все эти полные описания автоматически были скопированы в прилагаемый Excel-файл.


P.S. 27.03.2022 в 16:30 в этом сообщении заменил файл от 25.03.2022 на обновленный с исправлениями.
В предыдущем файле были ошибки в описаниях, которые копировались из пользовательской гугл-таблицы.

ТАБЛИЦЫ ПО Г. МОЖАЙСКУ И МОЖАЙСКОМУ УЕЗДУ
Данные по состоянию на 21.04.2022

Выкладываю несколько новых таблиц, которые будут интересны исследователям Можайского уезда.

1. Фонд 592 Описи 1 и 2 в табличном виде.
Название фонда: "МОЖАЙСКОЕ ДУХОВНОЕ ПРАВЛЕНИЕ ВЕДОМСТВА МОСКОВСКОЙ ДУХОВНОЙ КОНСИСТОРИИ, Г. МОЖАЙСК МОСКОВСКОЙ ГУБЕРНИИ."

Напомню, что опись1 фонда 592 до этого момента существовала только в бумажном виде. Скана этой описи нет, на сайте архива она не выложена и ранее с ней можно было ознакомиться только в оригинале в читальном зале или пролистав 250 страниц с результатами по запросу в НСА.

Файл cgam-fond592-opisi-Mozhaisk-2022-04-21-222957.xlsx, 218 Кб


2. Таблица, со всеми записями из НСА (Научно-Справочного Аппарата), в которых встречается слово ~Можайск. Объединена со всеми записями 592 фонда.
Ключевые слова подсвечены красным цветом.

Файл Mozhaisk-nsa-select-highlighted-2022-04-21-223006.xlsx, 484 Кб


3. Таблица аналогичная предыдущей, но без подсветки ключевых слов.

Файл Mozhaisk-nsa-select-2022-04-21-223000.xlsx, 459 Кб

Таблицы 2 и 3, проще говоря, - это все, что на текущий момент есть в базе НСА по Можайскому уезду. Имеются ввиду подписанные дела.

Для того, чтобы получить такие таблицы, в НСА делается несколько выборок с разными параметрами, затем полученные результаты объединяются, удаляются дубликаты, проводится сортировка, подключаются дополнительные столбцы, которых нет в оригинале, и наводится марафет. Например, для того, чтобы в большой выборке легче было работать с результатами, подключены дополнительные столбцы с названиями описей, фондов и ссылками на страницу описи в НСА. В частности как раз для такого подключения и нужен был справочник со списком всех описей и фондов, который собирался ранее и выложен в предыдущем сообщении.