Выгрузки данных в Excel из АИС ЦГА Москвы и СПИСОК ФОНДОВ

Список изменений в НСА (Научно Справочном Аппарате) ЦГА Москвы (https://nsa.cgamos.ru/)
c 08/02/2022 по 02/03/2022.

В левом столбце указано, что изменено:
New - новая запись
Changed (Дт.) - изменена дата
Changed (Оп.) - изменено описание
Changed (ФП) - изменен статус ФП

За ~месяц у 239 дел появилась отметка ЭФП.
В это число входят дела, которые в феврале были выложены на сайте в разделе "Моя семья". Сюда же входят несколько дел, которые были выложены на сайте давно, но по ним в базе НСА сразу забыли поставить отметку ЭФП. И сюда же входят несколько десятков недавно оцифрованных дел, которые на сайт пока не выложены.

Изменения прошли более чем в 10 фондах.

Среди прочего в 203 фонде по описи 745 продолжается наполнение описаний. Было добавлено более 300 записей по делам с номерами от 1340 по 1536.
Все эти новые записи будут учтены позже при формировании "мегатаблицы" и таблицы с доступными онлайн метрическими книгами.

СПИСОК ОПИСЕЙ И ФОНДОВ ЦГА МОСКВЫ
Данные по состоянию на 16.04.2022

Новая таблица со списком всех описей и фондов ЦГА Москвы,
информация о которых введена в Научно-Справочный Аппарат (НСА) https://nsa.cgamos.ru/
или в раздел "Моя семья" на сайте архива.

При формировании этой таблицы собираются и анализируются данные из 4 источников и в каждой записи для каждого поля выбирается лучший.

В таком виде этих данных нет нигде, даже на сайте архива.
К примеру, в базе НСА часть названий описи указана в таблице, а часть или отсутствует или подписана так "см. аннотацию".
Соответственно, если воспользоваться поиском по ключевому слову в базе НСА, то половина заголовков не найдется.
В прикрепленной таблице такие заголовки описей, в которых встречается"см. аннотацию" заменены на текст из этой самой аннотации или объединены с этим текстом.

Кроме того, в объединенной таблице в списке есть несколько описей, которое отсутствуют в базе НСА, но есть в разделе с метрическими книгами на сайте архива.
Т.е. в этом файле в списке описей больше, чем в базе НСА.

По описям и фондам кроме стандартных полей есть "аннотации" с более развернутым описанием, а также ссылки в базу НСА и (при наличии) на основной сайт ЦГА в категорию со списком выложенных метрических книг.

При создании таблицы для себя я в первую очередь планировал получить справочник, который можно будет программно подключать и использовать при формировании других таблиц, но получилось нечто большее.

Файл cgam_opisi_i_fondi-20220416-172905.xlsx, 109 Кб

Ниже копия моего приглашения из другой темы. Поскольку кто-то сообщение мог пропустить, выкладываю его здесь в слегка измененном виде.

Друзья, есть возможность принять участие в хорошем деле!

Речь пойдет о дополнительном наполнении полезной информацией экселевских файлов с метриками, исповедками, ревизскими сказками.

На первых этапах для формирования экселевских файлов со списками выложенных на сайт ЦГА Москвы книг собиралась информация с сайта из раздела "Моя семья".
На следующих этапах для "неподписанных дел" описания автоматически стали подтягиваться из базы НСА (Научно-Справочный Аппарат).
Но и в базе НСА есть пробелы и часть дел в экселевском файле оставалась неподписанной.

После этого была создана гугл-таблица со списком более сотни неподписанных дел, в которую пользователи с форума за очень короткий период внесли отсутствующие описания.
Теперь используются и эти пользовательские описания, и в экселевских файлах не осталось ни одного неподписанного дела.

Благодаря совместной помощи пользователей форума из экселевского файла получилась конфетка.
Теперь есть возможность из конфетки сделать торт.

Что я предлагаю?
У многих исследователей в процессе работы с метриками/исповедками/сказками накапливаются очень полезные данные и наработки, иногда даже уникальные. Часто такие сведения могли бы облегчить поиск информации и работу с делами другим исследователям. Но из-за того, что нет возможности централизованно сохранять и делиться наработками, разные пользователи могут проделывать параллельно одну и ту же работу, а кто-то или тратит на поиски лишнее время, или совсем не может найти то, что ищет.

Для того чтобы появилась возможность обобщать, систематизировать и делиться наработками в упомянутой выше гугл-таблице я создал еще один лист.
Второй лист этой таблицы (примечания к делам) отличается от первого листа и служит для других целей.
На этом листе указываются номера фонда/описи/дела и "примечание" к делу. Примечание не путать с описанием.

Примечания из этого листа будут присоединятся в экселевих файлах к существующим описаниям с сайта ЦГАМ или базы НСА. Это не замена описаний, а именно дополнение к описаниям.
По этой причине просьба делать примечания компактными и указывать в них только основные важные детали, которые отсутствуют в описании на сайте ЦГАМ.
Как это будет выглядеть показано на скриншотах.

Что может быть в "примечании"?
Это любая информация, которая может быть полезна пользователям (себе в том числе) и которая отсутствует в описаниях дел на сайте ЦГАМ.
Например, встречаются дела, которые не в точности совпадают с описью, которые могут отличаться даже от бумажной описи. В каком-то деле могут быть отсутствующие страницы или может быть не упомянутая церковь, в отдельных делах могут быть случайные вставки из других дел. Где-то может отсутствовать заявленная в описи церковь. Где-то может быть нарушена очередность листов итп. Я думаю, что многие встречали такие дела. Также можно указать номера страниц по церквям или по годам. Можно указывать только номера начальных страниц по церкви, а можно указывать по три номера страниц для каждой церкви (для I,II,III частей). Также на сайте ЦГАМ в описаниях иногда встречаются неточности. Конечно, лучше попросить архив поправить эти неточности, но не всегда их оперативно исправляют и тогда помогут новые примечания.

Заполняются записи с примечаниями к делам очень просто. Вводите номер дела и в соседней колонке сам текст примечания. При заполнении для одной записи текст пишите в одной строке, без переносов текста на другие строки. Само содержание примечание должно дополнять основное описание, а не повторять его. Ячейка с со ссылкой на сайт ЦГАМ служит только для удобства. Лучше ее заполнить, но это не обязательно.
На третей странице гугл-таблицы добавил краткую памятку по основным моментам заполнения.

Все добавленные вами примечания попадут в два типа таблиц.
1. Таблицы со списком метрических книг/исповедок/сказок.
2. Мегатаблица (совмещенные данные из НСА и с сайта). В начале февраля я ее выкладывал, но позднее будет большое обновление.
Кроме того ваши примечания доступны и просто по ссылке на гугл-таблицу, и любой при необходимости может использовать их "в ручном режиме" или подключить к автоматизированным обработкам.

Обратите внимание, что можно заполнять "примечания" даже для тех дел, которые есть в базе НСА, но не выложены на сайт в раздел "Моя семья". Эти примечания будут копироваться в "мегатаблицу", а если дело выложат на сайт, то примечание скопируется и в другую таблицу.

Программную часть я уже реализовал. Для примера заполнил несколько строк.
В следующем сообщении в этой теме, в обновлении экселевских файлов все "примечания" пользователей из гугл-таблицы уже были автоматически присоединены.

Ссылка на гугл таблицу: https://docs.google.com/spread...1545651596

НОВЫЕ ДОРАБОТАННЫЕ "МЕГАТАБЛИЦЫ":
ВСЕ МЕТРИЧЕСКИЕ КНИГИ, ИСПОВЕДНЫЕ ВЕДОМОСТИ И РЕВИЗСКИЕ СКАЗКИ,
УПОМИНАЮЩИЕСЯ В "НАУЧНО-СПРАВОЧНОМ АППАРАТЕ" ИЛИ ВЫЛОЖЕННЫЕ НА САЙТ ЦГА МОСКВЫ.
По состоянию на 14.05.2022.

Несколько месяцев назад я выкладывал "мегатаблицы", но это была разминка.
Таких "мегатаблиц", как в этом сообщении вы еще не видели.

Основная идея представления информации в таблицах сохранилась и, чтобы не повторяться, про нее можно прочитать в описании предыдущей версии "мегатаблиц". Ссылки:
https://forum.vgd.ru/post/462/129726/p4083309.htm#pp4083309
https://forum.vgd.ru/post/462/129726/p4083312.htm#pp4083312

В новую версию были внесены значительные изменения.

В первую очередь увеличилось количество источников и записей. Если раньше в таблице был только 203 и 51 фонд, с общим количеством записей ~13,7 тыс (из 12 описей), то в новой таблице уже более 25тыс записей из 40 фондов и 69 описей). Список фондов показан на скриншоте.

Раньше в мегатаблице записи относились в основном к Московской губернии и в небольшой степени к Москве. В новой мегатаблице собраны вообще все записи из НСА и с сайта ЦГА Москвы, имеющие отношения к метрическим книгам, исповедным ведомостям и ревизским сказкам. Список фондов и описей покрывает не только Московскую губернию, но и полностью Москву, а также некоторые части по другим губерниям (Рязанская, Владимирская и др), которые представлены в ЦГА Москвы.

При формировании таблицы есть описи, которые включаются полностью. Например, 203-780. А есть описи, которые на этапе формирования фильтруются по большому количеству плюс и минус слов. Например, Можайский фонд 592-1, в котором больше 2тыс дел, в таблицу попадает примерно в половинном количестве. Всякий "мусор" типа "переписок", "разбирательств", "жалоб" итп из списка выбрасывается, а оставляется только самое ценное.

В НСА по некоторым делам описания одного дела хранятся в нескольких отдельных записях. В номерах таких записей к оригинальному номеру добавляется буква "У" с цифрами. Например 614-У1, 614-У2, итп. Раньше и в мегатаблице такие дела были представлены также. Обычно это дела с большими описаниями, разбитыми на три части, а иногда и до семи частей. Но за последние месяцы появилось несколько дел, описания которых архив разбил на более 100 частей!!! Например одно дело 203-745-614 в НСА записано в 111 отдельных записях. Я считаю, что это неудобно. И поэтому в новой мегатаблице описания "-У" записей склеиваются в одну запись. Т.е. у одного дела будет одно общее описание.

Добавлены колонки с текстовым названием фонда и описи, а также со ссылкой на страницу описи в НСА. Теперь, если вы найдете какое-то дело в неизвестном для вас фонде/описи, можно сразу посмотреть их название, а не искать на разных сайтах.

На странице info добавил расшифровки сокращений, про которые периодически спрашивали, и контактную информацию.

Записи представлены на четырех основных страницах:
"Москва и Губернии" - здесь вообще все.
"Только Москва" - это все, что относится к Москве и Московскому уезду.
"Только Губернии" - это все без Москвы.
"Можайск" - это все записи имеющие в описании слово "Можайск", а также все Можайские фонды, независимо от описания. Вы можете спросить, а почему Можайск отдельно выделен? Тут все просто, - потому что в соседнем уезде (районе) родился Юрий Гагарин.

Листы "Только Москва", "Только Губернии" и "Можайск" - это все выборки из первого листа. Причем часть описей разделяется легко, потому что они полностью относится к Москве или не-Москве, а часть описей содержит записи, относящиеся и Московской губернии и к Москве. Такие описи "разделяются" по ключевым словам.

В архиве есть некоторая часть дел рассматриваемой тематики, заголовки которых не попали в таблицу. Причин может быть две. Опись настолько объемная, что архив не успел ввести 100% заголовков из нее в базу НСА. Например, в 203 фонде в 745 описи есть диапазон, который пока не успели внести. Также есть отдельные описи, по которым заголовки в электронном виде в базе НСА полностью отсутствуют. Пример такой описи - Фонд 51, опись 19 (~Ревизские сказки) - по этой описи даже скан оригинала затруднительно найти. Но, тем не менее, очень большая часть интересующих нас заголовков по многим фондам уже внесена. Если вы вдруг обнаружите какую-то опись с метрическими книгами итп, которая введена в НСА, но отсутствует в мегатаблице, напишите мне в личку. Я ее добавлю.

Как лучше фильтровать записи по ключевым словам.
В экселе, если в колонке больше 10тыс уникальных значений, есть определенные нюансы при установке фильтра "обычным способом". Не буду здесь долго расписывать. Все зависит от конкретной версии экселя, от таблицы и от параметров фильтра. В большинстве случаев все должно работать. Но если вы вдруг столкнетесь с там, что в фильтр попадают только значения из первых 10тыс строк или строк с 10 тыс первых уникальных значений, то можно воспользоваться двумя вариантами.
1. Можно искать не на первом "общем" листе с 25тыс записями, а на последующих листах ("только Москва" итп), где записей в два раза меньше.
2. Устанавливать фильтр по полю "Описание из НСА" выбрав в контекстном меню "Текстовый фильтр" -> "Настраиваемый фильтр" - > "содержит"="ключевые_слова".

При этом слова в запросе указывать без окончания. Для поиска по двум (и более) последовательным словам в запросе указывать звездочку "*".
Например, чтобы найти церковь в Грузинах в Никитском сороке в запросе нужно поставить "никитск*грузин". Последовательность слов важна. Звездочка обозначает - любое количество любых символов.

Подробнее см. примеры на скриншотах.


Мегатаблица: Файл cgam-megatable-by-xbox--20220514-1912.xlsx, 6184 Кб

ОБНОВЛЕННЫЕ ФАЙЛЫ В ФОРМАТЕ EXCEL с полной информацией
ПО МЕТРИЧЕСКИМ КНИГАМ,
выложенным на сайте ЦГА Москвы, с учетом изменений на сайте с 06/06/2022 по 27/06/2022.
См. вложение.

В ИЮНЕ 2022 Г. ДОБАВЛЕНЫ НОВЫЕ ДЕЛА С МЕТРИЧЕСКИМИ КНИГАМИ:

Фонд 203 опись 745: 1786, 1787, 1788, 1789, 1792, 1793, 1794, 1802, 1813, 1814. (Всего 10шт)

Фонд 203 опись 776: 2, 3, 4, 5, 6, 7, 9, 13А, 16, 17, 18, 20, 21, 22, 27, 28, 29, 30, 31, 32, 33, 35. (Всего 22шт)

Фонд 203 опись 780: 2478, 2479, 2484, 2703, 2705, 2706, 2707, 2708, 2710, 2712, 2713, 2714, 2715, 2716, 2717, 2719, 2724, 2727, 2730, 2731, 2732, 2734, 2736, 2738, 2740, 2741, 2743, 2744, 2745, 3917, 3918, 3922, 3924, 3925, 3947, 3947А, 3952, 3954, 3956, 3960, 3961, 3965, 3966, 3967, 3986, 3989, 3992, 4020, 4038, 4052, 4058, 4060, 4069, 4088, 4107, 4109, 4112, 4118, 4124, 4127, 4206, 4209, 4249, 4253, 4254, 4261, 4272, 4353, 4354, 4355, 4356, 4357, 4378, 4379, 4382, 4383, 4390, 4392, 4393, 4425, 4432, 4486, 4487, 4528, 4534, 4547, 4556, 4581, 4610, 4620, 4623, 4634, 4654, 4662, 4681, 4685, 4695, 4697, 4701, 4702, 4703, 4706, 4720, 4734, 4745, 4786, 4809, 4813, 4817, 4833а, 4892, 4900, 4915, 4916, 4971а, 4972, 4973, 4977, 4981, 4988, 5023. (Всего 121шт)