Заработал новый АИС

На сайте ВГД собираются люди, увлеченные генеалогией, историей, геральдикой и т.д. Здесь вы найдете собеседников, экспертов, умелых помощников в поисках предков и родственников. Вам подскажут где искать документы о павших в боях и пропавших без вести, в какой архив обратиться при исследовании родословной своей семьи, помогут определить по старой фотографии принадлежность к воинским частям, ведомствам и чину. ВГД - поиск людей в прошлом, настоящем и будущем!

Москвичи могут узнать о рождении, браке и смерти своих родственников с 1772 до 1917 года.
В столичном Главархиве появился онлайн-сервис «Моя семья», благодаря которому все желающие смогут посмотреть метрические книги и узнать из них о своих родственниках, которые когда-то жили в Москве и Московской губернии.

«В преддверии новогодних праздников мы открыли новый онлайн-сервис “Моя семья”. Здесь можно узнать о рождении, браке и смерти своих предков с 1772 до 1917 года. Раньше для этого необходимо было приезжать в архив, сейчас найти информацию можно не выходя из дома. Сервис включит в себя сведения из всех метрических книг, которые хранятся в московском архиве. Это метрические книги более 1400 храмов. Именно церкви до 1917 года выполняли функции современных отделов ЗАГС — вели записи актов гражданского состояния. В первую очередь размещены сведения, которые вызывают наибольший интерес у горожан. В следующем году мы планируем расширить онлайн-сервис материалами о составе семей горожан до 1917 года», — рассказала Анастасия Ракова, заместитель Мэра Москвы по вопросам социального развития.
Метрические книги предлагают много интересного. Например, в актовых записях о рождении, кроме имен, как правило, указывали место приписки ребенка (откуда родом), его сословие или род занятий родителей, а также имена крестных. В роли последних чаще всего выступали родственники — это значит, что отследить другие семейные линии можно и по ним.

В актовых записях о браке указывался возраст жениха и невесты, их сословие, а также то, какой это брак по счету, могли указать родителей молодоженов и отметить род занятий жениха. Еще сюда вписывали имена поручителей с местом их приписки.

1234567
По актовым записям о смерти можно узнать возраст умершего, причину кончины и место захоронения.

Уже в следующем году сервис дополнят единственными в своем роде документами, которые отражают полный состав семьи. Речь идет о ревизских сказках (своеобразных переписях населения того времени, которые вели госучреждения) и исповедных ведомостях (их составляли священники по каждому церковному приходу).

С января этого года архивное ведомство приняло на хранение свыше 2500 документов личного происхождения. Всего же в Главном архивном управлении хранится более 100 тысяч писем, дневников, открыток, рисунков, альбомов, заметок и других материалов, которые передали горожане.

https://cgamos.ru/metric-books/

Сегодня очередное пополнение метрических книг.

Ф.2125 оп.1 «Церкви Пречистенского сорока г. Москвы» 260 книг (48254 лл.)

von_nachtigall написал:

[q]
Я так и думал, что ошибка. Сообщил им
[/q]

А почему Вы думаете, что это ошибка?
На мой взгляд, Вы пробуете открыть книгу, которая отсутствует среди выложенных.
242 в поиске не дает результатов.
Если, к примеру попробовать открыть явно отсутствующее дело по ссылке https://cgamos.ru/skazki/51-8-55555555/, то будет аналогичный результат.

Важная информация для любителей подбирать имена файлов.
Возможно кто-то уже сталкивался с проблемой, когда часть файлов дела не находилась.

В подавляющем количестве дел все четко. Имена файлов:
00000001.jpg
00000002.jpg
00000003.jpg

Но бывают и исключения.
Самый простое исключение, когда расширение файлов указано в верхнем регистре.
При этом адресация чувствительна к регистру и, если в адресной строке указывать "jpg", вместо "JPG", то файл не скачается.
00000001.JPG
00000002.JPG
00000003.JPG

Бывают отдельные дела, где расширения перемешаны. Часть дела в нижнем регистре, а часть в верхнем.
00000001.JPG
00000002.jpg
00000003.JPG

И супер запутанная нумерация, которую я встречал только один раз.
К обычным названиям из цифр добавлена другая переменная часть, не полностью последовательная.
00000001_IMG_4650.JPG
00000002_IMG_4651.JPG
00000003_IMG_4653.JPG
00000004_IMG_4657.JPG
00000005_IMG_4658.jpg
00000006_IMG_4659.jpg
Вероятно при сканировании забракованные страницы выбрасывали, поэтому в номере в правой части иногда возникают пропуски. А при переименовании файлов оригинальное название не удалили, а прибавили к 0000001_ итп.

Хотя названия файлов обычно можно угадать, реально название каждого файла храниться в Базе Данных сайта.
Один раз, когда разработчики добавляли новый раздел с ревизскими сказками, они прямо на рабочем сайте включили режим отладки и примерно полчаса можно было видеть содержимое некоторых переменных, выведенных через var_dump(). В том числе там выводились и содержимое массивов с перечнем имен всех файлов по каждому делу.

Т.е. если вам вдруг повстречается дело с нестандартными именами файлов, то придется включать творческий подход.

[q]
А почему Вы думаете, что это ошибка?
[/q]

Была страница сказки с названием, но без картинок. Они ее уже стерли. Заново так и не выложили...

На сайте ЦГА вчера часть дня и сегодня во второй половине дня не отображаются файлы с изображениями метрических книг и ревизских сказок.

На основании ошибки "500 Internal Server Error", которую я вижу, я могу сделать предположение, что web-сервер у них настроен не так, как это нужно делать по-уму.

Ниже объясню на пальцах в чем дело, для тех, кто устал от метрических книг и решил вникнуть в техническую сторону вопроса.
Кому технические детали не интересны, дальше не читайте.

Хотелось бы надеяться, что технические работники ЦГА когда-нибудь заметят этот пост и изменят настройки сервера у лучшему.

Самые распространенные ошибки при работе серверов, с которыми встречаются пользователи, - «404» - файл не найден, «500» - внутренняя ошибка сервера. Когда при попытке загрузить картинку, задав ее адрес напрямую, выдается ошибка 500- это нехороший сигнал…

ЦГА использует на хостинге классическую связку двух программных веб-серверов, расположенных один за другим Apache+Nginx. Apache – это веб сервер, который может делать всё - выполнять программный код сайта, отдавать файлы, в том числе картинки, итп. Основной недостаток Apache в том, что это очень ресурсоёмкая программа и очень тормозная. Nginx в отличии от Apache, не умеет выполнять программный код сайта, зато он умет делать всё остальное – обрабатывать входящие соединения клиентов, отдавать статику (картинки и др), распределять нагрузку, следить за правами доступа и многое другое. Также Nginx в отличии от Apache супер скоростное приложение, которое потребляет минимум ресурсов.

Поэтому обычно вперед ставят Nginx, который сначала делает сам все, что умеет. Например, он сам отдает картинки, при этом запросы обрабатывает с огромной скоростью и может одновременно работать с сотнями, тысячами и более запросов. А то, что Nginx не умеет (исполнять программный код сайта), он передает дальше – веб-серверу Apache, который исполняет код и возвращает результат. Таким образом, в нормальной схеме Apache только исполняет программный код, а вся «черновая» работа до него не доходит.

Но на хостинге ЦГА Nginx настроен так, что он вообще все задания переадресовывает на Apache. В том числе он переадресовывает запросы на отдачу картинок итп. Таким образом Apache, выполняя черновую работу, может сильно грузить процессор, занимать всю свободную память итп. Пока на сайте ЦГА были размещены только новости, статьи и описи, такая настройка была не критична. Но когда ЦГА выложил 2млн изображений (сканов), а количество пользователей и интерес к материалам сильно вырос и еще вырастет, неправильная настройка может приводить к сбоям и тормозной работе. Особенно сильно это может проявляться, когда один или много пользователей настраивают роботов для скачивания сотен файлов с максимально доступной скоростью. Если не знать меру, то пользователи таких роботов, совместно с обычными посетителями сайта и роботами поисковиков могут легко уложить сайт. На какое количество одновременных запросов у сервера хватит ресурсов, мы не знаем. Надеюсь до этого не дойдет. (Поэтому, если кто-то массово закачивает сканы с помощью роботов, то ограничивайте в настройках максимальную скорость закачки или максимальное количество запросов в единицу времени. В большинстве случаев такие настройки в программах предусмотрены).

Если бы отдача «статики» (картинок и др) на сайте ЦГА осуществлялась бы только средствами Nginx, то в случае отсутствия файлов выдавалась бы ошибка 404. Но поскольку мы видим ошибку 500, становится очевидным, что запрос на картинки проходит дальше от Nginx - до Apache. И более того скорее всего Apache тоже картинку отдает не сразу, а для отдачи пытается исполнять какой-то программный код надстройки-движка сайта, например проверяет права или что-то еще, что совершенно в данном случае не требуется..
(То, что картинки отдаются через Apache, подтверждается и другим способом. В браузере нажимаем F12 и в панели веб-разработчиков все это видно.)

В общем, всем добра. Надеемся на лучшее.

xbox написал:

[q]
Хотелось бы надеяться, что технические работники ЦГА когда-нибудь заметят этот пост и изменят настройки сервера у лучшему
[/q]

Вы им на электронку этот пост продублируйте, так быстрее заметят свой "косяк"...

Друзья, рад поделиться с Вами хорошей новостью!

Я сделал то, чего вам не хватало и чего мне тоже очень не хватало.

Замечательно, что ЦГА выкладывает метрические книги. Здорово, что архив опубликовал план по добавлению книг. Но как после очередной выгрузки разобраться, что изменилось, какие новые книги опубликовали?

Это решаемая задача, когда опубликовали только книги нового фонда, которого раньше не было. Но когда каждый месяц, начиная с июля, начнут добавлять по 250 книг в 203 фонд, в котором на текущий момент уже 3044 книги, то все перемешается и найти что-то новое будет очень сложно. Можно будет вводить на сайте в поиске название населенного пункта. Но в этом случае возникает две проблемы – у новых дел описание может быть не заполнено, а если описание заполнено, то “пять” новых дел смешаются с «двадцатью» старыми делами и придется перебирать все, чтобы вспомнить, что уже было, а что нет. Второй способ поиска – после очередного обновления вручную вбивать в поиск номера ожидаемых дел в надежде, что выпадет джекпот. Но в любом случае все это неудобно.

Чтобы сделать нашу жизнь сладкой, как сахар, я решил все это дело автоматизировать. В качестве первой ступени модифицировал и использовал скрипт автора VadimZamilov1977, на который в этой теме уже давали ссылку. Спасибо ему огромное. Для последующей обработки я написал программу, которая анализирует и преобразует собранные данные.

Всего 800 строк кода в новой программе, несколько дней на разработку и получилась конфетка.

В результат выполнения всех программ формируется экселевский файл, в котором цветом и текстом помечены новые, измененные и удаленные дела по выложенным метрическим книгам. В шапке есть возможность установить фильтр только для новых или измененных дел. Именным считается дело, у которого в аннотации поменялся текст или «годы». Есть возможность осуществлять удобный поиск по названиям. Все лишнее удалено. По ссылкам можно сразу переходить на сайт архива. На второй странице сформирована статистика в разрезе по фондам и по описям. По каждому фонду/описи указано количество новых/изменённых/удаленных дел и их сумма. (Как оказалось, и удаленные дела бывают.)

Среди прочего кроме обычного использования с новым файлом можно использовать лайфхак. Можно отфильтровать все дела с незаполненными названиями и среди них посмотреть, нет ли чего-нибудь полезного.

Также файл может пригодиться даже сотрудникам архива, чтобы проконтролировать ход работ выполняемых, вероятно, подрядчиками, или найти незаполненные записи и очевидные ошибки. К примеру в фильтре по годам сразу бросаются два дела с годами - "188" и "236" - очевидная ошибка заполнения поля. А найти ошибки заполнения на самом сайте было бы на порядок сложнее, - для этого нужно пройти по всем страницам с описями.

Последний исходный экселевский файл со списком доступных онлайн дел выкладывали в январе и в нем было 4179 дел.

Для начала выкладываю актуальный переработанный файл с 4920 делами по МК, в котором отмечены все добавления (742книги) и изменения с января.

По мере добавления материалов на сайт ЦГА планирую выкладывать обновления.
В обновленных файлах будут помечаться изменения не с января, а с последней выгрузки (примерно за месяц).

P.S. Экселевский файл прикреплен к следующему сообщению.

Вдогонку к предыдущему сообщению.

Не получается одновременно прикрепить и картинки и экселевский файл.
Прикрепляется либо то, либо другое.

Поэтому экселевский файл прикрепляю в отдельном сообщении.

xbox
Интересная штука. А с другим архивом так нельзя? Вот Тульский выкладывает новые дела. Я отыильтровываю нужные мне и выскакивает 12009. Через месяц 12200. Искать новое в таком количестве нереально.

Аталина
Тула у себя на сайте пишет какие новые дела и фонды выложены...
https://gato.tularegion.ru/news/new/1730053380

«Моя семья»: метрические книги из Главархива Москвы стали доступны