 Просьба в разделе новые темы на несколько сообщений по отдельным кладбищам – НЕ СОЗДАВАТЬ! Пишите в существующих областных (общих темах). Тему можно создавать только если Вы планируете ее продолжать вести и пополнять материалом.
Фотографии ОБЯЗАТЕЛЬНО!!! максимально подписываем из имеющейся информации (ФИО, надписи на обратной стороне, полный адрес и т.п.), и к сообщению прикрепляем через функцию «ВЫБРАТЬ файл» или «МЕНЕДЖЕР загрузки». Просьба через сторонние сервисы не прикреплять, если Вы хотите сохранить свое фото на нашем форуме. |
🌐 Epoisk.ru - ПОИСК захоронений на территории города Москва
| xbox
Сообщений: 1035
На сайте с 2020 г.
Рейтинг: 2137
| Приветствую всех. Хотел бы здесь открыть отдельную тему, относящуюся к сайту epoisk.ru в части возможности поиска по базе захоронений на территории г. Москва. Я потратил на разработку сайта epoisk.ru много времени и сил и мне есть, что рассказать, есть что обсудить с пользователями. Изначально на разработку нового раздела, который был запущен в начале мая 2024г, у меня ушло три месяца. На момент, когда я начинал делать раздел с поиском по захоронениям, разработчики Ритуала обещали запустить свой поиск через год. Еще раньше были обещания запустить другой поиск на портале mos.ru и на разработку закладывали полтора года, которые тоже прошли. Пока команды, обладающие значительными ресурсами, раздают обещания, сайт epoisk.ru в открытом доступе уже 14 месяцев позволяет всем желающим искать захоронения в г. Москве. На момент запуска это был единственный подобный сайт. На текущий момент, если я ничего не пропустил, аналоги пока тоже отсутствуют. Но даже, когда аналоги запустятся, они вряд ли предоставят функционал, который уже сейчас появился на epoisk.ru. (Об этом будет отдельное сообщение ниже). Многие с сайтом уже знакомы. Историю создания и некоторые другие моменты я уже описывал здесь https://epoisk.ru/let-it-be/. Не буду повторяться. В базе пока около 1.8млн человек. Будем надеяться, что со временем станет больше. На этом форуме есть уже несколько смеженных тем, но они не совсем подходят. Не хотелось бы потеряться в многостраничной теме с обсуждением вопросов из разных областей и в теме, подразумевающей размещение по одной ссылке на один ресурс итп. Есть еще такая тема: E-POISK Продвинутый онлайн поиск и просмотр дел в ЦГА Москвы (https://forum.vgd.ru/462/139318/) - Эта тема относится к изначальному и основному направлению сайта epoisk.ru - поиску метрических книг и других дел в ЦГА Москвы (архиве). Тема расположена в соответствующем разделе форума и не хотелось бы злоупотреблять доверием и там обсуждать захоронения. Если появятся вопросы по сайту epoisk.ru, связанные с ЦГА Москвы, то пишите в тему по указанной ссылке. Начальная страница Поиска захоронений на территории г. Москва:
https://epoisk.ru/burmsk/ Обсуждение ниже.
   ---
epoisk.ru – Продвинутый онлайн поиск метрических книг, исповедных ведомостей, и ревизских сказок в ЦГА Москвы. | | Лайк (32) |
| xbox
Сообщений: 1035
На сайте с 2020 г.
Рейтинг: 2137
| Наверх ##
25 сентября 19:39 25 сентября 22:15 Наблюдения касательно источника данных по захоронениям на портале открытых данных правительства Москвы.https://data.mos.ru/opendata/64023/1. У этого набора данных очень долгое время (на протяжении больше года) был внутренний рейтинг ~4.5 звезды. При этом в расчет бралось примерно 500 голосов. Около месяцев назад за несколько дней рейтинг вдруг упал до двух звезд, а количество голосов с 500 изменилось до ~2000. Что произошло, я не знаю. Вероятно, кто-то со стороны обиделся и накрутил плохих оценок. 2. Количество записей в источнике c октября прошлого года почти не менялись. Изменения были, но на уровне статистической погрешности. За последний месяц количество записей увеличилось примерно на 23тыс мест(участков), а с учетом того, что в среднем на одно "место" приходится 3 человека, в базу могли добавить около 70тыс человек. Теоретически могли добавить данные какого-то "нового" кладбища, а может расширили данные по старым. Но проверить я не могу, из-за того скачать источник в формате JSON не получается из-за разных ошибок на портале открытых данных.Я направил письмо на email ответственного за набор этот данных сотрудника. (email указан в паспорте набора данных). Не знаю, читает ли кто-то по завяленному адресу письма или нет. Когда и если ошибку исправят и появится возможность скачать свежие данные из источника, я обновлю базу на сайте https://epoisk.ru/let-it-be/ для возможности поиска захоронений с учетом обновлений. Пока ждем. А ниже текст обращения, если кому интересно. [q] Сообщаю Вам об ошибках с набором данных №64023 (Реестр мест (участков) захоронений на городских кладбищах города Москвы) на Портале открытых данных правительства Москвы.
https://data.mos.ru/opendata/64023/
см. прилагаемые скриншоты.
При попытке скачать файл с данными в формате json через кнопку "Экспорт", в очень редких случаях скачивается архив со вложенным файлом трехмесячной давности (см описание ниже). Но в большинстве случаев не скачивается вообще ничего. Если посмотреть через панель веб-разработчика, что происходит при нажатии на кнопку "Экспортировать в формате JSON", то там сервер возвращает ошибку 500. Полный текст ответа такой:
[q] {
"timestamp": "2025-09-25T15:58:42.819+00:00",
"status": 500,
"error": "Internal Server Error",
"message": "",
"path": "/odata/export/catalog"
}[/q]
Если в какой-то момент все-таки получается скачать данные в формате JSON, то возвращается архив с вложенным файлом от 19/06/2025. Это при том, что на сайте заявлена дата актуализации 25/09/2025. Так происходит уже примерно три месяца. Вложенный файл всегда старый. На текущий момент во вложенном файле примерно на 30 тыс записей меньше, чем в html версии сайта, а дата формирования отличается от текущей на три месяца.
Прошу проверить и исправить ошибки формирования файла для экспорта.[/q]
  ---
epoisk.ru – Продвинутый онлайн поиск метрических книг, исповедных ведомостей, и ревизских сказок в ЦГА Москвы. | | Лайк (18) |
| xbox
Сообщений: 1035
На сайте с 2020 г.
Рейтинг: 2137
| Наверх ##
29 сентября 3:04 29 сентября 3:08 В базу данных на портале Открытых данных правительства Москвы добавили более 200тыс человек и примерно 30 новых кладбищ.Степень наполнения по кладбищам разная. Портал правительства Москвы в части экспорта данных работает с ошибками. Либо три из четырех заявленных форматов файлов не доступны для скачивания, либо через 10 минут появляются все форматы, но данные во всех четырех форматах трехмесячной давности. И так целый день скачет, как новогодняя елка. Удалось скачать актуальные данные, но формат отличается от того, что я раньше использовал. Пришлось писать конвертер данных, чтобы появилась возможность добавить их на сайт https://epoisk.ru/burmsk/Не хватило времени завершить переделку. В течение недели закончу и данные на епоиске обновлю. Анонс обновления будет в этой теме. Для кого актуально, можно сейчас пока записать текущие результаты поиска, чтобы потом сравнить, что было и что добавилось. ---
epoisk.ru – Продвинутый онлайн поиск метрических книг, исповедных ведомостей, и ревизских сказок в ЦГА Москвы. | | Лайк (36) |
| yante Новичок
Новороссийск
Сообщений: 9
На сайте с 2022 г.
Рейтинг: 5 | Наверх ##
30 сентября 14:44 | | |
| NatashaK65 Новичок
Москва
Сообщений: 6
На сайте с 2024 г.
Рейтинг: 1 | Наверх ##
30 сентября 15:49 А у меня при выборе "Экспорт"-"json", загружается файл data-64023-2024-03-26.json
И вчера и сегодня загружается эта дата! ?? | | |
| xbox
Сообщений: 1035
На сайте с 2020 г.
Рейтинг: 2137
| Наверх ##
30 сентября 17:05 yante написал: [q] https://data.mos.ru/opendata/6...ageIndex=0 - тут выбираю "Экспорт" потом "json: и получаю архив с файлом data-64023-2025-04-03.json
Получается, апрельский?
Что я делаю не так?[/q]
NatashaK65 написал: [q]
yante написал:[q] А у меня при выборе "Экспорт"-"json", загружается файл data-64023-2024-03-26.json
И вчера и сегодня загружается эта дата! ??[/q]
[/q]
См. скриншот выше. Там есть этот файл с названием. Для меня показатель свежести - открываем архив и смотрим дату вложенного файла. Эта дата будет реальной датой актуализации файла. Эта дата не будет означать, что в тот день что-то добавилось, но, если дата древняя, то значит актуализация не происходит. Какая-то ошибка на портале. А что там не так, может сказать только тот, у кого есть доступ к внутренней инфраструктуре. Например, как вариант может быть такой сценарий - файлы генерируются каждый день, а какая-нибудь неправильная сортировка подсовывает нам не последний. Или может быть какое-то вечное кэширование, которое подсовывает старый файл. А может быть запускается процедура экспорта, которая на сервере из-за нехватки выделенной памяти завершается с ошибкой, а нам отдается последний файл, который был без ошибки экспорта. А еще очень вероятный сценарий - место на диске закончилось, с учетом того, что каждый день по 400МБ только на этом наборе данных в виде отдельной копии должно создаваться. итп. Вариантов, почему не работает может быть очень много. ---
epoisk.ru – Продвинутый онлайн поиск метрических книг, исповедных ведомостей, и ревизских сказок в ЦГА Москвы. | | Лайк (6) |
| xbox
Сообщений: 1035
На сайте с 2020 г.
Рейтинг: 2137
| У меня для Вас две новости. Хорошая и вторая.
1. Кроме тех ~200 тысяч человек, про добавление которых я писал несколько дней назад, буквально вчера добавили еще 900 тысяч человек. Итого за последние пару недель в базу на портале открытых данных добавлено примерно 1,1 млн человек. Число записей в базе за короткое время выросло примерно на 61%. Эти записи я успешно импортировал на тестовую копию сайта epoisk, развернутую на домашнем компьютере.
2. Вторая новость заключается в том, что я уже приступил к выгрузке данных в Интернет, но столкнулся с нехваткой ресурсов на хостинге. 12 ГБ оперативной памяти на сервере не хватает для процедуры импорта и подготовки данных. Поэтому мне нужно еще время, чтобы переписать процедуру импорта. Предварительно думаю, что нужно будет на домашнем компьютере большой файл с источником нарезать на несколько более мелких, а на сервере их обрабатывать при импорте по отдельности и обратно собирать все данные уже в БД. Поэтому мне нужно еще время на переделки.
P.S. В прилагаемых файлах итоговые цифры до обновления и после. Можете посмотреть, какие кладбища добавились. Пока это данные с тестовой машины.
   ---
epoisk.ru – Продвинутый онлайн поиск метрических книг, исповедных ведомостей, и ревизских сказок в ЦГА Москвы. | | Лайк (36) |
| xbox
Сообщений: 1035
На сайте с 2020 г.
Рейтинг: 2137
| Наверх ##
2 октября 13:34 2 октября 14:22 Ну, друзья, и дела происходят чуть ли не каждые пару дней. Буквально сегодня в исходной базе на портале открытых данных отображаемое количество участков увеличилось на ~126тыс, а это, еще около 342 тыс человек. Это кроме того числа новых записей, про которое писал ранее. По технической части я пока не успел исправления сделать для импорта данных на сайт. В рабочие дни на это не хватает времени. Может с такой скоростью обновления источника и не стоит торопиться, чтобы потом два раза в магазин не бегать?  P.S. Обновленная статистика (пока с тестового контура) в прилагаемом файле.
 ---
epoisk.ru – Продвинутый онлайн поиск метрических книг, исповедных ведомостей, и ревизских сказок в ЦГА Москвы. | | Лайк (24) |
tirael Подмосковье Сообщений: 826 На сайте с 2023 г. Рейтинг: 2622 | Наверх ##
2 октября 13:44 2 октября 13:44 xbox написал: [q] Может с такой скоростью обновления источника и не стоит торопиться, чтобы потом два раза в магазин не бегать? a_003.gif[/q]
Возможно лучше пока понаблюдать. От того, что мы сможем получить выгрузку в epoisk на 1-2 недели, да даже месяц позже, никто ничего не потеряет. Главное чтобы Вы свое время потратили меньше и не пришлось переделывать, если у них что-то снова поменяется. ---
Ищу сведения: Хижниковы,Хижняковы,Хижинковы (ст.Новочеркасская), Бродские (Одесса, Туркестанский край), Коломойцевы,Зоновы (Никополь,СПб,Мск) Погореловы (Воронеж. губ до1925, Крым/Кубань с1925, Ленинград с 60х), Саватеевы/Савватеевы (Владимирская губ, Москва и обл. Кулебякино), Моисеевы (Рязанская г | | Лайк (12) |
| kazokin Новичок
Москва
Сообщений: 10
На сайте с 2022 г.
Рейтинг: 10 | Наверх ##
2 октября 23:15 2 октября 23:25 Московский Ритуал называет 127 кладбищ.... Если исполнитель портала открытых данных действительно намерен выполнить задание до конца года, то нас ждёт в ближайшее время ещё много добавлений к текущим цифрам... | | Лайк (2) |
| DariaSh
Сообщений: 258
На сайте с 2023 г.
Рейтинг: 1148
| Наверх ##
3 октября 13:43 3 октября 14:31 xbox, скажите, пожалуйста, правильно ли я понимаю, что самые актуальные данные хранятся в geojson? В json у меня нет недавно появившихся кладбищ (Николо-Архангельское, Преображенское и др., которые так нужны). Смогла json сконвертировать только через командную строку, всего получилось 656293 строк (захоронений), как я понимаю, а в excel только ограниченное количество строк, к великому сожалению...  В любом случае, то, что уже появилось - такой подарок и шок одновременно! Очень жду базу! Спасибо! P.s. Похоже, в excel все есть. Осталось его полностью открыть  | | Лайк (1) |
|
Для тех кто ищет на английском языке https://forum.vgd.ru/post/342/171467/p5456259.htm#pp5456259