Загрузите GEDCOM-файл на ВГД   [х]
Всероссийское Генеалогическое Древо
На сайте ВГД собираются люди, увлеченные генеалогией, историей, геральдикой и т.д. Здесь вы найдете собеседников, экспертов, умелых помощников в поисках предков и родственников. Вам подскажут где искать документы о павших в боях и пропавших без вести, в какой архив обратиться при исследовании родословной своей семьи, помогут определить по старой фотографии принадлежность к воинским частям, ведомствам и чину. ВГД - поиск людей в прошлом, настоящем и будущем!
Genotek ADs
Вниз ⇊

Epoisk.ru - Поиск захоронений на территории г. Москва


    Вперед →Страницы: 1 * 2 Вперед →
Модератор: ЮрийАлекс-41
xbox

Сообщений: 1010
На сайте с 2020 г.
Рейтинг: 2024
Наблюдения касательно источника данных по захоронениям на портале открытых данных правительства Москвы.
https://data.mos.ru/opendata/64023/

1. У этого набора данных очень долгое время (на протяжении больше года) был внутренний рейтинг ~4.5 звезды. При этом в расчет бралось примерно 500 голосов.
Около месяцев назад за несколько дней рейтинг вдруг упал до двух звезд, а количество голосов с 500 изменилось до ~2000.
Что произошло, я не знаю. Вероятно, кто-то со стороны обиделся и накрутил плохих оценок.

2. Количество записей в источнике c октября прошлого года почти не менялись. Изменения были, но на уровне статистической погрешности.
За последний месяц количество записей увеличилось примерно на 23тыс мест(участков), а с учетом того, что в среднем на одно "место" приходится 3 человека, в базу могли добавить около 70тыс человек. Теоретически могли добавить данные какого-то "нового" кладбища, а может расширили данные по старым.

Но проверить я не могу, из-за того скачать источник в формате JSON не получается из-за разных ошибок на портале открытых данных.

Я направил письмо на email ответственного за набор этот данных сотрудника. (email указан в паспорте набора данных).

Не знаю, читает ли кто-то по завяленному адресу письма или нет.
Когда и если ошибку исправят и появится возможность скачать свежие данные из источника, я обновлю базу на сайте https://epoisk.ru/let-it-be/ для возможности поиска захоронений с учетом обновлений.
Пока ждем.

А ниже текст обращения, если кому интересно.

[q]
Сообщаю Вам об ошибках с набором данных №64023 (Реестр мест (участков) захоронений на городских кладбищах города Москвы) на Портале открытых данных правительства Москвы.
https://data.mos.ru/opendata/64023/

см. прилагаемые скриншоты.

При попытке скачать файл с данными в формате json через кнопку "Экспорт", в очень редких случаях скачивается архив со вложенным файлом трехмесячной давности (см описание ниже). Но в большинстве случаев не скачивается вообще ничего. Если посмотреть через панель веб-разработчика, что происходит при нажатии на кнопку "Экспортировать в формате JSON", то там сервер возвращает ошибку 500. Полный текст ответа такой:
[q]
{
"timestamp": "2025-09-25T15:58:42.819+00:00",
"status": 500,
"error": "Internal Server Error",
"message": "",
"path": "/odata/export/catalog"
}
[/q]

Если в какой-то момент все-таки получается скачать данные в формате JSON, то возвращается архив с вложенным файлом от 19/06/2025. Это при том, что на сайте заявлена дата актуализации 25/09/2025. Так происходит уже примерно три месяца. Вложенный файл всегда старый. На текущий момент во вложенном файле примерно на 30 тыс записей меньше, чем в html версии сайта, а дата формирования отличается от текущей на три месяца.

Прошу проверить и исправить ошибки формирования файла для экспорта.
[/q]


Прикрепленный файл: open-mos-ru-2 — копия.pngopen-mos-ru-1 — копия.png, 332697 байт
---
epoisk.ru – Продвинутый онлайн поиск метрических книг, исповедных ведомостей, и ревизских сказок в ЦГА Москвы.
Лайк (17)
xbox

Сообщений: 1010
На сайте с 2020 г.
Рейтинг: 2024
В базу данных на портале Открытых данных правительства Москвы добавили более 200тыс человек и примерно 30 новых кладбищ.
Степень наполнения по кладбищам разная.

Портал правительства Москвы в части экспорта данных работает с ошибками. Либо три из четырех заявленных форматов файлов не доступны для скачивания, либо через 10 минут появляются все форматы, но данные во всех четырех форматах трехмесячной давности. И так целый день скачет, как новогодняя елка.

Удалось скачать актуальные данные, но формат отличается от того, что я раньше использовал.
Пришлось писать конвертер данных, чтобы появилась возможность добавить их на сайт https://epoisk.ru/burmsk/

Не хватило времени завершить переделку. В течение недели закончу и данные на епоиске обновлю.
Анонс обновления будет в этой теме.

Для кого актуально, можно сейчас пока записать текущие результаты поиска, чтобы потом сравнить, что было и что добавилось.
---
epoisk.ru – Продвинутый онлайн поиск метрических книг, исповедных ведомостей, и ревизских сказок в ЦГА Москвы.
Лайк (35)
yante
Новичок

Новороссийск
Сообщений: 9
На сайте с 2022 г.
Рейтинг: 4
>> Ответ на сообщение пользователя xbox от 29 сентября 2025 3:04

https://data.mos.ru/opendata/6...ageIndex=0 - тут выбираю "Экспорт" потом "json: и получаю архив с файлом data-64023-2025-04-03.json
Получается, апрельский?
Что я делаю не так?
NatashaK65
Новичок

Москва
Сообщений: 5
На сайте с 2024 г.
Рейтинг: 0
А у меня при выборе "Экспорт"-"json", загружается файл data-64023-2024-03-26.json
И вчера и сегодня загружается эта дата! ??
xbox

Сообщений: 1010
На сайте с 2020 г.
Рейтинг: 2024

yante написал:
[q]
https://data.mos.ru/opendata/6...ageIndex=0 - тут выбираю "Экспорт" потом "json: и получаю архив с файлом data-64023-2025-04-03.json
Получается, апрельский?
Что я делаю не так?
[/q]

NatashaK65 написал:
[q]

yante написал:
[q]
А у меня при выборе "Экспорт"-"json", загружается файл data-64023-2024-03-26.json
И вчера и сегодня загружается эта дата! ??
[/q]
[/q]

См. скриншот выше. Там есть этот файл с названием.
Для меня показатель свежести - открываем архив и смотрим дату вложенного файла. Эта дата будет реальной датой актуализации файла. Эта дата не будет означать, что в тот день что-то добавилось, но, если дата древняя, то значит актуализация не происходит.

Какая-то ошибка на портале. А что там не так, может сказать только тот, у кого есть доступ к внутренней инфраструктуре. Например, как вариант может быть такой сценарий - файлы генерируются каждый день, а какая-нибудь неправильная сортировка подсовывает нам не последний. Или может быть какое-то вечное кэширование, которое подсовывает старый файл. А может быть запускается процедура экспорта, которая на сервере из-за нехватки выделенной памяти завершается с ошибкой, а нам отдается последний файл, который был без ошибки экспорта. А еще очень вероятный сценарий - место на диске закончилось, с учетом того, что каждый день по 400МБ только на этом наборе данных в виде отдельной копии должно создаваться. итп. Вариантов, почему не работает может быть очень много.
---
epoisk.ru – Продвинутый онлайн поиск метрических книг, исповедных ведомостей, и ревизских сказок в ЦГА Москвы.
Лайк (6)
xbox

Сообщений: 1010
На сайте с 2020 г.
Рейтинг: 2024
У меня для Вас две новости. Хорошая и вторая.

1. Кроме тех ~200 тысяч человек, про добавление которых я писал несколько дней назад, буквально вчера добавили еще 900 тысяч человек. Итого за последние пару недель в базу на портале открытых данных добавлено примерно 1,1 млн человек. Число записей в базе за короткое время выросло примерно на 61%. Эти записи я успешно импортировал на тестовую копию сайта epoisk, развернутую на домашнем компьютере.

2. Вторая новость заключается в том, что я уже приступил к выгрузке данных в Интернет, но столкнулся с нехваткой ресурсов на хостинге. 12 ГБ оперативной памяти на сервере не хватает для процедуры импорта и подготовки данных. Поэтому мне нужно еще время, чтобы переписать процедуру импорта. Предварительно думаю, что нужно будет на домашнем компьютере большой файл с источником нарезать на несколько более мелких, а на сервере их обрабатывать при импорте по отдельности и обратно собирать все данные уже в БД. Поэтому мне нужно еще время на переделки.

P.S. В прилагаемых файлах итоговые цифры до обновления и после. Можете посмотреть, какие кладбища добавились. Пока это данные с тестовой машины.


Прикрепленный файл: data1.pngdata2.png, 716280 байтdata3.png, 102680 байт
---
epoisk.ru – Продвинутый онлайн поиск метрических книг, исповедных ведомостей, и ревизских сказок в ЦГА Москвы.
Лайк (32)
Tiffosa

Москва
Сообщений: 1011
На сайте с 2020 г.
Рейтинг: 532
>> Ответ на сообщение пользователя xbox от 1 октября 2025 1:26

Спасибо Вам огромное!
---
Ищу потомков дворян Касселей, Арцимовичей, Александровых, Хотяинцевых, Симанских, Ульяниных, проживавших в начале 20-го века в Арзамасском уезде, Нижегородской губернии.
Лайк (3)
xbox

Сообщений: 1010
На сайте с 2020 г.
Рейтинг: 2024
Ну, друзья, и дела происходят чуть ли не каждые пару дней.
Буквально сегодня в исходной базе на портале открытых данных отображаемое количество участков увеличилось на ~126тыс, а это, еще около 342 тыс человек.
Это кроме того числа новых записей, про которое писал ранее.

По технической части я пока не успел исправления сделать для импорта данных на сайт.
В рабочие дни на это не хватает времени.

Может с такой скоростью обновления источника и не стоит торопиться, чтобы потом два раза в магазин не бегать? a_003.gif

P.S. Обновленная статистика (пока с тестового контура) в прилагаемом файле.

Прикрепленный файл: data4.png
---
epoisk.ru – Продвинутый онлайн поиск метрических книг, исповедных ведомостей, и ревизских сказок в ЦГА Москвы.
Лайк (21)
tirael

tirael

Подмосковье
Сообщений: 764
На сайте с 2023 г.
Рейтинг: 2081

xbox написал:
[q]
Может с такой скоростью обновления источника и не стоит торопиться, чтобы потом два раза в магазин не бегать? a_003.gif
[/q]

Возможно лучше пока понаблюдать. От того, что мы сможем получить выгрузку в epoisk на 1-2 недели, да даже месяц позже, никто ничего не потеряет. Главное чтобы Вы свое время потратили меньше и не пришлось переделывать, если у них что-то снова поменяется.
---
Ищу сведения: Хижниковы,Хижняковы,Хижинковы (ст.Новочеркасская), Бродские (Одесса, Туркестанский край), Погореловы (Воронеж. губ до1925, Крым/Кубань с1925, Ленинград с 60х), Саватеевы/Савватеевы (Владимирская губ, Москва и обл. Кулебякино), Моисеевы (Рязанская губ. с. Добрые пчелы)
Лайк (12)
kazokin
Новичок

Москва
Сообщений: 6
На сайте с 2022 г.
Рейтинг: 6
Московский Ритуал называет 127 кладбищ.... Если исполнитель портала открытых данных действительно намерен выполнить задание до конца года, то нас ждёт в ближайшее время ещё много добавлений к текущим цифрам...
Лайк (2)
    Вперед →Страницы: 1 * 2 Вперед →
Модератор: ЮрийАлекс-41
Вверх ⇈