Epoisk.ru - Поиск захоронений на территории г. Москва
xbox Сообщений: 1010 На сайте с 2020 г. Рейтинг: 2024
| Наверх ##
25 сентября 19:39 25 сентября 22:15 Наблюдения касательно источника данных по захоронениям на портале открытых данных правительства Москвы.https://data.mos.ru/opendata/64023/1. У этого набора данных очень долгое время (на протяжении больше года) был внутренний рейтинг ~4.5 звезды. При этом в расчет бралось примерно 500 голосов. Около месяцев назад за несколько дней рейтинг вдруг упал до двух звезд, а количество голосов с 500 изменилось до ~2000. Что произошло, я не знаю. Вероятно, кто-то со стороны обиделся и накрутил плохих оценок. 2. Количество записей в источнике c октября прошлого года почти не менялись. Изменения были, но на уровне статистической погрешности. За последний месяц количество записей увеличилось примерно на 23тыс мест(участков), а с учетом того, что в среднем на одно "место" приходится 3 человека, в базу могли добавить около 70тыс человек. Теоретически могли добавить данные какого-то "нового" кладбища, а может расширили данные по старым. Но проверить я не могу, из-за того скачать источник в формате JSON не получается из-за разных ошибок на портале открытых данных.Я направил письмо на email ответственного за набор этот данных сотрудника. (email указан в паспорте набора данных). Не знаю, читает ли кто-то по завяленному адресу письма или нет. Когда и если ошибку исправят и появится возможность скачать свежие данные из источника, я обновлю базу на сайте https://epoisk.ru/let-it-be/ для возможности поиска захоронений с учетом обновлений. Пока ждем. А ниже текст обращения, если кому интересно. [q] Сообщаю Вам об ошибках с набором данных №64023 (Реестр мест (участков) захоронений на городских кладбищах города Москвы) на Портале открытых данных правительства Москвы. https://data.mos.ru/opendata/64023/
см. прилагаемые скриншоты.
При попытке скачать файл с данными в формате json через кнопку "Экспорт", в очень редких случаях скачивается архив со вложенным файлом трехмесячной давности (см описание ниже). Но в большинстве случаев не скачивается вообще ничего. Если посмотреть через панель веб-разработчика, что происходит при нажатии на кнопку "Экспортировать в формате JSON", то там сервер возвращает ошибку 500. Полный текст ответа такой:
[q] { "timestamp": "2025-09-25T15:58:42.819+00:00", "status": 500, "error": "Internal Server Error", "message": "", "path": "/odata/export/catalog" }[/q]
Если в какой-то момент все-таки получается скачать данные в формате JSON, то возвращается архив с вложенным файлом от 19/06/2025. Это при том, что на сайте заявлена дата актуализации 25/09/2025. Так происходит уже примерно три месяца. Вложенный файл всегда старый. На текущий момент во вложенном файле примерно на 30 тыс записей меньше, чем в html версии сайта, а дата формирования отличается от текущей на три месяца.
Прошу проверить и исправить ошибки формирования файла для экспорта.[/q]
  --- epoisk.ru – Продвинутый онлайн поиск метрических книг, исповедных ведомостей, и ревизских сказок в ЦГА Москвы. | | Лайк (17) |
xbox Сообщений: 1010 На сайте с 2020 г. Рейтинг: 2024
| Наверх ##
29 сентября 3:04 29 сентября 3:08 В базу данных на портале Открытых данных правительства Москвы добавили более 200тыс человек и примерно 30 новых кладбищ.Степень наполнения по кладбищам разная. Портал правительства Москвы в части экспорта данных работает с ошибками. Либо три из четырех заявленных форматов файлов не доступны для скачивания, либо через 10 минут появляются все форматы, но данные во всех четырех форматах трехмесячной давности. И так целый день скачет, как новогодняя елка. Удалось скачать актуальные данные, но формат отличается от того, что я раньше использовал. Пришлось писать конвертер данных, чтобы появилась возможность добавить их на сайт https://epoisk.ru/burmsk/Не хватило времени завершить переделку. В течение недели закончу и данные на епоиске обновлю. Анонс обновления будет в этой теме. Для кого актуально, можно сейчас пока записать текущие результаты поиска, чтобы потом сравнить, что было и что добавилось. --- epoisk.ru – Продвинутый онлайн поиск метрических книг, исповедных ведомостей, и ревизских сказок в ЦГА Москвы. | | Лайк (35) |
yante Новичок
Новороссийск Сообщений: 9 На сайте с 2022 г. Рейтинг: 4 | Наверх ##
30 сентября 14:44 | | |
NatashaK65 Новичок
Москва Сообщений: 5 На сайте с 2024 г. Рейтинг: 0 | Наверх ##
30 сентября 15:49 А у меня при выборе "Экспорт"-"json", загружается файл data-64023-2024-03-26.json И вчера и сегодня загружается эта дата! ?? | | |
xbox Сообщений: 1010 На сайте с 2020 г. Рейтинг: 2024
| Наверх ##
30 сентября 17:05 yante написал: [q] https://data.mos.ru/opendata/6...ageIndex=0 - тут выбираю "Экспорт" потом "json: и получаю архив с файлом data-64023-2025-04-03.json Получается, апрельский? Что я делаю не так?[/q]
NatashaK65 написал: [q] yante написал:[q] А у меня при выборе "Экспорт"-"json", загружается файл data-64023-2024-03-26.json И вчера и сегодня загружается эта дата! ??[/q]
[/q]
См. скриншот выше. Там есть этот файл с названием. Для меня показатель свежести - открываем архив и смотрим дату вложенного файла. Эта дата будет реальной датой актуализации файла. Эта дата не будет означать, что в тот день что-то добавилось, но, если дата древняя, то значит актуализация не происходит. Какая-то ошибка на портале. А что там не так, может сказать только тот, у кого есть доступ к внутренней инфраструктуре. Например, как вариант может быть такой сценарий - файлы генерируются каждый день, а какая-нибудь неправильная сортировка подсовывает нам не последний. Или может быть какое-то вечное кэширование, которое подсовывает старый файл. А может быть запускается процедура экспорта, которая на сервере из-за нехватки выделенной памяти завершается с ошибкой, а нам отдается последний файл, который был без ошибки экспорта. А еще очень вероятный сценарий - место на диске закончилось, с учетом того, что каждый день по 400МБ только на этом наборе данных в виде отдельной копии должно создаваться. итп. Вариантов, почему не работает может быть очень много. --- epoisk.ru – Продвинутый онлайн поиск метрических книг, исповедных ведомостей, и ревизских сказок в ЦГА Москвы. | | Лайк (6) |
xbox Сообщений: 1010 На сайте с 2020 г. Рейтинг: 2024
| У меня для Вас две новости. Хорошая и вторая.
1. Кроме тех ~200 тысяч человек, про добавление которых я писал несколько дней назад, буквально вчера добавили еще 900 тысяч человек. Итого за последние пару недель в базу на портале открытых данных добавлено примерно 1,1 млн человек. Число записей в базе за короткое время выросло примерно на 61%. Эти записи я успешно импортировал на тестовую копию сайта epoisk, развернутую на домашнем компьютере.
2. Вторая новость заключается в том, что я уже приступил к выгрузке данных в Интернет, но столкнулся с нехваткой ресурсов на хостинге. 12 ГБ оперативной памяти на сервере не хватает для процедуры импорта и подготовки данных. Поэтому мне нужно еще время, чтобы переписать процедуру импорта. Предварительно думаю, что нужно будет на домашнем компьютере большой файл с источником нарезать на несколько более мелких, а на сервере их обрабатывать при импорте по отдельности и обратно собирать все данные уже в БД. Поэтому мне нужно еще время на переделки.
P.S. В прилагаемых файлах итоговые цифры до обновления и после. Можете посмотреть, какие кладбища добавились. Пока это данные с тестовой машины.
   --- epoisk.ru – Продвинутый онлайн поиск метрических книг, исповедных ведомостей, и ревизских сказок в ЦГА Москвы. | | Лайк (32) |
Tiffosa Москва Сообщений: 1011 На сайте с 2020 г. Рейтинг: 532
| >> Ответ на сообщение пользователя xbox от 1 октября 2025 1:26 Спасибо Вам огромное! --- Ищу потомков дворян Касселей, Арцимовичей, Александровых, Хотяинцевых, Симанских, Ульяниных, проживавших в начале 20-го века в Арзамасском уезде, Нижегородской губернии. | | Лайк (3) |
xbox Сообщений: 1010 На сайте с 2020 г. Рейтинг: 2024
| Наверх ##
2 октября 13:34 2 октября 14:22 Ну, друзья, и дела происходят чуть ли не каждые пару дней. Буквально сегодня в исходной базе на портале открытых данных отображаемое количество участков увеличилось на ~126тыс, а это, еще около 342 тыс человек. Это кроме того числа новых записей, про которое писал ранее. По технической части я пока не успел исправления сделать для импорта данных на сайт. В рабочие дни на это не хватает времени. Может с такой скоростью обновления источника и не стоит торопиться, чтобы потом два раза в магазин не бегать?  P.S. Обновленная статистика (пока с тестового контура) в прилагаемом файле.
 --- epoisk.ru – Продвинутый онлайн поиск метрических книг, исповедных ведомостей, и ревизских сказок в ЦГА Москвы. | | Лайк (21) |
tirael Подмосковье Сообщений: 764 На сайте с 2023 г. Рейтинг: 2081 | Наверх ##
2 октября 13:44 2 октября 13:44 xbox написал: [q] Может с такой скоростью обновления источника и не стоит торопиться, чтобы потом два раза в магазин не бегать? a_003.gif[/q]
Возможно лучше пока понаблюдать. От того, что мы сможем получить выгрузку в epoisk на 1-2 недели, да даже месяц позже, никто ничего не потеряет. Главное чтобы Вы свое время потратили меньше и не пришлось переделывать, если у них что-то снова поменяется. --- Ищу сведения: Хижниковы,Хижняковы,Хижинковы (ст.Новочеркасская), Бродские (Одесса, Туркестанский край), Погореловы (Воронеж. губ до1925, Крым/Кубань с1925, Ленинград с 60х), Саватеевы/Савватеевы (Владимирская губ, Москва и обл. Кулебякино), Моисеевы (Рязанская губ. с. Добрые пчелы) | | Лайк (12) |
kazokin Новичок
Москва Сообщений: 6 На сайте с 2022 г. Рейтинг: 6 | Наверх ##
2 октября 23:15 2 октября 23:25 Московский Ритуал называет 127 кладбищ.... Если исполнитель портала открытых данных действительно намерен выполнить задание до конца года, то нас ждёт в ближайшее время ещё много добавлений к текущим цифрам... | | Лайк (2) |
|