Web scrape

buldiga написал:

[q]

>> Ответ на сообщение пользователя abv от 27 февраля 2022 11:00

Спасибо! Очень хорошая работа. Может быть, предложить архиву открыть свободный доступ к карточкам - без регистрации в личном кабинете? Тогда "хакерам" будет нечего делать.

[/q]

А чего открывать? У них и так все открыто. И карточки переписи там есть, все 317287. Только сканов карточек там нет. И если нет дыма без огня (про хакеров), то, значит, этих сканов у них вовсе нет сейчас, ни на сайте, ни где либо еще. Им надо фотографировать или сканировать их заново (или заплатить Эларе еще монеток, чтобы они выложили эти сканы из припрятанного места).

>> Ответ на сообщение пользователя abv от 27 февраля 2022 15:52

Есть ли сканы карточек где-то на внешних носителях, мы не знаем. Предположения можно строить всякие.

Вот что крест животворящий делает!

Появились таки карточки. Так что хакеры оказались честные грабители и (все?) что они похитили, вернули (на место) под шумок.
Кстати, справедливости ради, хотя и был период, когда карточек на сайте не было, но все-таки "расширенный поиск" с флажком "Наличие электронной копии" во вкладке "Дела" не отражает наличие или отсутствие электронных образов для тематических карточек переписи 1917. Для тематических карточек в расширенном поиске есть отдельная вкладка "Тематические карточки". В этой вкладке нет флажка "Наличие электронной копии", т.е. отфильтровать с помощью расширенного поиска электронные образы карточек не получится - надо проверять каждую карточку на наличие скана индивидуально.

Была просьба отыскать карточку на
Клявлин Михаил Александрович. Нижнеломовский уезд, Аршиновская волость, село Самодуровка

Вот карточка

А вот ссылка на карточку
Если для каждой карточки переписи знать ее ID
(для этой конкретной карточки) id=b1695c77-514c-499d-a0a2-16dacce019ff
то можно скачать любую из них, или даже все (а то вдруг "хакеры" передумают)

04.09.23 Карточки можно скачивать по ссылкам вида

Вид	Размер	Качество
http://82.209.65.104:180/Pages/ImageFile.ashx?id={id}	2.36Mb	JPEG, quality: 87
http://82.209.65.104:180/Pages/ImageFilePart.ashx?zoom=1&id={id}	7.06Mb	JPEG, quality: 100
http://82.209.65.104:180/Pages/ImageFilePart.ashx?zoom=2&Id={id}	22.16Mb	JPEG, quality: 100

Адрес-календарь на 1892-1893 год должностных лиц правительственных и общественных установлений Степного генерал-губернаторства
"http://books.omsklib.ru/Knigi/NEW/Adres-kalendar'_liz/index.html"
Ссылка заключена в кавычки, поскольку иначе forum.vgd.ru ошибочно заканчивает ссылку на символе амперсанта.
Загружается pdf файл постранично (все 176 страниц), но сохранять предлагается каждую страницу по отдельности.
Это кажется не совсем удобным. Может, так кажется только мне?
Если нет, предлагается следующее:

• Включаем режим отладки в браузере (клавишу F12)
• Открываем вкладку "Network"
• В колонке "Name" открываем контекстное меню (нажимаем правую кнопку мышки) и выбираем пункт "Copy - Copy all as Node.js fetch"
• Копируем это в текстовый редактор
  

В конце скопированного находим фрагмент

[q]

fetch("http://books.omsklib.ru/Knigi/NEW/Adres-kalendar'_liz/Adres-kalendar'_liz.pdf", {
"headers": {
"accept": "*/*",
"accept-language": "ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7",
"cookie": "_ga=GA1.2.1337419021.1650200459; _gid=GA1.2.966182245.1650200459; _gat_gtag_UA_70972518_1=1",
"Referer": "http://books.omsklib.ru/Knigi/NEW/Adres-kalendar'_liz/index.html",
"Referrer-Policy": "strict-origin-when-cross-origin"
},
"body": null,
"method": "GET"
});

[/q]

из которого получаем правильную ссылку для закачки pdf файла "http://books.omsklib.ru/Knigi/NEW/Adres-kalendar'_liz/Adres-kalendar'_liz.pdf"

Сканы газеты "Вестник Манчжурских армий" 1905 №№ 147 (1 янв.) - 471 (31 дек.)
Отсутствуют № (стр.): 150, 154, 160, 200-203, 264, 267,293, 296, 313, 327, 338, 342, 357, 373, 390, 419, 469
Повреждены № (стр.): 147, 148(1), 331, 334, 343, 344, 346, 348, 349(2), 350-353(1), 355, 369, 376, 397, 398, 422, 424, 471

Файл подготовлен с помощью программы на Питоне
Сама программа не приводится здесь, но она подобна той, что была использована для составления таблицы сканов газеты "Московский Листок".