Web scrape

Там на Помазнев Василий Трофимович выскакивает 28 ссылок, да в каждой по нескольку документов.
Дайте конкретную ссылку на случай "закрытого планкой адреса".

https://cdnc.pamyat-naroda.ru/...000181.jpg

Думаю, картинка с такой закраской поля "Пост. адрес" приходит с сервера, а не на клиенте планка вставляется.
Это логично и с точки зрения скорости работы сайта.
Картинки в данном случае там хранятся по адресу https://cdnc.pamyat-naroda.ru/podvig/Z/001/033-0682524-0439 , который непосредственно недоступен, только конкретные адреса картинок.
Возня какая-то с секретностью там есть, но она касается не планок, а инф. с номерами ящиков в ЦАМО.

[q]

function setSecrecy() {
$('.js__hero-card-doc-not-pub__desc').html('');

[/q]

[q]

$('.js__hero-card-doc-not-pub__desc').html('');
$('.js__hero-card-doc-not-pub__desc').append('Запись в галерее Дорога памяти');
$('.js__hero-card-doc-not-pub__desc').append('Фонд: ' + docInfo.nomer_fonda + '');
$('.js__hero-card-doc-not-pub__desc').append('Опись: ' + docInfo.nomer_opisi + '');
$('.js__hero-card-doc-not-pub__desc').append('Дело: ' + docInfo.nomer_dela + '');
$('.js__hero-card-doc-not-pub__desc').append('' + docInfo.shkaf_i_yaschik + '');
$('.js__hero-card-doc-not-pub__desc').append('Шкаф: ' + docInfo.shkaf_number + '');
$('.js__hero-card-doc-not-pub__desc').append('Ящик: ' + docInfo.box_number + '');
$('.js__hero-card-doc-not-pub__desc').append('Дело: ' + docInfo.storage_number + '');

[/q]

А вот еще один был, помнится, случай.
gwar.mil.ru

[q]

"Первая мировая война – Министерство обороны РФ и Корпорация ЭЛАР представляют крупнейший в мире Интернет-портал подлинных документов о Первой мировой 1914-1918."

[/q]

Посмотрел я на это чудо и не знаю, то ли плакать, то ли смеяться. Ну мы же оптимисты, будем смеяться, а если нельзя, - посмеиваться.

[q]

Да здравствуют советские микросхемы - самые крупные микросхемы в мире"

[/q]

Захотелось мне, к примеру, найти все карточки по первой мировой, где селение Миловице (что сейчас в Чехии) задействовано, как место события. Это мне нужно, чтобы найти (и исправить, если они неточно написаны) фамилии всех, захороненных на кладбище лагеря военнопленных 1914-1918 в Миловице. См. проект https://forum.vgd.ru/5624/128495/all.htm?a=stdforum_view&o=

Набираю я, значится, на сайте https://gwar.mil.ru/heroes/ запрос event_place=миловице
А мне в ответ - бум-с, 185 страниц, на каждой по 10 персон, да еще не по алфавиту. Листать - не перелистать.
Ну что тут скажешь, ЭЛАР свое дело туго знает (и знает также себе цену) - работает "по-крупному", на такие мелочи, как удобство населения, недосуг ему отвлекаться.

Бедному крестьянину надо как-то изворачиваться.
Сбацал я программку, задаешь ей тот запрос, который предназначен сайту gwar.mil.ru. Например, как в данном случае - event_place=миловице, или какой другой, который на ум взбредет. Ну программе деваться некуда, вынуждена она этот запрос отрабатывать - скачивать все страницы по одной и формировать выходную таблицу, сохраняя ее на диске.
А там уж, делай, что хошь - сортируй по ФИО, фильтруй (базар) - и никакого базара.

А то отвык я уже от такого "удобства" - во дворе. Чай - не дворовый мальчик, да и вообще уже не мальчик (с пальчик) как-никак.

Это провал - подумал Штирлиц. Правильно подумал. Излагаю ниже историю провала.
www.evidencevh.army.cz
Речь идет о сайте МО Чехии http://www.evidencevh.army.cz/evidence/vysledky-hledani-v-cr
На котором располагается, в числе прочего паспорт захоронения русских военнопленных 1914-1918 на военном кладбище города Миловице

[q]

http://www.evidencevh.army.cz/evidence/vysledky-hledani-v-cr
?rgid=13&rgn=Středočeský&orid=52&orn=Lysá%20nad%20Labem&mid=1196&min=Milovice&arid=20&arin=Красная%20Армия%20(СССР)&st=1

[/q]

Извиняюсь за "неправильную" ссылку на источник. "Правильная" (т.е. когда две строки соединены в одну - вторая добавлена в конец первой) не хочет работать. С неправильной надо работать так: нажимаешь на первую строчку (ссылку) - она открывается в браузере и показывает список в 39120 строк. Затем в строке адреса в конец первой ссылки добавляешь вторую строчку (которая начинается со знака вопроса - это признак начала параметров адреса). Тогда на этот список накладывается фильтр и остается ровно 473 строки - это русские военнопленные (если уж быть совсем точным, один - румын - лишний).

Это была присказка. А сказка (история "сказочного" провала миссии) впереди.
Перво-наперво, список выдается порциями по 10 - значит, предстоит пролистать 48 страниц, чтобы просмотреть всех. Ну это еще полбеды.
Когда пытаешься напустить на сие чудо-юдо python+selenium и думаешь перелистывание (т.е. нажатие на кнопку ">" внизу экрана) автоматизировать - это программное нажатие, вызывающее функцию __doPostBack('ctl00$ContentPlaceHolder1$RadGridGraves$ctl00$ctl03$ctl01$ctl28','') (как повествует великий и ужасный знаток всего и вся - интернет - это любимая фишка ASP.NET), это нажатие относится не к кнопке ">", а к какой-то другой.
В итоге автоматизирование перелистывание закончилось грандиозным провалом, чуть ли не вселенского масштаба.

Слава богу, не боги об горшки обжигаются - мы тоже обжигаемся, кое-где у нас порой. Так что обжигаться - не впервой. Привыкли руки к топорам.
Пришлось пойти в обход. Используются и python+seneium и "ручная" доводка (до ума).

• Открываем в питоне через селениум сайт по вышеуказанному адресу
• В браузере выбираем (вручную) вывод порциями по 50 (эта опция располагается внизу окна)
• Загружаем и выводим в файл (c "погонялом" g) очередную порцию из 50 персон, оформленную в виде функции с именем "p", путем вызова этой функции в консоли (т.е. набираем там p()), тако:
  

  [q]

  def p():
  table = driver.find_element_by_id('ctl00_ContentPlaceHolder1_RadGridGraves_ctl00')
  g.write(table.get_attribute('outerHTML'))
  

  [/q]

• Нажимаем, также внизу экрана, волшебную (и таинственную) кнопку ">", в результате чего в браузере отображается очередная порция
• Повторяем предыдущие два пункта, слава богу, не до потери пульса, но все-таки, 10 раз.
  

А с этим __doPost - разбираться да разбираться, т.к. это встречается и на других сайтах, как оказалось, часто.

Пока что прилагаю этот чешский список русских военнопленных 1914-1918 из Миловице
См. связанный с этим проект https://forum.vgd.ru/5624/128495/all.htm?a=stdforum_view&o=

LittleBig - а вот еще один малюсенький большой успех.
Есть такой сайтик (сайтище) rusneb.ru

Нет-нет, да попадаются на нем, иногда, небесполезные вещи.
Вот взять, например, журнал "Искры Илл., худож.-лит. и юморист. журнал с карикатурами Выходит еженедельно при газ. "Русское слово""
Взять, да прочитать (бы).
Кое-кто кое-где у нас порой уже сподобился чуть-чуть почитать и дать читать другим. Смотри, например
журнал "Искры" 1915

04.01 № 1

11.01 № 2

18.01 № 3

25.01 № 4

01.02 № 5

08.02 № 6

15.02 № 7

22.02 № 8

01.03 № 9

08.03 № 10

15.03 № 11

22.03 № 12

05.04 № 13

12.04 № 14

И спросил Петька Чапая: — "А могёшь ли ты в мировом масштабе?"/ А тот отвечает: — "Не могу, Петька, не могу - языков не знаю".
Ну а я зыков знаю, поэтому - могу.

Прилагаю "волшебный файл" "Искры.html".
Инструкция по применению: открываешь в браузере и прощелкиваешь ссылки - каждый щелчок приводит к загрузке (в папку Загрузки по умолчанию) соответствующего номера журнала. Этих номеров там 649 - за годы в диапазоне 1902-1917.

Как возник этот волшебный ключик? Путем скрейпинга страниц