Web scrape

Лужу, паяю, сайты скачаю!
А вот был еще другой случай.
http://historypenza.ru/imennoj-ukazatel/ Именной указатель священно-церковно-служителей пензенской губернии 1866-1917
На сайте - список из 23000+ персон, да попробуй скачай (а хотя бы и не скачай, а просто выбери нужную страницу или найди нужную фамилию).
Ну пришлось применить Python+Selenium.
Вроде помогло - программа скачивает порциями по 100 записей (каждая порция примерно за минуту-полторы). Весь процесс займет 4-5 часов.
Получится файл в виде таблицы html.
Спешу поделиться - прилагаю первые три порции - 300 персон.

P.S. Докладываю обстановку. Не понравилось сайту (и, возможно, программе тоже) четырехчасовое сидение. Пришлось добавить в программу возможность повторной закачки и докачки. Для этого разделил один выходной файл на 232 - каждую порцию в 100 персон вывожу отдельно. При повторном запуске программа сначала проверяет существование файлов с номером порции, и скачивает, только если такой порции еще в виде файла нет. Это помогло закачать все 23144 записи за два вызова программы (1 прогон - порции 1-88, 2-й - остальные).

Если кому сильно надо скачать данные с этого сайта или с какого другого - обращайтеся, поможем. Не за здорово живешь, конечно. Но не обидим, однозначно.

04.09.2023 Кстати, о птичках. Сделал эту работу еще раз, забыв, что это уже было
https://forum.vgd.ru/post/5625/125597/p4692533.htm#pp4692533
Но все равно оказалось полезно, т.к. ПО за эти два года изменилось (Selenium 4), и программу пришлось малость обновить, но хуже, вроде, не стало.

Там на Помазнев Василий Трофимович выскакивает 28 ссылок, да в каждой по нескольку документов.
Дайте конкретную ссылку на случай "закрытого планкой адреса".

https://cdnc.pamyat-naroda.ru/...000181.jpg

Думаю, картинка с такой закраской поля "Пост. адрес" приходит с сервера, а не на клиенте планка вставляется.
Это логично и с точки зрения скорости работы сайта.
Картинки в данном случае там хранятся по адресу https://cdnc.pamyat-naroda.ru/podvig/Z/001/033-0682524-0439 , который непосредственно недоступен, только конкретные адреса картинок.
Возня какая-то с секретностью там есть, но она касается не планок, а инф. с номерами ящиков в ЦАМО.

[q]

function setSecrecy() {
$('.js__hero-card-doc-not-pub__desc').html('');

[/q]

[q]

$('.js__hero-card-doc-not-pub__desc').html('');
$('.js__hero-card-doc-not-pub__desc').append('Запись в галерее Дорога памяти');
$('.js__hero-card-doc-not-pub__desc').append('Фонд: ' + docInfo.nomer_fonda + '');
$('.js__hero-card-doc-not-pub__desc').append('Опись: ' + docInfo.nomer_opisi + '');
$('.js__hero-card-doc-not-pub__desc').append('Дело: ' + docInfo.nomer_dela + '');
$('.js__hero-card-doc-not-pub__desc').append('' + docInfo.shkaf_i_yaschik + '');
$('.js__hero-card-doc-not-pub__desc').append('Шкаф: ' + docInfo.shkaf_number + '');
$('.js__hero-card-doc-not-pub__desc').append('Ящик: ' + docInfo.box_number + '');
$('.js__hero-card-doc-not-pub__desc').append('Дело: ' + docInfo.storage_number + '');

[/q]

А вот еще один был, помнится, случай.
gwar.mil.ru

[q]

"Первая мировая война – Министерство обороны РФ и Корпорация ЭЛАР представляют крупнейший в мире Интернет-портал подлинных документов о Первой мировой 1914-1918."

[/q]

Посмотрел я на это чудо и не знаю, то ли плакать, то ли смеяться. Ну мы же оптимисты, будем смеяться, а если нельзя, - посмеиваться.

[q]

Да здравствуют советские микросхемы - самые крупные микросхемы в мире"

[/q]

Захотелось мне, к примеру, найти все карточки по первой мировой, где селение Миловице (что сейчас в Чехии) задействовано, как место события. Это мне нужно, чтобы найти (и исправить, если они неточно написаны) фамилии всех, захороненных на кладбище лагеря военнопленных 1914-1918 в Миловице. См. проект https://forum.vgd.ru/5624/128495/all.htm?a=stdforum_view&o=

Набираю я, значится, на сайте https://gwar.mil.ru/heroes/ запрос event_place=миловице
А мне в ответ - бум-с, 185 страниц, на каждой по 10 персон, да еще не по алфавиту. Листать - не перелистать.
Ну что тут скажешь, ЭЛАР свое дело туго знает (и знает также себе цену) - работает "по-крупному", на такие мелочи, как удобство населения, недосуг ему отвлекаться.

Бедному крестьянину надо как-то изворачиваться.
Сбацал я программку, задаешь ей тот запрос, который предназначен сайту gwar.mil.ru. Например, как в данном случае - event_place=миловице, или какой другой, который на ум взбредет. Ну программе деваться некуда, вынуждена она этот запрос отрабатывать - скачивать все страницы по одной и формировать выходную таблицу, сохраняя ее на диске.
А там уж, делай, что хошь - сортируй по ФИО, фильтруй (базар) - и никакого базара.

А то отвык я уже от такого "удобства" - во дворе. Чай - не дворовый мальчик, да и вообще уже не мальчик (с пальчик) как-никак.

Это провал - подумал Штирлиц. Правильно подумал. Излагаю ниже историю провала.
www.evidencevh.army.cz
Речь идет о сайте МО Чехии http://www.evidencevh.army.cz/evidence/vysledky-hledani-v-cr
На котором располагается, в числе прочего паспорт захоронения русских военнопленных 1914-1918 на военном кладбище города Миловице

[q]

http://www.evidencevh.army.cz/evidence/vysledky-hledani-v-cr
?rgid=13&rgn=Středočeský&orid=52&orn=Lysá%20nad%20Labem&mid=1196&min=Milovice&arid=20&arin=Красная%20Армия%20(СССР)&st=1

[/q]

Извиняюсь за "неправильную" ссылку на источник. "Правильная" (т.е. когда две строки соединены в одну - вторая добавлена в конец первой) не хочет работать. С неправильной надо работать так: нажимаешь на первую строчку (ссылку) - она открывается в браузере и показывает список в 39120 строк. Затем в строке адреса в конец первой ссылки добавляешь вторую строчку (которая начинается со знака вопроса - это признак начала параметров адреса). Тогда на этот список накладывается фильтр и остается ровно 473 строки - это русские военнопленные (если уж быть совсем точным, один - румын - лишний).

Это была присказка. А сказка (история "сказочного" провала миссии) впереди.
Перво-наперво, список выдается порциями по 10 - значит, предстоит пролистать 48 страниц, чтобы просмотреть всех. Ну это еще полбеды.
Когда пытаешься напустить на сие чудо-юдо python+selenium и думаешь перелистывание (т.е. нажатие на кнопку ">" внизу экрана) автоматизировать - это программное нажатие, вызывающее функцию __doPostBack('ctl00$ContentPlaceHolder1$RadGridGraves$ctl00$ctl03$ctl01$ctl28','') (как повествует великий и ужасный знаток всего и вся - интернет - это любимая фишка ASP.NET), это нажатие относится не к кнопке ">", а к какой-то другой.
В итоге автоматизирование перелистывание закончилось грандиозным провалом, чуть ли не вселенского масштаба.

Слава богу, не боги об горшки обжигаются - мы тоже обжигаемся, кое-где у нас порой. Так что обжигаться - не впервой. Привыкли руки к топорам.
Пришлось пойти в обход. Используются и python+seneium и "ручная" доводка (до ума).

• Открываем в питоне через селениум сайт по вышеуказанному адресу
• В браузере выбираем (вручную) вывод порциями по 50 (эта опция располагается внизу окна)
• Загружаем и выводим в файл (c "погонялом" g) очередную порцию из 50 персон, оформленную в виде функции с именем "p", путем вызова этой функции в консоли (т.е. набираем там p()), тако:
  

  [q]

  def p():
  table = driver.find_element_by_id('ctl00_ContentPlaceHolder1_RadGridGraves_ctl00')
  g.write(table.get_attribute('outerHTML'))
  

  [/q]

• Нажимаем, также внизу экрана, волшебную (и таинственную) кнопку ">", в результате чего в браузере отображается очередная порция
• Повторяем предыдущие два пункта, слава богу, не до потери пульса, но все-таки, 10 раз.
  

А с этим __doPost - разбираться да разбираться, т.к. это встречается и на других сайтах, как оказалось, часто.

Пока что прилагаю этот чешский список русских военнопленных 1914-1918 из Миловице
См. связанный с этим проект https://forum.vgd.ru/5624/128495/all.htm?a=stdforum_view&o=