Загрузите GEDCOM-файл на ВГД   [х]
Всероссийское Генеалогическое Древо
На сайте ВГД собираются люди, увлеченные генеалогией, историей, геральдикой и т.д. Здесь вы найдете собеседников, экспертов, умелых помощников в поисках предков и родственников. Вам подскажут где искать документы о павших в боях и пропавших без вести, в какой архив обратиться при исследовании родословной своей семьи, помогут определить по старой фотографии принадлежность к воинским частям, ведомствам и чину. ВГД - поиск людей в прошлом, настоящем и будущем!
Вниз ⇊

Web scrape

Как скачать без всякого труда (или с трудом, но небольшим; или с большим, но не очень) золотую рыбку из интернетовского пруда?
Ответ: я тоже не знаю (все). Но кое что все-таки из моих потуг может оказаться не вредным.

← Назад    Вперед →Страницы: ← Назад 1 2 3 * 4 Вперед →
Модератор: abv
abv
Модератор раздела

abv

Красногорск, Моск.обл.
Сообщений: 2143
На сайте с 2004 г.
Рейтинг: 915

buldiga написал:
[q]
>> Ответ на сообщение пользователя abv от 27 февраля 2022 11:00

Спасибо! Очень хорошая работа. Может быть, предложить архиву открыть свободный доступ к карточкам - без регистрации в личном кабинете? Тогда "хакерам" будет нечего делать.
[/q]


А чего открывать? У них и так все открыто. И карточки переписи там есть, все 317287. Только сканов карточек там нет. И если нет дыма без огня (про хакеров), то, значит, этих сканов у них вовсе нет сейчас, ни на сайте, ни где либо еще. Им надо фотографировать или сканировать их заново (или заплатить Эларе еще монеток, чтобы они выложили эти сканы из припрятанного места).


---
Персональная история русскоязычного мира
http://personalhistory.ru
info@personalhistory.ru
Новости из царской России
Яндекс-дзен https://zen.yandex.ru/id/5eee495659f4f25be9052961
medium.com https://medium.com/me/stories/public
Дневник https://forum.vgd.ru/5623/
https://1russia.wordpress.com/
Лайк (1)
buldiga
Участник

Сообщений: 65
На сайте с 2017 г.
Рейтинг: 58
>> Ответ на сообщение пользователя abv от 27 февраля 2022 15:52

Доступ к карточкам - только через регистрацию в ЛК. Это надо убрать.
---
Алина Иванова
buldiga
Участник

Сообщений: 65
На сайте с 2017 г.
Рейтинг: 58
>> Ответ на сообщение пользователя abv от 27 февраля 2022 15:52

Есть ли сканы карточек где-то на внешних носителях, мы не знаем. Предположения можно строить всякие.
---
Алина Иванова
abv
Модератор раздела

abv

Красногорск, Моск.обл.
Сообщений: 2143
На сайте с 2004 г.
Рейтинг: 915

buldiga написал:
[q]
>> Ответ на сообщение пользователя abv от 27 февраля 2022 15:52

Доступ к карточкам - только через регистрацию в ЛК. Это надо убрать.
[/q]


Тематические карточки переписи 1917 доступны и при ГОСТЕВОМ ВХОДЕ. Проверено только что.
Доступ к сканам, действительно, будет только при (бесплатной) регистрации. Но в данном случае - сканов переписи 1917 нет вовсе.
---
Персональная история русскоязычного мира
http://personalhistory.ru
info@personalhistory.ru
Новости из царской России
Яндекс-дзен https://zen.yandex.ru/id/5eee495659f4f25be9052961
medium.com https://medium.com/me/stories/public
Дневник https://forum.vgd.ru/5623/
https://1russia.wordpress.com/
abv
Модератор раздела

abv

Красногорск, Моск.обл.
Сообщений: 2143
На сайте с 2004 г.
Рейтинг: 915
Вот что крест животворящий делает!

Появились таки карточки. Так что хакеры оказались честные грабители и (все?) что они похитили, вернули (на место) под шумок.
Кстати, справедливости ради, хотя и был период, когда карточек на сайте не было, но все-таки "расширенный поиск" с флажком "Наличие электронной копии" во вкладке "Дела" не отражает наличие или отсутствие электронных образов для тематических карточек переписи 1917. Для тематических карточек в расширенном поиске есть отдельная вкладка "Тематические карточки". В этой вкладке нет флажка "Наличие электронной копии", т.е. отфильтровать с помощью расширенного поиска электронные образы карточек не получится - надо проверять каждую карточку на наличие скана индивидуально.

Была просьба отыскать карточку на
Клявлин Михаил Александрович. Нижнеломовский уезд, Аршиновская волость, село Самодуровка

Вот карточка
00000007.jpg
А вот ссылка на карточку
Если для каждой карточки переписи знать ее ID
(для этой конкретной карточки) id=b1695c77-514c-499d-a0a2-16dacce019ff
то можно скачать любую из них, или даже все (а то вдруг "хакеры" передумают)

04.09.23 Карточки можно скачивать по ссылкам вида
Вид
Размер
Качество

http://82.209.65.104:180/Pages/ImageFile.ashx?id={id}
2.36Mb
JPEG, quality: 87

http://82.209.65.104:180/Pages/ImageFilePart.ashx?zoom=1&id={id}
7.06Mb
JPEG, quality: 100

http://82.209.65.104:180/Pages/ImageFilePart.ashx?zoom=2&Id={id}
22.16Mb
JPEG, quality: 100

---
Персональная история русскоязычного мира
http://personalhistory.ru
info@personalhistory.ru
Новости из царской России
Яндекс-дзен https://zen.yandex.ru/id/5eee495659f4f25be9052961
medium.com https://medium.com/me/stories/public
Дневник https://forum.vgd.ru/5623/
https://1russia.wordpress.com/
Лайк (1)
abv
Модератор раздела

abv

Красногорск, Моск.обл.
Сообщений: 2143
На сайте с 2004 г.
Рейтинг: 915
Томская областная библиотека им. А.С. Пушкина
Сибирская железная дорога. Список личного состава на 1 февраля 1911 года. Вып. 6. - Томск, 1911
Сибирская железная дорога. Список личного состава на 1 февраля 1911 года. Вып. 6 / М. П. С., Сиб. ж. д. — Томск : Издание канцелярии начальника дороги, 1911 ( : Товарищество "Печатня С. П. Яковлева"). — II, [2], 104 с., XI c. ; 26 см.

Содержание :
Начало.

ОТДЕЛ I. Центральные учреждения Министерства Путей сообщения.
ОТДЕЛ II. Список личного состава старших агентов дороги на 1 февраля 1911 года.
ОТДЕЛ III. Список чинов учреждений и ведомств, причастных к Сибирской железной дороге, а также находящихся в пределах ее.
ОТДЕЛ IV. Список начальствующих лиц казенных и частных железных дорог.

Алфавитный указатель.

Замеченные опечатки.


Прилагаю готовый файл "Сибирская железная дорога.htm" для закачки сканов.
Инструкция по его применению:

  • Открыть в броузере файл "Сибирская железная дорога.htm"
  • Сохранить на диск, под именем, скажем "Сибирская железная дорога+.htm"
  • В подпапке "Сибирская железная дорога+_files" будут 126 нужных сканов



Прикрепленный файл (Сибирская железная дорога.htm, 9826 байт)
---
Персональная история русскоязычного мира
http://personalhistory.ru
info@personalhistory.ru
Новости из царской России
Яндекс-дзен https://zen.yandex.ru/id/5eee495659f4f25be9052961
medium.com https://medium.com/me/stories/public
Дневник https://forum.vgd.ru/5623/
https://1russia.wordpress.com/
abv
Модератор раздела

abv

Красногорск, Моск.обл.
Сообщений: 2143
На сайте с 2004 г.
Рейтинг: 915
Адрес-календарь на 1892-1893 год должностных лиц правительственных и общественных установлений Степного генерал-губернаторства
"http://books.omsklib.ru/Knigi/NEW/Adres-kalendar'_liz/index.html"
Ссылка заключена в кавычки, поскольку иначе forum.vgd.ru ошибочно заканчивает ссылку на символе амперсанта.
Загружается pdf файл постранично (все 176 страниц), но сохранять предлагается каждую страницу по отдельности.
Это кажется не совсем удобным. Может, так кажется только мне?
Если нет, предлагается следующее:

  • Включаем режим отладки в браузере (клавишу F12)
  • Открываем вкладку "Network"
  • В колонке "Name" открываем контекстное меню (нажимаем правую кнопку мышки) и выбираем пункт "Copy - Copy all as Node.js fetch"
  • Копируем это в текстовый редактор


В конце скопированного находим фрагмент
[q]
fetch("http://books.omsklib.ru/Knigi/NEW/Adres-kalendar'_liz/Adres-kalendar'_liz.pdf", {
"headers": {
"accept": "*/*",
"accept-language": "ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7",
"cookie": "_ga=GA1.2.1337419021.1650200459; _gid=GA1.2.966182245.1650200459; _gat_gtag_UA_70972518_1=1",
"Referer": "http://books.omsklib.ru/Knigi/NEW/Adres-kalendar'_liz/index.html",
"Referrer-Policy": "strict-origin-when-cross-origin"
},
"body": null,
"method": "GET"
});
[/q]

из которого получаем правильную ссылку для закачки pdf файла "http://books.omsklib.ru/Knigi/NEW/Adres-kalendar'_liz/Adres-kalendar'_liz.pdf"
---
Персональная история русскоязычного мира
http://personalhistory.ru
info@personalhistory.ru
Новости из царской России
Яндекс-дзен https://zen.yandex.ru/id/5eee495659f4f25be9052961
medium.com https://medium.com/me/stories/public
Дневник https://forum.vgd.ru/5623/
https://1russia.wordpress.com/
abv
Модератор раздела

abv

Красногорск, Моск.обл.
Сообщений: 2143
На сайте с 2004 г.
Рейтинг: 915
Журнал Министерства Путей Сообщения
Ссылки для скачивания (большинство - с (вынужденным) использованием WayBack Machine)
1875 06
1878 01-03
1887 02 09 16 40 41 45 47
1903 04 08
1905 01 04 05
1908 03-05
1909 06 07 08 09 10
1910 07 и Журналы Совета по железнодорожным делам 1910 год. №№ 1-13., 331 стр.,
1913 03
1916 01
Железнодорожник, еженедельный журнал
1903 № 1 (июнь)-23, 25-31
1904 № 32-52, 53-83
1905 № 84-131, 132/133
1906 № 1(134)-48(181)
1907 № 1(182)-50(231), 51/52(232)
1908 № 1(233)-48(280)
1909 № 1(281)-35(315)
Вестник Забайкальской железной дороги
rusneb.ru
1908 01-10,12-15,17-22 23-36 37-48
1909 01-27
1910 01-33,35-52
1911 01-48,50-52
rsl.ru
1908 01-10,12-15,17-22 (01 02 03 04 05 06 07 08 09 10 12-13 14 15 17 18 19 20 21 22) 23-36 (23 24 25 26 27 28 29 30 31 32 33 34 35 36) 37-48 (37 38 39 40 41 42 43 44 45 46 47-48)
1909 01-27 (01 02 03 04 05 06 07 08 09 10 11 13-14 15 16 17 18 19 20 21 22 23 24 25 26 27)
1910 01-33,35-52 (01-02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30-31 32 33 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49-50 51 52)
1911 01-48,50-52 (01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16-17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40-41 42 43 44 45 46 47 48 50 51-52)
irklib.ru
1910 01-02 03 04 05 07 08 09 10 11 12 13 14 15 16 28 35 41 45 47 48 49-50 51 52
1912 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 24-25 28-29 30-31 34-35 36-37 38-39 40-41 42-43 44-45 46-47 48-49 50-51 52
1913 13-14 15-16 18 19 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 49
1914 05 10 11 12 15 16 23 25 26 27 28 37 43 51 52
1915 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 49 50 51 52
Вестник железнодорожного союза Амурской железной дороги
1918
215 (26 октября)
216 (27 октября)
217 (29 октября)
218 (30 октября)
219 (31 октября)
220 (отсутствует)
221 (2 ноября)
222 (отсутствует)
223 (6 ноября)
224 (7 ноября)
225 (8 ноября)
226-228 (отсутствуют)
229 (13 ноября)
230 (14 ноября)
231 (15 ноября)
232 (16 ноября)
233-236 (отсутствуют)
237 (22 ноября)
238-244 (отсутствуют)
245 (1 декабря)
246-252 (отсутствуют)
253 (13 декабря)
254 (14 декабря)
255 (15 декабря)
Путеводитель по великой Сибирской железной дороге
rusneb.ru 1900 1901-1902
rsl.ru 1901-1902 1914
elib.shpl.ru 1903-1904
www.elib.tomsk.ru 1901-1902 1909-1910 1914
---
Персональная история русскоязычного мира
http://personalhistory.ru
info@personalhistory.ru
Новости из царской России
Яндекс-дзен https://zen.yandex.ru/id/5eee495659f4f25be9052961
medium.com https://medium.com/me/stories/public
Дневник https://forum.vgd.ru/5623/
https://1russia.wordpress.com/
Лайк (1)
abv
Модератор раздела

abv

Красногорск, Моск.обл.
Сообщений: 2143
На сайте с 2004 г.
Рейтинг: 915
Сканы газеты "Вестник Манчжурских армий" 1905 №№ 147 (1 янв.) - 471 (31 дек.)
Отсутствуют № (стр.): 150, 154, 160, 200-203, 264, 267,293, 296, 313, 327, 338, 342, 357, 373, 390, 419, 469
Повреждены № (стр.): 147, 148(1), 331, 334, 343, 344, 346, 348, 349(2), 350-353(1), 355, 369, 376, 397, 398, 422, 424, 471

Файл подготовлен с помощью программы на Питоне
Сама программа не приводится здесь, но она подобна той, что была использована для составления таблицы сканов газеты "Московский Листок".


Прикрепленный файл (vma.html, 74502 байт)
---
Персональная история русскоязычного мира
http://personalhistory.ru
info@personalhistory.ru
Новости из царской России
Яндекс-дзен https://zen.yandex.ru/id/5eee495659f4f25be9052961
medium.com https://medium.com/me/stories/public
Дневник https://forum.vgd.ru/5623/
https://1russia.wordpress.com/
abv
Модератор раздела

abv

Красногорск, Моск.обл.
Сообщений: 2143
На сайте с 2004 г.
Рейтинг: 915
familysearch.org Метрические книги России - сканы и их индексированный текст
КАК СОХРАНИТЬ ИНДЕКСИРОВАННЫЙ ТЕКСТ СКАНОВ ПЛЕНКИ?
На примере пленки Ukraine, Odesa, church records № 005685190 г. Одесса и область - Метрические книги, Ф. 37, on. 3, д. 365-3, 1829

Инструкция по применению.
1. Открываем в браузере исходную страницу
2. Нажимаем кнопку F12 (это режим разработчика в Google Chrome), находим в меню открывшегося окна закладку Elements и нажимаем на нее, нажимаем самую левую кнопку (квадратик со стрелкой наискосок), в окне браузера нажимаем на слова "Указатель снимков" (когда мы находимся на первом из 290 сканов, под этими словами будет написано "Нет доступных индексов", для других страниц там будут текстовые поля с расшифровкой скана). После нажатия слов "Указатель снимков" в окне разработчика курсор попадет на строчку div class="record-list-tab active"... Переводим курсор на строчку выше div class="record-list-content".. Слева в этой строчке есть многоточие, нажимаем правую кнопку мыши на этом многоточии, в появившемся всплывающем меню выбираем "Copy / Copy outerHTML". В итоге нужный фрагмент страницы скопируется в текстовый буфер. (См. скриншот 1)
3. Открываем текстовый редактор, создаем новую страницу, копируем туда содержимое буфера, сохраняем полученный файл на диск с расширением htm и открываем этот файл в браузере (не закрывая файл в текстовом редакторе и не закрывая исходную страницу familysearch.org, а также не закрывая окно разработчика). В итоге мы на экране получим индексированный текст первого скана (для этой пленки первый скан не проиндексирован, для других пленок это, возможно, будет не так, т.е. индексированный текст будет непустым).
4. Далее в цикле по всем 290 сканам проделываем следующее (См. скриншот 2)
4.1. В исходном окне, где указан номер скана, нажимаем стрелку направо, чтобы перейти к следующему скану
4.2. В окне разработчика, где наш курсор уже находится на нужном месте - в строчке с кодом div class="record-list-content", нажимаем правую кнопку мыши на символе многоточия и выбираем пункт "Copy / Copy outerHTML"
4.3. Переходим в окно текстового редактора и копируем из буфера в конец открытого нами ранее файла, сохраняем файл, не закрывая его
4.4. При желании убедиться, что все идет так, как надо, можно в браузере обновить страницу с нашим локальным файлом - там снизу должен добавиться индексированный текст очередного скана. (См. скриншот 3)

Прилагаю три скриншота и файл с сохраненными индексами для первых четырех сканов.
Файл family.htm, 129 Кб
Чтобы этот файл можно было видеть в нормальном виде, его надо сохранить на диск и уже оттуда открыть в браузере.

Прикрепленный файл: familysearch.org_1.jpgfamilysearch.org_2.jpg, 408621 байтfamilysearch.org_3.jpg, 307513 байт
---
Персональная история русскоязычного мира
http://personalhistory.ru
info@personalhistory.ru
Новости из царской России
Яндекс-дзен https://zen.yandex.ru/id/5eee495659f4f25be9052961
medium.com https://medium.com/me/stories/public
Дневник https://forum.vgd.ru/5623/
https://1russia.wordpress.com/
Лайк (2)
← Назад    Вперед →Страницы: ← Назад 1 2 3 * 4 Вперед →
Модератор: abv
Вверх ⇈