Скачивание материалов с Familysearch.org
Инструкции
| miliam
г. Дубна
Сообщений: 697
На сайте с 2012 г.
Рейтинг: 520
| Наверх ##
17 марта 2017 18:18 Пожалуйста, подскажите, как скачать материалы с сайта не пространство тыкая, а массивом? Допустим, есть метрическая книга, в ней 400 листов. Нужно скачать все или частично. Как это сделать? Некоторые пишут, что на сайте есть даже инструкции на эту тему, однако, их найти проблематично. Будет полезно иметь их здесь, в отдельной теме. Спасибо.
tsamosaver написал: [q] FS Film Trawler - Расширение Chrome для сбора ссылок на кадры с FamilySearch
[/q]
euhome написал: [q] Скрипт GetFilmsByDGS.htm на основе номера пленки генерирует ссылки на изображения, которые можно затем загрузить.[/q]
| | Лайк (2) |
Kraut Москва-Самара Сообщений: 5285 На сайте с 2010 г. Рейтинг: 2971 | Наверх ##
14 апреля 2017 22:05 Если выставлять как у Вас промежуток времени маленький не успевает нажиматься кнопка старт и окно начинает уезжать. Никак не настрою время ---
Кузнецовы (Самарская д.НовоЗапрудное, с. Липовка, с. Дмитриевка, д. Новая Поляна (Лопатино). Скоповы (Воронежская -- с. Пески, д. Мазурка, д. Марьевка Байчурово тож) Кретинины (интересны все, Воронежская обл., Украина - г. Запорожье, Казахстан)
Пугины,Бо | | |
admiral21 Сообщений: 2185 На сайте с 2016 г. Рейтинг: 6536 | Наверх ##
14 апреля 2017 22:11 14 апреля 2017 22:20 Kraut написал: [q] Если выставлять как у Вас промежуток времени маленький не успевает нажиматься кнопка старт и окно начинает уезжать. Никак не настрою время[/q]
В пункте Delay after Step укажите большее значение (1000 - 5000 ms). Возможно, записывая скрипт, Вы выбираете не тот значок на панели Firefox. Нужен значок dTa OneClick! ( красно-желтая стрелка) | | |
ОлегКудряшовСтарый добрый карел...  Муром Сообщений: 932 На сайте с 2009 г. Рейтинг: 2218 | Наверх ##
14 апреля 2017 22:45 14 апреля 2017 22:46 admiral21
Все - вроде разобрался! Извиняюсь за суетливость. Лишние сообщения удалил. Просьба - что-бы не затерялось в теме, может инструкцию вывести куда-то отдельно? | | |
KrautМосква-Самара Сообщений: 5285 На сайте с 2010 г. Рейтинг: 2971 | Наверх ##
14 апреля 2017 23:04 admiral21 написал: [q] Возможно, записывая скрипт, Вы выбираете не тот значок на панели Firefox. Нужен значок dTa OneClick! (красно-желтая стрелка)[/q]
да, именно так все работает как часы ---
Кузнецовы (Самарская д.НовоЗапрудное, с. Липовка, с. Дмитриевка, д. Новая Поляна (Лопатино). Скоповы (Воронежская -- с. Пески, д. Мазурка, д. Марьевка Байчурово тож) Кретинины (интересны все, Воронежская обл., Украина - г. Запорожье, Казахстан)
Пугины,Бо | | |
admiral21Сообщений: 2185 На сайте с 2016 г. Рейтинг: 6536 | Наверх ##
14 апреля 2017 23:23 Kraut написал: [q] да, именно так
все работает как часы[/q]
При загрузке через DownThemAll! есть некоторые особенности. Файлы нумеруются с 001.jpg по 999.jpg. Нумерация сквозная. Для примера, если в папку1 загружаются 150 файлов (001.jpg - 150.jpg), в следующую папку2 файлы будут загружаться с именем 151.jpg и т.д. Может так получиться, что в какую-то папку загрузятся файлы 950.jpg-999.jpg. Затем снова нумерация начнется с 001.jpg (В папке файлы будут не в правильном порядке) Если загружается более 1000 файлов в одну папку, следующие файлы будут переименовываться в 001_001.jpg, 001_002.jpg ... | | |
Temych Санкт-Петербург Сообщений: 1134 На сайте с 2010 г. Рейтинг: 646 | Наверх ##
14 апреля 2017 23:42 admiral21 написал: [q]
Нумерация сквозная. Для примера, если в папку1 загружаются 150 файлов (001.jpg - 150.jpg), в следующую папку2 файлы будут загружаться с именем 151.jpg и т.д.
Может так получиться, что в какую-то папку загрузятся файлы 950.jpg-999.jpg. Затем снова нумерация начнется с 001.jpg (В папке файлы будут не в правильном порядке)
Если загружается более 1000 файлов в одну папку, следующие файлы будут переименовываться в 001_001.jpg, 001_002.jpg ... [/q]
Я выбрал маску сохранения файла такую *hh*.*mm*.*ss*.*ext*, в итоге получим файл 15.55.12.jpg, который удобно сортировать, потом пакетно переименовываем. | | |
Mantikore Нижний Новгород Сообщений: 130 На сайте с 2013 г. Рейтинг: 156 | Наверх ##
23 апреля 2017 13:43 23 апреля 2017 13:49 Друзья, зачем извращения с кучей программ, расширений для браузера и т.д., если задача решается простейшим js-скриптом прямо в браузере?
(Скрипт эмулирует попеременное нажатие кнопок "сохранить" и "следующий снимок".)
var b=document.getElementsByClassName('next pager-icon fs-civ-circle-chevron-right enabled' )[0];
var c=document.getElementsByClassName('actionToolbarSaveButton saveButton button save' )[0];
function e(e){if(e.fireEvent){e.fireEvent('onclick' ) ;}else{var o=document.createEvent('Events' );o.initEvent('click',true,false);e.dispatchEvent(o);}};
function s(d){setTimeout(function(){if(d){e( c);}else{e(b);}if(!document.getElementsByClassName('next pager-icon fs-civ-circle-chevron-right enabled disabled' )[0]){s(!d);}},3000)};
s(true);
Чтобы его запустить, открываем страницу с нужной пленкой, встаем на первый снимок.
Затем запускаем консоль браузера (кнопка F12 в Chrome), копируем туда код срипта и нажимаем Enter.
Скрипт остановится, когда дойдет до конца пленки. Чтобы остановить его вручную, просто перезагрузите страницу.
Скрипт работает и в фоновом режиме, т.е. во время его работы можно заниматься другими делами.
PS. FamilySearch начинает блокировать по IP-адресу, если с вашего компьютера идет слишком много скачиваний, поэтому где-то через 100 снимков он выдаст сообщение "Ошибка 403 Превышена пропускная способность". Придется какое-то время подождать (около часа), прежде, чем блокировка снимется. После этого нужно перезапустить скрипт (встав на последний загруженный снимок)
 ---
Семеновские, Введенские, Чистопольские, Шлюпневы, Поляковы (Нижегородская губерния) | | |
TemychСанкт-Петербург Сообщений: 1134 На сайте с 2010 г. Рейтинг: 646 | Наверх ##
23 апреля 2017 19:29 Mantikore написал: [q] Друзья, зачем извращения с кучей программ, расширений для браузера и т.д., если задача решается простейшим js-скриптом прямо в браузере?
(Скрипт эмулирует попеременное нажатие кнопок "сохранить" и "следующий снимок".)[/q]
Другое извращение  , но интересное решение. Только оно не решает проблему с ограничением скачивания, что решают расширения браузера + автокликер. Следить на каком кадре остановился каждый час, тоже неблагодарное занятие  , когда цель скачать все метрики по определённой церкви. | | |
MantikoreНижний Новгород Сообщений: 130 На сайте с 2013 г. Рейтинг: 156 | Наверх ##
23 апреля 2017 22:46 24 апреля 2017 11:44 Temych написал: [q] Другое извращение , но интересное решение[/q]
Это как раз не изращение, а самое очевидное решение. Извращение это ваш автокликер) Вот, например, небольшая модификация снимает ограничение, о котором я говорил (за счет того, что изображение теперь скачивется на "нажатием" на кнопку, а по прямой ссылке) [q] var b=document.getElementsByClassName('next pager-icon fs-civ-circle-chevron-right enabled' )[0];
var l=document.createElement("a");var t=document.getElementById('image-citation' );
function d(){l.href=document.getElementById('printImage' ).src;l.download=document.getElementsByClassName('thumbnail-selection' )[0].title+" "+t.innerText.substring(t.innerText.lastIndexOf(")")+3,t.innerText.lastIndexOf(" image")).replace(/[\]\[>/|\"*?<]/gi,"")+".jpg";l.click();};
function e(e){if(e.fireEvent){e.fireEvent('onclick' );}else{var o=document.createEvent('Events' );o.initEvent('click',true,false);e.dispatchEvent(o);}};
function s(t){setTimeout(function(){if(t){d();}else{e(b);}if(!document.getElementsByClassName('next pager-icon fs-civ-circle-chevron-right enabled disabled' )[0]){s(!t);}},4000)};
s(true);[/q]
Огромный плюс еще и в том, что скрипт можно легко модифицировать под ваши нужды. Например, указать правила именования фалов. Приведенный выше скрипт сохраняет файлы в таком виде:
 ---
Семеновские, Введенские, Чистопольские, Шлюпневы, Поляковы (Нижегородская губерния) | | Лайк (2) |
TemychСанкт-Петербург Сообщений: 1134 На сайте с 2010 г. Рейтинг: 646 | Наверх ##
23 апреля 2017 23:13 Mantikore написал: [q] Вот, например, небольшая модификация снимает ограничение[/q]
Вот теперь полноценное решение!  | | |
|
