Скачивание материалов с Familysearch.org
Инструкции
| miliam
г. Дубна
Сообщений: 705
На сайте с 2012 г.
Рейтинг: 547
| Наверх ##
17 марта 2017 18:18 Пожалуйста, подскажите, как скачать материалы с сайта не пространство тыкая, а массивом? Допустим, есть метрическая книга, в ней 400 листов. Нужно скачать все или частично. Как это сделать? Некоторые пишут, что на сайте есть даже инструкции на эту тему, однако, их найти проблематично. Будет полезно иметь их здесь, в отдельной теме. Спасибо.
tsamosaver написал: [q] FS Film Trawler - Расширение Chrome для сбора ссылок на кадры с FamilySearch
[/q]
euhome написал: [q] Скрипт GetFilmsByDGS.htm на основе номера пленки генерирует ссылки на изображения, которые можно затем загрузить.[/q]
| | Лайк (2) |
| his-hub
Сообщений: 221
На сайте с 2016 г.
Рейтинг: 514
| Наверх ##
13 апреля 2018 23:49 13 апреля 2018 23:51 Vesnin написал: [q] Вы бы еще показали пальцем как поменять ВПН, было бы совсем хорошо!
[/q]
Через VPN (Порекомендую связку Хром и ВПН  Free Proxy to Unblock any sites | Touch VPN = выбирайте наиболее близкий географически к вам сервер или пишите мне в личку, - выгружу под заказ оперативно  ---
his-hub@ya.ru | | |
G_Spasskaya Москва Сообщений: 7620 На сайте с 2015 г. Рейтинг: 4236 | Наверх ##
13 апреля 2018 23:57 Нахожусь я в некоторой оторопи... Давно не заглядывала в эту тему, сейчас зашла - а тут меня, оказывается, ждут разные просьбы...естественно, я их не видела и никому ответить не могла.
Второй момент - с момента блокировки сайта я на него ни разу не заходила, ничего оттуда не скачивала и, если честно, понятия не имею, как сделать, чтобы все качалось "как раньше". Поэтому огромная просьба ко всем: вот этот вопрос не надо мне задавать в лс! У меня нет на него ответа.
Если - вдруг - ответ появится и в программе будут сделаны какие-то изменения, я обязательно напишу. Пока же ничего такого не намечается, т.к.программа писалась под определённые условия, в которых она свою задачу выполнила. | | |
akpetrov Малоярославец Сообщений: 5960 На сайте с 2016 г. Рейтинг: 1353 | Наверх ##
16 апреля 2018 18:47 16 апреля 2018 18:48 his-hub написал: [q] Меняйте ВПН после сорокового - и всё будет хорошо [/q]
это не помогает. Хоть ручками, хоть программно Но решение есть! Снова качаю пленку за 3-5 минут. Правда сомневаюсь, что стоит его публиковать, а то his-hub написал: [q] Бороться начали админы мормонские [/q]
| | |
| andzejChwalko Участник
Гродно
Сообщений: 64
На сайте с 2014 г.
Рейтинг: 63 | Наверх ##
20 апреля 2018 7:21 Теоретически, отличить лоадер от человека, просматривающего руками кадры, можно довольно просто. Пишется фильтр, который смотрит активность по конкретной плёнке. Логика может быть разной, например, отслеживать последовательный доступ к кадрам с интервалом менее стольки-то секунд, или отслеживать дополнительно движения мыши и клеить какой-то дериватив, сделанный на их основе к запросу и проверять его в фильтре. Правда, сначала не мешало бы изучить статистику по просмотрам.
А так, да, нужна задержка между кадрами. Лично мне хватало и 1 секунды, но это зависит от толщины вашего канала и способа сохранения в файловой системе. Возможно, стоит ограничить количество потоков, открываемых для скачивания. | | |
akpetrovМалоярославец Сообщений: 5960 На сайте с 2016 г. Рейтинг: 1353 | Наверх ##
20 апреля 2018 10:40 andzejChwalko написал: [q] Теоретически, отличить лоадер от человека, просматривающего руками кадры[/q]
админы мормонов пошли другим путем: при просмотре глазами выдаются кусочки кадров из хранилища нарезок. только те кусочки, которые нужны чтоб показать в текущем масштабе текущий участок просматриваемого кадра. К этой "лапше" доступ не ограничен вроде как при скачивании выдается исходная картинка целиком. Вероятно из другого хранилища. И на нем поставили ограничитель: в течении 10 минут 41 кадров отдает, а вместо 42го выдает ошибку доступа 429. через 10 минут разрешает еще 41 кадр. | | |
Олинка Кемерово Сообщений: 811 На сайте с 2007 г. Рейтинг: 702 | Наверх ##
20 апреля 2018 11:43 akpetrov написал: [q] в течении 10 минут 41 кадров отдает, а вместо 42го выдает ошибку доступа 429. через 10 минут разрешает еще 41 кадр.[/q]
значит надо ставить задержку 15-16 секунд ---
Дневник http://forum.vgd.ru/891/
ZF1192774 (Gedmatch)
Бушуев, Пальцев, Сафронов/Федотов/Казаков, Панфилов, Кулагин, Кочетков, Воронин, Отцын/Оцинов, Мурзаев, Тюкин/Кырмагин, Пучинин, Мерзляков, Полатов, Хлебников, Пермяков, Кудриков, Седых, Лазарев, Босенко, Омельченко, Мороз, Манякин, Кубушка, Б | | |
| anto
Сообщений: 5793
На сайте с 2009 г.
Рейтинг: 4451
| Наверх ##
20 апреля 2018 11:49 Олинка написал: [q]
значит надо ставить задержку 15-16 секунд [/q]
Только скорость это не увеличит в итоге - так и будет 41 кадр за 10 минут. А выше пишут  akpetrov написал: [q] Но решение есть! Снова качаю пленку за 3-5 минут. [/q]
| | |
microArt г.Гатчина, Ленинградская область Сообщений: 3298 На сайте с 2008 г. Рейтинг: 2493 | Наверх ##
23 апреля 2018 16:07 Программа FamilySearchDownloader к сожалению, с апреля больше не работает. Подробности в моем блоге.Прикладываю на всякий случай скриншот программы.
 ---
Псковские документы (метрические книги из фонда 39) здесь:
https://www.geno-dbase.ru/storage/Russian_Empire/Pskov/ | | |
akpetrovМалоярославец Сообщений: 5960 На сайте с 2016 г. Рейтинг: 1353 | Наверх ##
24 апреля 2018 13:29 24 апреля 2018 13:33 microArt написал: [q] Программа FamilySearchDownloader к сожалению, с апреля больше не работает.
[/q]
Программа, которой на черную пятницу 13.04.2018 плевать - написана. Качает шустро. Но для тиражирования требует еще инвестиций. Вопрос: есть ли на нее платежеспособный спрос, чтоб имел смысл вкладываться? пишите личку. p.s. с материалами "только для членов церкви" программа не справится - по ним скорость составит те самых 240 кадров в час. | | |
| his-hub
Сообщений: 221
На сайте с 2016 г.
Рейтинг: 514
| Наверх ##
24 апреля 2018 16:31 akpetrov написал: [q]
Программа, которой на черную пятницу 13.04.2018 плевать - написана. Качает шустро. Но для тиражирования требует еще инвестиций. Вопрос: есть ли на нее платежеспособный спрос, чтоб имел смысл вкладываться?
пишите личку.
p.s. с материалами "только для членов церкви" программа не справится - по ним скорость составит те самых 240 кадров в час.[/q]
При распределенной выгрузке возможно и более 240 км/час ехать по выделенной полосе Такая Ракета есть у меня Только платежеспособный спрос нынче пошёл не сознательный и политического момента не улавливает  ---
his-hub@ya.ru | | |
|
