 | tsamosaverСоздайте аккаунт или войдите, чтобы отправить личное сообщение этому пользователю и увидеть его полные контактные данные |
Последние 30 сообщений tsamosaverТема: Скачивание материалов с Familysearch.org
7.03.2025, 18:34
LonerD написал:[q]
tsamosaver написал:
[q]
Скрипт FS_NoLimit для снятия ограничений на скачивание
[/q]
Этот скрипт решает проблему пермабана аккаунта за скачивание значительных объёмов (10-15 плёнок за день) и проблему сброса авторизации при быстром скачивании?[/q]
Да. Если качаете в один поток, то все хорошо. За последние сутки у меня примерно 55.000 снимков скачалось, это около 60 микрофильмов. Всего скачал примерно 160 пленок за последние дни. Выкидывало только по истечении 24 часовой сессии.
|
Тема: Скачивание материалов с Familysearch.org
7.03.2025, 15:37
FS Film Trawler - Расширение Chrome для сбора ссылок на кадры с FamilySearch Страница проекта на GitHub
Использовал наработки и подход euhome. Дополнил необходимым мне функционалом, и нашел как убрать ограничение на скачивание.
Исходники тут. Не уверен что будет время поддерживать, рассказывать как использовать. Поэтому сразу и подробно.
Делал для себя. Скачал три каталога полностью, около 160.000 снимков за два дня и десяток кликов мыши, только два раза залогинившись.
Основные отличия от скрипта euhome - возможность за раз обработать целый каталог или список пленок, выбор диапазонов кадров.
Важно: если вам нужно скачать всего пару пленок, то вам удобнее воспользоваться решением euhome.
Но при этом вы можете взять из этой инструкции скрипт для Tampermonkey, который избавит вас от лимита на скачивание.
Предварительные требования
Перед использованием этого расширения необходимо настроить Firefox со следующими дополнениями для загрузки кадров:
1. Установить DownThemAll!
2. Установить Tampermonkey
3. Скрипт FS_NoLimit для снятия ограничений на скачивание (см. далее что с ним делать)
Инструкции по установке
1. Настройка Firefox:
- Установите Firefox, если он еще не установлен
- Установите дополнения DownThemAll! и Tampermonkey
- Установите скрипт FS_NoLimit (краткая инструкция)
- Войдите в свою учетную запись FamilySearch в Firefox
Подробная инструкция по установке скрипта в Tampermonkey:
1. Откройте Firefox и убедитесь, что Tampermonkey установлен
2. Перейдите на страницу FS_NoLimit
3. Скопируйте весь код скрипта из README (он находится прямо на главной странице)
4. Нажмите на иконку Tampermonkey в Firefox
5. Выберите "Создать новый скрипт"
6. Удалите весь шаблонный код и вставьте скопированный код
7. Нажмите Ctrl+S или кнопку "Сохранить" в редакторе
8. Проверьте, что скрипт появился в списке установленных скриптов Tampermonkey:
- Нажмите на иконку Tampermonkey в Firefox
- Выберите "Панель управления"
- Убедитесь, что скрипт есть в списке и он включен
2. Расширение Chrome:
- Установите это расширение в Chrome (краткая инструкция)
- Войдите в свою учетную запись FamilySearch в Chrome
Подробная инструкция по установке расширения Chrome из папки:
1. Откройте Chrome
2. Введите в адресной строке: chrome://extensions/
3. Включите "Режим разработчика" (переключатель в правом верхнем углу)
4. Нажмите "Загрузить распакованное расширение"
5. Выберите папку с распакованным расширением
6. Расширение должно появиться в списке установленных
7. Для удобства закрепите значок расширения на панели:
- Нажмите на значок пазла в правом верхнем углу Chrome
- Найдите расширение в списке
- Нажмите на значок булавки рядом с расширением
Как использовать
0. После установки расширения:
- Найдите значок расширения в правом верхнем углу Chrome (если не виден, нажмите на значок пазла)
- Закрепите значок на панели для быстрого доступа
- При клике на значок откроется окно расширения
1. Введите номер каталога или номер пленки в соответствующее поле
2. Нажмите "Начать поиск"
3. Дождитесь завершения поиска
4. Для каждой пленки вы можете:
- Выбрать кадры для экспорта, используя поле ввода
- Использовать следующие форматы для номеров кадров:
- Отдельные номера: 1,2,3
- Диапазоны: 1-100
- Комбинированно: 1-50,75,80-90
5. Нажмите "Экспорт ссылок" для создания html файла со ссылками
6. Откройте html файл в Firefox
7. Используйте DownThemAll! для загрузки всех кадров:
- Щелкните правой кнопкой мыши и выберите DownThemAll!
- Настройте маску загрузки *text*\*name*.*ext* для скачивания каждой пленки в отдельную папку
- Начните скачивание
Важные замечания
- Необходимо быть авторизованным в FamilySearch как в Chrome, так и в Firefox
- После входа в Firefox рекомендуется выйти из учетной записи на всех других устройствах и браузерах
- Сессия FamilySearch автоматически завершается через 24 часа
- В настройках DownThemAll! рекомендуется установить количество параллельных закачек (параметр "сеть" = 1 в настройках DownThemAll!) равным 1, чтобы избежать ошибки "429 Too Many Requests"
- Расширение поддерживает английский, немецкий и русский интерфейс
- Загрузка кадров должна выполняться через Firefox с помощью DownThemAll!
 |
Тема: ГБУ «Ритуал» оцифровало данные о 7млн умерших москвичей
23.03.2021, 16:39
По его словам, сейчас уже завершен этап оцифровки данных обо всех захороненных на московских кладбищах. Это 7 млн записей из нескольких тысяч книг.
«Мы функционируем на площадке mos.ru. Вопрос зеркализации этого функционала на другой госплощадке исключительно технический. Первичное значение имеет в принципе оцифровка этого массива, который ранее находился исключительно в ненадежном бумажном формате», — поделился Екимов.
Он рассказал, что организация уже сейчас выдает электронные паспорта захоронений. При этом при запросе бумажного варианта выдается выписка.
Сначала провели полную перепись покоящихся на пяти городских кладбищах, а затем и ввели всё в базу данных. Скоро к каждому захоронению привяжут геотег, а в ближайшие полтора-два года доступ ко всему этому появится у каждого москвича — через mos.ru
источник
|
Тема: ОБД-Мемориал - массовые выборки из базы
28.11.2013, 15:50
Феликс,
по Егоровым - Бердск
глянь по номерам записей
2333871 Егоров Петр Иосифович __.__.1918 Красноярский край, Ужурский р-н, с. Косоголь 2333871
84652216 Егоров Герман Петрович __.__.1924 Алтайский край, г. Барнаул 84652216
84728352 Егоров Александр Егорович __.__.1906 Татарская АССР, Кайбицкий р-н, с. Старотябордено 84728352
84896059 Егоров Андрей Григорьевич __.__.1900 Алтайский край, Исульский р-н, д. Брельялово 84896059
84917855 Егоров Гаврил Данилович __.__.1902 Алтайский край, Угловский р-н, с. Шадруха 84917855
85015129 Егоров Владимир Алекс. __.__.1926 85015129
все кроме первого - по ВПП, первый нашелся по месту призыва
|
Тема: TsamoSaver
16.10.2012, 12:30
По мотивам новости https://forum.vgd.ru/169/45142/ добавил поиск по юбилейным награждениям (podvignaroda). С изображениями там неясно, ссылки мелькают, но они не рабочие. Возможно, их добавили в базу но не загрузили на сервер. Поэтому пока только текст....
|
Тема: TsamoSaver
16.10.2012, 11:22
Фролова Наталья
когда появляется сообщение об ошибке, там есть кнопка "подробно"? Или какие либо строки со служебной информацией?
Попробуйте скопировать их и показать нам. (Если выделить мышкой не получается, то можно просто нажать Ctrl+C когда окно с сообщением активно)
|
Тема: TsamoSaver
20.09.2012, 15:00
DVK_Dmitriy написал:[q] По базе "Подвиг народа" программа более как месяц не ищет,
возможно что то поменялось на их сервере.
Просьба к разработчику посмотреть что не так. [/q]
Привет. Починил и перезалил. Качать там же. Всем мир!
|
Тема: TsamoSaver
15.06.2012, 11:52
Исправлена загрузка изображений для записей с более чем одним связанным образом (Memorial, Perm).
Потестил минимально, совершенно нет времени. Если будут баги - сильно не пинать)
|
Тема: TsamoSaver
14.06.2012, 9:26
Siegehardus, нужен пример записи в ОБД с двумя изображениями (по ВПП). Не могу ни одной такой найти. Сбросьте в личку или тут номер записи или параметры для поиска.
|
Тема: TsamoSaver
29.05.2012, 16:40
Пропал надолго - было много работы. Скоро всё обещанное будет)
|
Тема: TsamoSaver
12.05.2012, 9:36
alexd007 написал:[q] Есть пожелание по поиску на подвигнарода
Можно сделать поиск по календарю награждения ?[/q]
Попробую!
Amedi написал:[q] Есть еще одна просьба. А нельзя сделать так, чтобы файл memorial.xml сохранялся в папке персоны?
А то этот файл сохраняется не в папке и потом перезаписывается.
Просто если ищешь несколько персон, то этот файл перезаписывается и сохраняются только данные на последнюю персону.
P.S. Может я просто не так что-то сохраняю?[/q]
Не совсем понял ваш кейс. Опишите, какая задача стоит перед вами, я попробую подсказать, как организовать работу.
|
Тема: TsamoSaver
12.05.2012, 9:26
shtrudelek написал:[q] TsamoSaver, а можно "donate" на вашу банковскую карту еще бы сбера  ?, просто яндекс деньги не пользуюсь... [/q]
Из сбербанк-онлайн можно вывести на Я.Д. Возможно в банкоматах тоже есть функция,, где-нибудь в платежах, я не пробовал. Да и любой платежный терминал наподобие QIWI тоже позволяет.
|
Тема: TsamoSaver
12.05.2012, 9:17
Siegehardus написал:[q] Мемориал - Поиск по ВПП" так и не скачивается 2-я картинка (обратная сторона) [/q]
Починю, возможно в воскресенье, если успею.
lydia_iv написал:[q] Установила программу (вин 7) - постоянно выдает окно ошибки и вылетает. Удаляла и устанавливала еще раз - результат тот же. Что делать? [/q]
shtrudelek написал:[q] Скажите, пож-ста, что у меня не так сделано? после того как нажимаю кнопку Найти, сразу выдает ошибку "прекращена работа программы tsamosaver", "windows осуществляет поиск способа устранения данной ошибки". затем программа закрывается если нажать отмену или пишет что возникшая проблема привела к приостановке действия программы и все равно программа закрывается. и по подвигу и по мемориалу так, как это исправить? [/q]
К сожалению, экстрасенсорными способностями не обладаю) Прикладывайте скриншоты, копируйте текст из сообщения об ошибке, если появляется кнопка "подробно", или т.п., - копируйте оттуда тоже всю информацию. ВАЖНО: Если выделить текст не получается, то можно нажать Ctrl + C, когда окошко активно, и текст скопируется в буфер обмена.
|
Тема: TsamoSaver
1.05.2012, 6:53
DVK_Dmitriy, agis
прошу прощения - не до конца потестил перед релизом=/ Собственно, баг исправлен.
|
Тема: TsamoSaver
25.04.2012, 2:05
обновил версию на сайте
Temych, теперь сравнение с сохраненными проходит корректно
FazU, для мемориала добавил произвольное поле, для подвига кажется такого не предусмотрели.
|
Тема: TsamoSaver
10.04.2012, 22:06
Temych
ну вот хоть какой-то фидбэк) завтра сделаю) а то месяц молчания
|
Тема: TsamoSaver
11.03.2012, 21:41
Так, ребятки, разбираем свежий релиз.
По вашим письмам:
В пермский раздел добавил поле "произвольное поле" - аналог простого поиска на сайте. То есть как хотел Temych можно найти по полям "имя" и "фамилия" всех, например Ивановых Марий, а дополнив "произвольное поле" текстом "иванов алексий" - Ивановых Марий, отцами у которых указаны Ивановы Алексеи. Но вообще поле дает довольно гибкий поиск, пробуйте.
Исправлено отображение прогресс-бара (полоски процесса) при сохранении. И в настройках появилась опция "количество попыток загрузки изображений". то есть если сервер не отвечает, то запись будет отложена на следующую попытку. И так далее пока попытки не закончатся. При этом сообщение пользователю будет только одно - по итогу, и только в том случае, если остались несохраненные записи - их перечисление в сообщении будет. Останется только повторить поиск, убрав галочку в настройках "перезаписывать файлы".
|
Тема: TsamoSaver
4.03.2012, 8:41
Siegehardus,
Давайте все же в этой теме обсуждать программу, ок?))
У меня есть славная работа, а это всего лишь свободное время и разминка.
Относительно ссылок на сайты, где флешем показываются изображения, но прямой ссылки на скачивание нет - я могу сделать небольшую статью how-to по извлечению картинок. Сайты ЭЛАР так легко поддались именно потому что большая часть клиентской логики вынесена во флеш, а флеш - это практически открытый код, нужно только подсмотреть где нужно. В большинстве же своем такой подход не используется, логика зашита на сервере, а не на клиенте. Так что автоматизировать поиск по таким сайтам невозможно.
anto
моя программа, как написано во введении, работает с теми же данными, что доступны каждому на сайтах. Это просто альтернативный клиент, и все. Ваша же задумка подразумевает незаконное получение скрытой информации, а это нехорошо.
|
Тема: TsamoSaver
3.03.2012, 13:23
FazU,
цитата с сайта Я.Д.
В странах СНГ пополнить счет в Яндекс.Деньгах можно наличными через системы денежных переводов CONTACT и Anelik, где есть прием и белорусских рублей, и украинских гривен, и тенге.
|
Тема: TsamoSaver
3.03.2012, 12:36
Исправил ошибку с "ответом сервера". Добавил красивостей)))
По типам записей (Бракосочетание, рождение, смерть) ищет, но время увеличивается колоссально (у меня до 15-20 секунд!!!) просто нужно увеличивать таймаут и ждать(( видимо отвратительный алгоритм и слабый сервер у них.
По местам долго искал где ошибка, пока не попробовал поискать на самом сайте - так там оно тоже не работает - даже при выборе места из списка. В общем реализация пермского проекта ЭЛАР - знатная халтура.
ЭЛАРу мне кажется на эту разработку просто плевать - они выполнили контракт, получили бюджетные деньги. Все. Тем кто эти деньги давал наверно тоже. Причины понятны любому здравомыслящему и воспринимающему любые сми кроме Первого канала.
|
Тема: TsamoSaver
2.03.2012, 21:47
FazU,
Это в каком разделе? Подвиг, Мемориал или Пермь? Постоянно или однократно происходит? Только на этой фамилии?
|
Тема: TsamoSaver
2.03.2012, 18:06
Новая версия доступна по прежнему адресу!
Siegehardus,
В меню настроек появился пункт "Таймаут" - поставьте побольше (в предыдущей версии было зафиксировано значение 10000, теперь 25000 и можно изменять соответственно)
vnbob,
В параметрах поиска теперь доступен не только пункт "Количество записей", но и "начиная с записи №". Таким образом стало возможно выбирать диапазоны начиная с указанной позиции. То есть можете выбрать первую тысячу, затем вторую, указав начало "1000", затем третью, установив "2000" и так далее.
Temych,
Пермь доступна для поиска и сохранения! Пробуйте))
|
Тема: TsamoSaver
24.02.2012, 11:12
Temych
Сделать можно, но по срокам не скажу...
Есть еще кроме пермских архивов подобные проекты? Кажется где-то встречал упоминания про сканирование в самарских архивах
|
Тема: TsamoSaver
24.02.2012, 10:48
vnbob
Да, по делу конечно принимаются)
не совсем понял что имелось ввиду под пунктом 1. Вы хотите видеть количество записей ВСЕГО по данному запросу когда это число больше введенного ограничения(макс. кол-во записей)? Это невозмжно - система собранная Эларом не возвращает тотал записей. Именно поэтому у них на сайте изначально 5 страниц результатов, даже если на самом деле полторы страницы набралось.
Если я не так понял - напишите.
По второму пункту - я думаю можно сделать пункт "отметить выделенные", то есть в таблице результатов вы выделяете все нужные строки, а затем по правой кнопке мыши становится доступна эта команда. Так можно будет в три действия отметить нужный вам диапазон.
|
Тема: TsamoSaver
10.02.2012, 15:13
FazU,
проверки новых версий и автообновления не будет.
Возможно программе не хватает прав для создания директории в этой папке. Если это win7 то стоит попробовать
запустить от имени администратора. Я сделаю доп.проверку в подобных местах.
|
Тема: TsamoSaver
10.02.2012, 14:15
FazU,
автоматическое обновление можно сделать при наличии файлового хостинга. Google не предоставляет возможность напрямую хранить файлы. Платить деньги за платные сервисы я не хочу. Кроме того, тот же ClickOnce в манифестах несет информацию о моем компьютере. Я не хочу выносить ее на всеобщее обозрение.
И не нужно указывать что НУЖНО сделать. Предпочтительнее указать что МОЖНО сделать. Согласитесь, а?
|
|
|
