Ñêà÷èâàíèå ìàòåðèàëîâ ñ Familysearch.org

FS Film Trawler - Ðàñøèðåíèå Chrome äëÿ ñáîðà ññûëîê íà êàäðû ñ FamilySearch Ñòðàíèöà ïðîåêòà íà GitHub

Èñïîëüçîâàë íàðàáîòêè è ïîäõîä euhome. Äîïîëíèë íåîáõîäèìûì ìíå ôóíêöèîíàëîì, è íàøåë êàê óáðàòü îãðàíè÷åíèå íà ñêà÷èâàíèå.
Èñõîäíèêè òóò. Íå óâåðåí ÷òî áóäåò âðåìÿ ïîääåðæèâàòü, ðàññêàçûâàòü êàê èñïîëüçîâàòü. Ïîýòîìó ñðàçó è ïîäðîáíî.

Äåëàë äëÿ ñåáÿ. Ñêà÷àë òðè êàòàëîãà ïîëíîñòüþ, îêîëî 160.000 ñíèìêîâ çà äâà äíÿ è äåñÿòîê êëèêîâ ìûøè, òîëüêî äâà ðàçà çàëîãèíèâøèñü.
Îñíîâíûå îòëè÷èÿ îò ñêðèïòà euhome - âîçìîæíîñòü çà ðàç îáðàáîòàòü öåëûé êàòàëîã èëè ñïèñîê ïëåíîê, âûáîð äèàïàçîíîâ êàäðîâ.

Âàæíî: åñëè âàì íóæíî ñêà÷àòü âñåãî ïàðó ïëåíîê, òî âàì óäîáíåå âîñïîëüçîâàòüñÿ ðåøåíèåì euhome.
Íî ïðè ýòîì âû ìîæåòå âçÿòü èç ýòîé èíñòðóêöèè ñêðèïò äëÿ Tampermonkey, êîòîðûé èçáàâèò âàñ îò ëèìèòà íà ñêà÷èâàíèå.

Ïðåäâàðèòåëüíûå òðåáîâàíèÿ

Ïåðåä èñïîëüçîâàíèåì ýòîãî ðàñøèðåíèÿ íåîáõîäèìî íàñòðîèòü Firefox ñî ñëåäóþùèìè äîïîëíåíèÿìè äëÿ çàãðóçêè êàäðîâ:

1. Óñòàíîâèòü DownThemAll!
2. Óñòàíîâèòü Tampermonkey
3. Ñêðèïò FS_NoLimit äëÿ ñíÿòèÿ îãðàíè÷åíèé íà ñêà÷èâàíèå (ñì. äàëåå ÷òî ñ íèì äåëàòü)

Èíñòðóêöèè ïî óñòàíîâêå

1. Íàñòðîéêà Firefox:
- Óñòàíîâèòå Firefox, åñëè îí åùå íå óñòàíîâëåí
- Óñòàíîâèòå äîïîëíåíèÿ DownThemAll! è Tampermonkey
- Óñòàíîâèòå ñêðèïò FS_NoLimit (êðàòêàÿ èíñòðóêöèÿ)
- Âîéäèòå â ñâîþ ó÷åòíóþ çàïèñü FamilySearch â Firefox

Ïîäðîáíàÿ èíñòðóêöèÿ ïî óñòàíîâêå ñêðèïòà â Tampermonkey:
1. Îòêðîéòå Firefox è óáåäèòåñü, ÷òî Tampermonkey óñòàíîâëåí
2. Ïåðåéäèòå íà ñòðàíèöó FS_NoLimit
3. Ñêîïèðóéòå âåñü êîä ñêðèïòà èç README (îí íàõîäèòñÿ ïðÿìî íà ãëàâíîé ñòðàíèöå)
4. Íàæìèòå íà èêîíêó Tampermonkey â Firefox
5. Âûáåðèòå "Ñîçäàòü íîâûé ñêðèïò"
6. Óäàëèòå âåñü øàáëîííûé êîä è âñòàâüòå ñêîïèðîâàííûé êîä
7. Íàæìèòå Ctrl+S èëè êíîïêó "Ñîõðàíèòü" â ðåäàêòîðå
8. Ïðîâåðüòå, ÷òî ñêðèïò ïîÿâèëñÿ â ñïèñêå óñòàíîâëåííûõ ñêðèïòîâ Tampermonkey:
- Íàæìèòå íà èêîíêó Tampermonkey â Firefox
- Âûáåðèòå "Ïàíåëü óïðàâëåíèÿ"
- Óáåäèòåñü, ÷òî ñêðèïò åñòü â ñïèñêå è îí âêëþ÷åí

2. Ðàñøèðåíèå Chrome:
- Óñòàíîâèòå ýòî ðàñøèðåíèå â Chrome (êðàòêàÿ èíñòðóêöèÿ)
- Âîéäèòå â ñâîþ ó÷åòíóþ çàïèñü FamilySearch â Chrome

Ïîäðîáíàÿ èíñòðóêöèÿ ïî óñòàíîâêå ðàñøèðåíèÿ Chrome èç ïàïêè:
1. Îòêðîéòå Chrome
2. Ââåäèòå â àäðåñíîé ñòðîêå: chrome://extensions/
3. Âêëþ÷èòå "Ðåæèì ðàçðàáîò÷èêà" (ïåðåêëþ÷àòåëü â ïðàâîì âåðõíåì óãëó)
4. Íàæìèòå "Çàãðóçèòü ðàñïàêîâàííîå ðàñøèðåíèå"
5. Âûáåðèòå ïàïêó ñ ðàñïàêîâàííûì ðàñøèðåíèåì
6. Ðàñøèðåíèå äîëæíî ïîÿâèòüñÿ â ñïèñêå óñòàíîâëåííûõ
7. Äëÿ óäîáñòâà çàêðåïèòå çíà÷îê ðàñøèðåíèÿ íà ïàíåëè:
- Íàæìèòå íà çíà÷îê ïàçëà â ïðàâîì âåðõíåì óãëó Chrome
- Íàéäèòå ðàñøèðåíèå â ñïèñêå
- Íàæìèòå íà çíà÷îê áóëàâêè ðÿäîì ñ ðàñøèðåíèåì

Êàê èñïîëüçîâàòü

0. Ïîñëå óñòàíîâêè ðàñøèðåíèÿ:
- Íàéäèòå çíà÷îê ðàñøèðåíèÿ â ïðàâîì âåðõíåì óãëó Chrome (åñëè íå âèäåí, íàæìèòå íà çíà÷îê ïàçëà)
- Çàêðåïèòå çíà÷îê íà ïàíåëè äëÿ áûñòðîãî äîñòóïà
- Ïðè êëèêå íà çíà÷îê îòêðîåòñÿ îêíî ðàñøèðåíèÿ

1. Ââåäèòå íîìåð êàòàëîãà èëè íîìåð ïëåíêè â ñîîòâåòñòâóþùåå ïîëå
2. Íàæìèòå "Íà÷àòü ïîèñê"
3. Äîæäèòåñü çàâåðøåíèÿ ïîèñêà
4. Äëÿ êàæäîé ïëåíêè âû ìîæåòå:
- Âûáðàòü êàäðû äëÿ ýêñïîðòà, èñïîëüçóÿ ïîëå ââîäà
- Èñïîëüçîâàòü ñëåäóþùèå ôîðìàòû äëÿ íîìåðîâ êàäðîâ:

• Îòäåëüíûå íîìåðà: 1,2,3
• Äèàïàçîíû: 1-100
• Êîìáèíèðîâàííî: 1-50,75,80-90
  

5. Íàæìèòå "Ýêñïîðò ññûëîê" äëÿ ñîçäàíèÿ html ôàéëà ñî ññûëêàìè
6. Îòêðîéòå html ôàéë â Firefox
7. Èñïîëüçóéòå DownThemAll! äëÿ çàãðóçêè âñåõ êàäðîâ:
- Ùåëêíèòå ïðàâîé êíîïêîé ìûøè è âûáåðèòå DownThemAll!
- Íàñòðîéòå ìàñêó çàãðóçêè *text*\*name*.*ext* äëÿ ñêà÷èâàíèÿ êàæäîé ïëåíêè â îòäåëüíóþ ïàïêó
- Íà÷íèòå ñêà÷èâàíèå

Âàæíûå çàìå÷àíèÿ

• Íåîáõîäèìî áûòü àâòîðèçîâàííûì â FamilySearch êàê â Chrome, òàê è â Firefox
• Ïîñëå âõîäà â Firefox ðåêîìåíäóåòñÿ âûéòè èç ó÷åòíîé çàïèñè íà âñåõ äðóãèõ óñòðîéñòâàõ è áðàóçåðàõ
• Ñåññèÿ FamilySearch àâòîìàòè÷åñêè çàâåðøàåòñÿ ÷åðåç 24 ÷àñà
•  íàñòðîéêàõ DownThemAll! ðåêîìåíäóåòñÿ óñòàíîâèòü êîëè÷åñòâî ïàðàëëåëüíûõ çàêà÷åê (ïàðàìåòð "ñåòü" = 1 â íàñòðîéêàõ DownThemAll!) ðàâíûì 1, ÷òîáû èçáåæàòü îøèáêè "429 Too Many Requests"
• Ðàñøèðåíèå ïîääåðæèâàåò àíãëèéñêèé, íåìåöêèé è ðóññêèé èíòåðôåéñ
• Çàãðóçêà êàäðîâ äîëæíà âûïîëíÿòüñÿ ÷åðåç Firefox ñ ïîìîùüþ DownThemAll!
  

LonerD íàïèñàë:

[q]

tsamosaver íàïèñàë:

[q]

Ñêðèïò FS_NoLimit äëÿ ñíÿòèÿ îãðàíè÷åíèé íà ñêà÷èâàíèå

[/q]

Ýòîò ñêðèïò ðåøàåò ïðîáëåìó ïåðìàáàíà àêêàóíòà çà ñêà÷èâàíèå çíà÷èòåëüíûõ îáú¸ìîâ (10-15 ïë¸íîê çà äåíü) è ïðîáëåìó ñáðîñà àâòîðèçàöèè ïðè áûñòðîì ñêà÷èâàíèè?

[/q]

Äà. Åñëè êà÷àåòå â îäèí ïîòîê, òî âñå õîðîøî. Çà ïîñëåäíèå ñóòêè ó ìåíÿ ïðèìåðíî 55.000 ñíèìêîâ ñêà÷àëîñü, ýòî îêîëî 60 ìèêðîôèëüìîâ. Âñåãî ñêà÷àë ïðèìåðíî 160 ïëåíîê çà ïîñëåäíèå äíè. Âûêèäûâàëî òîëüêî ïî èñòå÷åíèè 24 ÷àñîâîé ñåññèè.

tsamosaver íàïèñàë:

[q]

Îòêðîéòå html ôàéë...
Ùåëêíèòå ïðàâîé êíîïêîé ìûøè è âûáåðèòå DownThemAll!...
- Íà÷íèòå ñêà÷èâàíèå

[/q]

Âàæíîå äîïîëíåíèå. Â õðîìîáðàóçåðàõ ïðåäâàðèòåëüíî îòêðûòü íàñòðîéêè ðàñøèðåíèÿ
chrome://extensions/?id=nljkibfhlpcnanjgbnlnbjecgicbjkge
è âêëþ÷èòü "Allow access to file URLs" (èíà÷å íå âèäèò ññûëêè íà ñòðàíèöå).

NiK76 íàïèñàë:

[q]

Êîëëåãè ïîäñêàæèòå.
Èìåþ íîìåð ãðóïïû ñíèìêîâ ñ óêðàèíñêîãî àðõèâà 114980980.
Ðàíüøå êàê-òî êà÷àë ñ íîóòáóêà ïîäîáíûå ñíèìêè. Ñåé÷àñ íàïèñàíî "â ñâÿçè ñ èìåþùèìèñÿ îãðàíè÷åíèÿìè ôóíêöèÿ îòêëþ÷åíà". Êàê îáîéòè? Èëè äàéòå ññûëêó ãäå ìîæíî ñêà÷àòü?

[/q]

Ïðî ïîøòó÷íîå ñêà÷èâàíèå òóò
https://forum.vgd.ru/post/1883/82882/p5172956.htm#pp5172956

Äîáðûé äåíü.
Ïîäñêàæèòå, ïîæàëóéñòà, êàê ñêà÷èâàòü öåëûìè ïëåíêàìè?
Ãäå-òî âèäåë èíñòðóêöèþ äëÿ õðîìà. Íî íå ìîãó íàéòè.