Ïðîãðàììû äëÿ îáðàáîòêè äàííûõ èç ìåòðè÷åñêèõ êíèã

Ó ìåíÿ çà÷àòêè àíàëîãè÷íîé áàçû åñòü ïî òð¸ì í.ï., ãäå ïðåäêè æèëè äîëãî è ãäå ìíîãî ôàìèëèé. Ïî îäíîìó í.ï.ïðèëè÷íîå êîë-âî ìåòðèê, ïî äðóãèì ïîêà ïî äåñÿòêó, íàèáîëåå ñòàðûå è íàèáîëåå èíòåðåñíûå âíîøó, íî âèæó, ÷òî ÷åì áëèæå ê 20 âåêó, òåì çàäà÷à ñòàíîâèòñÿ íåâûïîëíèìåå äëÿ îäíîãî ÷åëîâåêà.
Åù¸ îäèí í.ï., êîòîðûé êðóïíûé è ïî êîòîðîìó îãðîìíîå êîëè÷åñòâî ìåòðèê, íî âñå ìîè ôàìèëèè êàê íàçëî î÷åíü ðåäêèå è âûïèñûâàòü âñ¸ ïðîñòî íåïîäú¸ìíî -- áóêâàëüíî äåñÿòîê çàïèñåé èç íåñêîëüêèõ ñîòåí ìîè. Íàñåë¸ííûõ ïóíêòîâ ó ìåíÿ òîæå ïîëñîòíè.
Íî âàæíî îòìåòèòü, ÷òî ïî ñàìîé ïîëíîé áàçå, êîòîðóþ ñîñòàâèë, óæå îáíàðóæèë ìíîãî èíòåðåñíûõ äåòàëåé: äâîéíûå ôàìèëèè, ñåìüè ïîëíûõ ò¸çîê, ÷åëîâåê â íåñêîëüêèõ çàïèñÿõ ôèãóðèðóåò ïîä ñâîåé, à â îäíîé -- ïîä ôàìèëèåé òåñòÿ, õîòÿ çàïèñü î áðàêå íàéòè íå óäàëîñü (ñïàñèáî ðåäêîìó îò÷åñòâó). Äóìàþ, ýòî äàëåêî íå âñ¸, ÷òî â òàêîé áàçå ìîæíî íàéòè.
 îáùåì, âèäèòñÿ, ÷òî ïðîåêò íóæíûé, íî âñåîáúåìëþùèé ñäåëàòü ïðàêòè÷åñêè íåâîçìîæíî. Ñëèøêîì îãðîìíûé ìàòåðèàë, òðåáóþùèé íåïðåìåííîãî ó÷àñòèÿ ÷åëîâåêà. Êðóã èíòåðåñóþùèõñÿ ãåíåàëîãèåé íåáîëüøîé, à ãîòîâûõ íà òàêîé ïîäâèã -- åù¸ ìåíüøå.

coika,

[q]

Äëÿ íà÷àëà íóæíû ïðîãðàììû óñêîðÿþùèå ïðîöåññ ïåðåïå÷àòêè

[/q]

Îïèøèòå ïîäðîáíåå, ÷åãî õîòåëîñü áû. Åñëè âñå ýêñåëè â îäíîì ôîðìàòå, òî ïåðåâåñòè èõ âåá-îòîáðàæåíèå íå ïðîáëåìà.

[q]

Ìîæåò áûòü åùå êàêèå-òî ãîëîñîâûå îáðàáîòêè íàïèñàííîãî, à ïîòîì ïðåîáðàçîâàíèå â òåêñò?

[/q]

Òàê âðÿä ëè ïîëó÷èòñÿ, ïîòîìó ÷òî íè Siri, íè Àëèñà, íè Google Assistant íå ñìîãóò áîëüøóþ ÷àñòü ñëîâ ðàçîáðàòü - ïîòîì âîçèñü èñïðàâëÿé.
Îíè æå òàêèõ ñëîâ è íå çíàþò. Íàïðèìåð, "Âèòåáñêàÿ ãóáåðíèÿ" îíè îñèëÿò, íî âîò "Íåâåëüñêèé óåçä, Ñåðóòñêàÿ âîëîñòü, Æóðàâêîâñêîå îáùåñòâî, äåðåâíÿ Çàîðëèöà" - âðÿä ëè.

Ìîæíî áûëî áû ïîäóìàòü î íåéðîñåòÿõ, íî ýòî î÷åíü ñëîæíî.

arkan1973,
Õîñòèíã ýòî ñàìîå ïðîñòîå â äàííîì ñëó÷àå.
Ïîíà÷àëó ðóáëåé 200 â ìåñÿö áóäåò õâàòàòü.

Çàíîøó äàííûå â sqlite â ñâîáîäíîå îò æèçíè âðåìÿ.

Rychagov íàïèñàë:

[q]

Îïèøèòå ïîäðîáíåå, ÷åãî õîòåëîñü áû.

[/q]

Ñäåëàéòå èíñòðóìåíò, à òàì âèäíî áóäåò.
 êà÷åñòâå áàçû ìîæíî èñïîëüçîâàòü sqlite êàê âàðèàíò.
Ìîíåòèçàöèþ íàäî ïðîäóìàòü ñðàçó, íàïðèìåð, ïðåäîñòàâèâøèé äàííûå ïîëó÷àåò îò çàïðîñîâ ê ýòèì äàííûì, à ïîñòðîèâøèé ñèñòåìó ïîëó÷àåò %.
È þðèäè÷åñêèå ìîìåíòû òîæå.
Ïðè ÷åì òóò ìîðìîíû, ó ìåíÿ íàïðèìåð ó ìîðìîíîâ íè÷åãî íåò, ïðîåêò íåçàâèñèìûé íè îò êàêèõ ìîðìîíîâ, èëè äàæå êîíêóðèðóþùèé.
Äëÿ ïðèâåäåíèÿ èìåí ê îäíîìó âèäó âûáðàòü ñëîâàðü è åìó ñëåäîâàòü, íàïðèìåð ñëîâàðü Ïåòðîâñêîãî.
Ðàçíûå èìåíà, çíà÷èò ðàçíûå, ýòî óæå èññëåäîâàòåëüñêàÿ ðàáîòà.
Õîðîøî áû çàãíàòü â ñèñòåìó âñå äîêóìåíòû, à íà âûõîäå "Èñòîðèÿ ãîñóäàðñòâà Ðîññèéñêîãî" â 5-òè òîìàõ.

Ëþá÷èíîâà íàïèñàë:

[q]

Õîðîøî åñëè íà âûõîäå 50 òîìîâ ïîëó÷èòñÿ, à íå 500...
Âîëîíòåðàì òàêîé îáúåì íå îñèëèòü.

[/q]

Ìîè ðàñ÷åòû "îò ôîíàðÿ".
 îäíîì ðåãèîíå, íàïðèìåð, 5 000 ÌÊ (äàííûå îäíîãî ãîñàðõèâà). Ïîíÿòíî, ÷òî ãäå-òî âîîáùå íåò, ãäå-òî ãîðàçäî áîëüøå. Óìíîæàåì íà 85 ñóáúåêòîâ è íà ñðåäíèé ëèñòàæ 300 (àíàëîãè÷íî, åñòü ÌÊ â 50 ëèñòîâ, à åñòü â 1000).
Èòîãî îêîëî 130 ìëí ëèñòîâ.
30 ìèí íà èíäåêñàöèþ 1 ëèñòà.
Ïîëó÷àåòñÿ 65 ìëí ÷àñîâ = 8 ìëí ðàá.äíåé = 33 òûñ ëåò èíäåêñàöèè.
Ò.å. íåïðåðûâíî ïîëíûé ðàáî÷èé äåíü 33 ãîäà äîëæíû ðàáîòàòü 1000 ÷åëîâåê.
Åñëè äåëàòü äâîéíóþ èíäåêñàöèþ äëÿ óìåíüøåíèÿ îøèáîê, òî óìíîæàåì íà 2 + âðåìÿ íà àðáèòðàæ.
È ýòî òîëüêî ÌÊ, à íóæíû åùå êàê ìèíèìóì ÐÑ.

Rychagov íàïèñàë:

[q]

íè Siri, íè Àëèñà, íè Google Assistant íå ñìîãóò áîëüøóþ ÷àñòü ñëîâ ðàçîáðàòü

[/q]

 ÌÊ ñîáñòâåííî èíôîðìàöèÿ - ýòî èìåíà. Îñíîâíîé îáúåì ðàáîòû - èìåííî îíè. À Íåâåëüñêèé óåçä ìîæíî ñêàçàòü ìåäëåííî è ÷åòêî, åñëè íå õî÷åòñÿ âïèñûâàòü ðó÷êàìè. Ïîýòîìó, åñëè åñòü ïðîãðàììà ñ øàáëîíàìè, âêëþ÷àþùèìè ÂÅÑÜ ïîâòîðÿþùèéñÿ òåêñò (êðåñòüÿíèí-ñîáñòâåííèê ñåëà Øèðÿåâêè ÕÕÕ è çàêîííàÿ æåíà åãî ÕÕ, îáà ïðàâîñëàâíûå), òî ýòî áóäåò êîëîññàëüíûì îáëåã÷åíèåì-óñêîðåíèåì.