archivestra - ÏÎ äëÿ àâòîìàòè÷åñêîé èíäåêñàöèè ðóêîïèñíîãî ò

Ïðèâåò, êîëëåãè!

Ïîëàãàþ, ÷òî âñåì èçâåñòåí ßíäåêñ Àðõèâ https://ya.ru/archive/search - ðîñêîøíûé ñåðâèñ, êîòîðûé âûïîëíÿåò àâòîìàòè÷åñêóþ èíäåêñàöèþ ðóêîïèñíîãî òåêñòà àðõèâíûõ äîêóìåíòîâ, ñîõðàíÿåò ðàñïîçíàííûé òåêñò â ÁÄ, à çàòåì ïîçâîëÿåò èñêàòü äîêóìåíòû ïî ñîäåðæèìîìó. Ãëàâíûé åãî íåäîñòàòîê - íåïîëíîòà, âûçâàííàÿ òåì, ÷òî
1) ìíîãèå àðõèâû îòêàçûâàþòñÿ ñîòðóäíè÷àòü ñ ßíäåêñîì èëè ñîòðóäíè÷àþò "äëÿ ãàëî÷êè";
2) ïðîñòûì ïîëüçîâàòåëÿì íå ïîçâîëåíî çàãðóæàòü ñâîè êîëëåêöèè îòñíÿòûõ àðõèâíûõ äîêóìåíòîâ äëÿ ðàñïîçíàâàíèÿ, ò.ê. ìîæåò âîçáóäèòüñÿ "ïðàâîîáëàäàòåëü" ñíèìêîâ.

×àñòè÷íî ïðîáëåìó íåïîëíîòû ïîïûòàëñÿ ðåøèòü äðóãîé ñåðâèñ (ïðè÷åì åùå äî ïîÿâëåíèÿ ß.Àðõèâà ;D) - Ãåíîòåê Àðõèâû https://www.genotek.ru/archives/, êîòîðûé ïðîèíäåêñèðîâàë òûñÿ÷è ñíèìêîâ, ñäåëàííûõ ìîðìîíàìè, è äàë ê íèì äîñòóï. Íî ó íåãî êàê ðàç ñëó÷èëàñü ïðîáëåìà ¹2, êàê ìèíèìóì, ñ Òóëüñêèì àðõèâîì - ïî èòîãó, äîñòóï ê ñíèìêàì ÃÀÒÎ ïðèøëîñü óáðàòü.

ß ïðåäëàãàþ ñëåäóþùåå ðåøåíèå: îòêàçàòüñÿ îò ðàçìåùåíèÿ ñíèìêîâ âîîáùå! Äëÿ ýòîãî áûë ðàçðàáîòàí èíñòðóìåíò archivestra (archive orchestra - àðõèâíûé îðêåñòð/îðêåñòðàòîð àðõèâîâ), êîòîðûé ðàáîòàåò ñëåäóþùèì îáðàçîì:
1) îòïðàâëÿåò ñíèìîê äîêóìåíòà íà ðàñïîçíàâàíèå â Yandex Cloud Vision OCR;
2) ïîëó÷àåò îòâåò ñ ðàñïîçíàííûì òåêñòîì (ßíäåêñ äàåò êîîðäèíàòû êàæäîãî ðàñïîçíàííîãî ñëîâà) è ñîõðàíÿåò åãî â ÁÄ;
3) ïðè ïîëó÷åíèè çàïðîñà, ñîáèðàåò èç ðàñïîçíàííûõ ñëîâ êàðòèíêó òàê, ÷òîáû êàæäîå ðàñïîçíàííîå ñëîâî çàíèìàëî ðîâíî òî ïðîñòðàíñòâî íà èçîáðàæåíèè, êîòîðîå çàíèìàë åãî ðóêîïèñíûé ïðîîáðàç, à çàòåì îòäàåò åãî ïîëüçîâàòåëþ.

Âîò êàê-òî òàê, ñëåâà íàïðàâî: îðèãèíàë, ñîáðàííàÿ êàðòèíêà, ñîâìåùåíèå


Èñõîäíûé êîä ëåæèò òóò:
https://github.com/Daemon2017/archivestra

À çäåñü íàõîäèòñÿ ñàéò, êóäà ÿ çàãðóçèë ïî÷òè âñå èìåþùèåñÿ ó ìåíÿ äîêè (ÐÑ, ÈÐ, âåäîìîñòè î ÷èñëå íàñåëåíèÿ) ïî ìîåìó ðîäíîìó ñåëó Êîðèíó Àðçàìàññêîãî óåçäà Íèæåãîðîäñêîé ãóáåðíèè
https://daemon2017.github.io/archivestra/
1-3ÐÑ íå ñòàë çàëèâàòü, ò.ê. óæå ïî 4-5ÐÑ âèäíî, ÷òî øðèôò 18 âåêà ßøêà íå âûòÿãèâàåò(

Íåäàâíî ó ßíäåêñà áûë åäèíûé òàðèô íà âñå ìîäåëè: 0.13 ðóáëåé çà ñíèìîê, íî ñåé÷àñ öåíû íà ìîäåëü ðàñïîçíàâàíèÿ ðóêîïèñíîãî òåêñòà âûðîñëè â 10+ ðàç - äî 1.5 ðóáëåé çà ñíèìîê. Íî ýòî âñ¸ åùå î÷åíü äåìîêðàòè÷íî: ìîþ êîëëåêöèþ èç 700 ñòðàíèö ðàñïîçíàëè çà 1000+ ðóáëåé. Àêòóàëüíûå ðàñöåíêè çäåñü:
https://yandex.cloud/ru/docs/vision/pricing

Íåìíîãî î êà÷åñòâå ðàñïîçíàâàíèÿ ßíäåêñà.

Åñëè êðàòåíüêî: ê ñîæàëåíèþ, ðåçóëüòàò íå âñåãäà òàê õîðîø, êàê õîòåëîñü áû. Íî ßíäåêñ ïîñòîÿííî ñîâåðøåíñòâóåò ñâîé ÈÈ, òàê ÷òî ìîæíî áóäåò ïîïðîáîâàòü ïîâòîðíî ïðîãíàòü ñíèìêè ÷åðåç ãîäèê - âîçìîæíî, ÷òî ðåçóëüòàò áóäåò ëó÷øå.
×òî èìåííî âëèÿåò íà ðåçóëüòàò - íå ÿñíî, íî åñòü äîãàäêè:
* êà÷åñòâî ñíèìêà: ïî îäíîé è òîé æå ÐÑ îäíîãî è òîãî æå ñåëà (ò.å. ðàçíûå êîïèè îäíîé ñêàçêè) ôîòêè ÃÀÍÎ âåñÿò 1 Ìá, à ôîòêè ÖÀÍÎ - ïî÷òè 10 Ìá. Ðàçíèöà, êîíå÷íî, íå â 10 ðàç, íî îíà è åñòü è îíà â ïîëüçó òÿæåëûõ ñíèìêîâ;
* ïî÷åðê ïèñöà: òóò âñ¸ êàê ó ëþäåé.

Íåêîòîðûå äåëà ðàñïîçíàëèñü î÷åíü õîðîøî - äàæå öèôðû åñòü.


À íåêîòîðûå - î÷åíü ïëîõî. Íàïðèìåð, ðåâèçèÿ 1782 ãîäà ïî íàøåìó ñåëó.


Çàáàâíàÿ ñèòóàöèÿ: íà ñòðàíèöå 3 ñåìüè Äóðíàéêèíûõ, íî ßøåíüêà íè ðàçó íå ñìîã ðàñïîçíàòü ôàìèëèþ ïðàâèëüíî ;D Òî Äèðèÿéêèí, òî Àóðíîìêèí, òî Àóðíàíêèí.

Ms_Hedgehog íàïèñàë:

[q]

Òàê êàê æå â èòîãå ìîæíî ðàñøèôðîâàòü ðóêîïèñíûå çàïèñè? Ïðîñòèòå, åñëè òóïëþ, òàê è íå ïîíÿëà, ìîæíî ëè êóäà-òî çàãðóçèòü êàðòèíêó (ñòðàíèöó èç îöèôðîâàííîãî àðõèâíîãî äîêóìåíòà), ÷òîáû ïîíÿòü, ÷òî òàì íàïèñàíî

[/q]

Íåò, çàãðóçèòü êàðòèíêó äëÿ ðàñïîçíàâàíèÿ íåëüçÿ, íî åñëè åñòü íàâûêè ðàçðàáîòêè íà Python è ðàáîòû ñ Docker, òî ìîæíî ðàçâåðíóòü ñâîé ýêçåìïëÿð ñåðâèñà, ÷òîáû ÷åðåç íåãî ðàñïîçíàâàòü òåêñò è âåñòè ïîèñê ïî íåìó.