ГАТО - Общие вопросы по разделу - Генеалогический форум. Тема №11044

На сайте ВГД собираются люди, увлеченные генеалогией, историей, геральдикой и т.д. Здесь вы найдете собеседников, экспертов, умелых помощников в поисках предков и родственников. Вам подскажут где искать документы о павших в боях и пропавших без вести, в какой архив обратиться при исследовании родословной своей семьи, помогут определить по старой фотографии принадлежность к воинским частям, ведомствам и чину. ВГД - поиск людей в прошлом, настоящем и будущем!

Это очень круто, что ГАТО запустили АИС. И очень круто, что они купили Питерский софт, а не глючный ЭЛАРовский.

Но вот скорость публикации материалов и пространные аргументы про дополнительную проверку уже доступных в читалке оцифровок вызывают недоумение. Ровно как и качество снимков. Текущими темпами публикации для меня, как видимо и для большинства исследователей, польза от АИС только в просмотре неиндексированных описей, а давно доступные в читалке дела мы рискуем увидеть через годы)))

О технической стороне загрузки всех дел разом

Я больше 10 лет занимался веб-разработкой, в т.ч. бэкэндом (серверная часть), и с уверенностью могу сказать, что технически процесс публикации всех материалов разом в автоматическом режиме требует около 4х часов работы программиста невысокой квалификации. За эти 4 часа выполняются следующие этапы работы:
- анализ архитектуры базы данных АИС, чтобы понять, куда именно и в каком формате пакетно подгружать образы
- анализ имеющегося файлового архива и написание скрипта, который составит индекс файлового архива
- доработка скрипта, чтобы он подгрузил весь файловый архив в базу данных АИС
- отладка и финальный запуск скрипта

Для выполнения этой работы не нужно ни участие разработчиков АИС, ни какие-то дополнительные лицензии или инструменты.

Причем у меня есть предположение, что АИС была поставлена разработчиками с уже готовым скриптом для пакетной загрузки, т.к. это утилита первой необходимости.

О 3хнедельном отключении системы для улучшения качества образов

Что же касается вопроса о 3хнедельном отключении системы для улучшения качества образов - тут важно понимать несколько нюансов:
1) Процесс кэширования образов в улучшенном качестве технически не может быть завязан на необходимость отключения системы. Возможно, в системе действительно есть кнопка "изменить формат образов", после нажатия на которую по какой-то причине сервер виснет на время обработки всех образов. Если это так, то опять же, за пару часов работы программиста невысокой квалификации возможно создать скрипт, который будет выполнять ту же работу без остановки АИС, не вешая сервер, не ограничивая доступ к образам (недоступен будет только один образ, обрабатываемый в текущий момент времени, а обработка одного образа - это около пары секунд).

2) Из имеющейся информации не ясно, исходя из чего посчитана цифра в 3 недели: то ли исходя из 960ти опубликованных дел, то ли исходя из всех оцифрованных дел, включая те, которые пока недоступны в АИС. Если первый вариант - то при 1800 делах в АИС отключение потребуется на 6 недель и т.д. А если второе - время отключения не изменится, пока архив не отсканирует новые дела.

Архив - бюджетная организация с планируемым бюджетом. Если в архиве нет штатного программиста, который может взять и сделать работы, которые суммарно займут менее одного рабочего дня, то для нас (исследователей) было бы важно заложить в бюджет на 2022 год этот несчастный день работы наемного программиста)))

О размере жестких дисков на сервере

Видел тут предположения, что низкое качество образов в АИС связано с экономией на серверном оборудовании. Но исходя из разъяснения архива о том, что изменение качества образов возможно переключением настройки в АИС, можно сделать однозначный вывод, что на сервере хранятся все образы в исходном качестве, а АИС создает кэш на основе них. Если исходный образ занимает 10мб (ГАВО, к примеру, выкладывает исходники от 8 до 12мб на цветной разворот), то кэш к нему в хорошем качестве - менее 1мб. То есть, суммарно кэш занимает менее 10% от общего объема образов, и это явно несущественная цифра в плане загруженности хранилища или стоимости жестких дисков.

О необходимости повторной проверки образов перед публикацией в АИС
На мой взгляд, это звучит, либо как глупость, либо как отмаза. ГАВО, к примеру, выкладывает образы без доп. проверки. Действительно, иногда попадаются пропущенные листы (да они и в РГАДА в 350м фонде встречаются). Иногда встречаются дела, которые случайно загрузились в соседние дела, в результате чего при просмотре дела подряд листается по странице то одного дела, то другого. Но все это никак не мешает в целом пользоваться документами, а сотрудники архива охотно исправляют найденные ошибки.

При этом трудоемкость при проверке тысяч дел сотрудником архива перед публикацией и трудоемкость исправления отдельных ошибок в единицах дел после их обнаружения исследователями явно говорит об экономической нецелесообразности проверки всех дел.

Мой вывод
Для исследователей будет оптимальным публикация всех документов в АИС единым скопом, без доп. проверок. В случае невозможности архивом нанять программиста на один день сейчас по экономическим соображениям, целесообразно заложить эту работу в бюджет следующего года.

>> Ответ на сообщение пользователя Nick_Kourpan от 14 июля 2021 22:14
Неистово плюсую! Как держатель фотохостинга (правда, маленького) подтверждаю, что 3 недели это если они ручками будут переконвертировать.

mititch написал:

[q]
>> Ответ на сообщение пользователя Nick_Kourpan от 14 июля 2021 22:14
Неистово плюсую! Как держатель фотохостинга (правда, маленького) подтверждаю, что 3 недели это если они ручками будут переконвертировать.
[/q]

Тут еще остается за кадром, какой у них хостинг - выделенный сервер или виртуалка. Вот у НИАБа, к примеру, виртуалка)))) Если виртуалка с лимитами на процессорное время, то не удивлюсь, что там реально 3 недели нужно, чтобы просчитать весь кэш))))

Для сравнения показателей - у меня выделенный сервер в Hetzner, оборудование 2015 года, для личного фотоархива написал простенький скрипт на PHP, кэш изображений просчитываю стандартными функциями, около 10000 образов, общий размер исходников около 200гб. В среднем, кэш пересчитывается за 12 часов плюс минус (это PHP 7.3, на предыдущих версиях PHP то же самое занимало около суток). Совсем не ясно, откуда 3 недели. Ну совсем)))

Nick_Kourpan написал:

[q]
Это очень круто, что ГАТО запустили АИС. И очень круто, что они купили Питерский софт, а не глючный ЭЛАРовский.
[/q]

С эти не соглашусь категорически - неужели Вы не понимаете, что вместе с софтом они переняли и ухудшение качества до 1600 точек и клеймение. Хорошо, что Курский архив и ЦГА Москвы, тоже недавно открывшие доступ, пошли по другому пути, с них Тверскому архиву надо брать пример!

anto написал:

[q]
вместе с софтом они переняли и ухудшение качества до 1600 точек и клеймение
[/q]

Качество веб-версий образов и клеймение - опциональные настройки, а не базовая особенность этого софта. Но они мне тоже не нравятся, я за несжатые образы и отсутствие клеймения)))

Nick_Kourpan написал:

[q]

Качество веб-версий образов и клеймение - опциональные настройки, а не базовая особенность этого софта.
[/q]

Это понятно, но но имея примеры архивов СПб (где ухудшение качества и клеймения) и приграничного архива (где нет ухудшения качества, но есть клеймение) на этом софте они по инерции переняли и это, странно было бы, если б так не было.
Так что уж лучше б Элар был.

anto написал:

[q]
Так что уж лучше б Элар был.
[/q]

Видимо, за поддержку Элару надо платить больше. А этот софт (такой же, как и в СПб) дешевле и, возможно, проще в обслуживании.

tu2-167 написал:

[q]
По моим личным ощущениям всё достаточно нормально читаемо. Проблема может быть в мониторе. Но мне удаётся разобрать 95% текста. Самая большая беда при сильно угасших чернилах или наоборот при проступании чернил с оборотной стороны листа. Но таких мне попалось пока из десяти тысяч просмотренных около 100 страниц, наверное.
Нынешний размер мне кажется оптимальным с точки зрения загрузки страниц и качества изображения. Уменьшение сжатия действительно приведёт к перегрузкам сервера. Будем чаще ловить "ошибка, сервер не отвечает" на экране при большом количестве одновременно просматривающих.
Честно говоря не вижу никакого смысла в пережатии. Может потому, что я просто это делаю для себя в свободное время, а не пытаюсь на этом заработать выполняя заказы. Поэтому могу потратить больше времени на разбор трудно читаемого текста. У мормонов качество выше, но через всякие обходы загрузка одной страницы занимает ой сколько времени. Поэтому быстро перелистнуть на нужную страницу не получается.

Вот чего лично мне не хватает, так это пометочки "новинка" напротив описей и дел, которые добавляются. Смотреть с оглядкой по скринам прошлых дней что же там ещё выложили - очень неудобно.
[/q]

Согласна. Качество сканов вполне нормальное. Очень даже нормальное!

Если известен номер нужного дела, фонд и номер описи, то найти это дело не проблема в платном доступе. И если оцифровано, то и смотреть.

По сравнению с тем, что было много лет в ГАТО — прогресс очевидный!

Цены на копирование все равно высокие, и даже своими средствами.

Тормозить на 3 недели работу архива не стоит.

Пусть скорее выкладывают оцифровки!

Самый больной вопрос --почему нельзя фотографировать в чит.зале с монитора своим аппаратом (бесплатно, как в других архивах!).

>> Ответ на сообщение пользователя Lyubov_N от 16 июля 2021 9:22

Вам тоже очень везет. Даже у мормонов качество образов в несколько раз лучше. Правда там не всё есть. Мне попадались дела, которые, при качестве в многие разы лучше, тяжело читать. При таком темпе выкладки нет у некоторых нет никаких шансов посмотреть нужные дела. Ведь это надо потратить много времени на обрезку файлов.

На портале Архивы Тверской области выложена информация по муниципальным архивам.

https://archives.tverreg.ru/infres
По 38 муниципальным архивам Тверской области выложено:
фонды - 5287
описи - 6053
дела - 214720
Оцифрованных образов описей и дел нет. Все что выложено индексировано.

Муниципальные архивы Тверской области
1. Андреапольский муниципальный округ: фонды - 18 / описи - 0 / дела - 0
2. Бежецкий район: фонды - 0 / описи - 0 / дела - 0
3. Бельский район: фонды - 195 / описи - 273 / дела - 1144
4. Бологовский район: фонды - 0 / описи - 0 / дела - 0
5. Весьегонский муниципальный округ: фонды - 323 / описи - 347 / дела - 473
6. город Вышний Волочек: фонды - 0 / описи - 0 / дела - 0
7. Жарковский район: фонды - 100 / описи - 154 / дела - 18306
8. Западнодвинский район: фонды - 195 / описи - 330 / дела - 46058
9. Зубцовский район: фонды - 0 / описи - 0 / дела - 0
10. Калининский район: фонды - 0 / описи - 0 / дела - 0
11. Калязинский район: фонды - 129 / описи - 192 / дела - 13
12. Кашинский городской округ: фонды - 0 / описи - 0 / дела - 0
13. Кесовогорский район: фонды - 0 / описи - 0 / дела - 0
14. город Кимры: фонды - 382 / описи - 570 / дела - 5089
15. Конаковский район: фонды - 312 / описи - 563 / дела - 3695
16. Краснохолмский район: фонды - 145 / описи - 3 / дела - 2
17. Кувшиновский район: фонды - 204 / описи - 259 / дела - 1666
18. Лесной район: фонды - 0 / описи - 0 / дела - 0
19. Лихославльский район: фонды - 0 / описи - 0 / дела - 0
20. Максатихинский район: фонды - 0 / описи - 0 / дела - 0
21. Молоковский район: фонды - 7 / описи - 9 / дела - 0
22. Нелидовский городской округ: фонды - 201 / описи - 349 / дела - 67023
23. Оленинский район: фонды - 200 / описи - 129 / дела - 3280
24. Осташковский городской округ: фонды - 441 / описи - 821 / дела - 608
25. Пеновский район: фонды - 0 / описи - 0 / дела - 0
26. Рамешковский район: фонды - 0 / описи - 0 / дела - 0
27. город Ржев: фонды - 249 / описи - 432 / дела - 753
28. Ржевский район: фонды - 0 / описи - 0 / дела - 0
29. Сандовский район: фонды - 280 / описи - 331 / дела - 180
30. Селижаровский район: фонды - 173 / описи - 250 / дела - 10190
31. Сонковский район: фонды - 17 / описи - 35 / дела - 1558
32. Старицкий район: фонды - 267 / описи - 418 / дела - 6672
33. Спировский район: фонды - 294 / описи - 586 / дела - 48010
34. Тверской городской архив: фонды - 0 / описи - 0 / дела - 0
35. город Торжок и Торжокский район: фонды - 610 / описи - 2 / дела - 0
36. Торопецкий район: фонды - 545 / описи - 0 / дела - 0
37. Удомельский городской округ: фонды - 0 / описи - 0 / дела - 0
38. Фировский район: фонды - 0 / описи - 0 / дела - 0

По 16 архивам совсем ничего нет. По остальным все очень по разному. Нелидовский городской округ, Спировский район и Западнодвинский район в лидерах по индексированным делам.

ГАТО - Общие вопросы по разделу

ДИАЛОГОВАЯ тема (вопросы/ответы)