Заработал новый АИС

На сайте ЦГАМ в разделе комментариев появились спамеры.

На скриншотах ниже пример, когда размешается сообщение, состоящее из точек, а за каждой точкой ссылка.
Первый скриншот - это то, как выглядит сообщение в комментариях.
Второй скриншот - это то, что за ним скрывается. Одно сообщение - сразу 84 ссылки на сторонние ресурсы.

Такие ссылки в большинстве случаев размещаются по двум причинам.
1. Псевдо SEO специалисты пытаются раскручивать свои сайты путем размещения ссылок где угодно. И ценность размещенных ссылок зависит от авторитетности (цитируемости) сайта, на котором их размещают и от близости размещенной ссылки к главной странице. Сайт ЦГА однозначно имеет огромную цитируемость и вес, а поэтому будет являться целью таких SEO оптимизаторов и то, что сейчас видим, это только начало.
2. Ссылки размещают на спаммерские и зараженные ресурсы. Судя по приведенным на скриншоте ссылкам больше похоже на то, что они ссылаются на зараженные ресурсы.

Пытаться бороться с такими спамерами, ничего не меняя и удаляя сообщения вручную, бесполезно.
Каждое сообщение минимум полдня, а скорее всего больше будет висеть в открытом виде.
После каждого удаленного сообщения будут появляться несколько новых итп.
После блокировки или удаления пользователя будут появляться несколько новых.

Поэтому Архиву самое время задуматься над тем, как с этим бороться.
Среди множества вариантов выделю несколько:

Для размещаемых ссылок автоматически добавлять атрибут rel="nofollow". Это сигнал для поисковых систем игнорировать такие ссылки, не принимать в их расчет итп. Наличие такого атрибута на 90% снижает ценность размещенных ссылок в глазах SEO специалистов.

Есть радикальный шаг. Можно вообще запретить ссылки в комментариях в явном виде, а разрешить их только в текстовом виде.
Ссылки будут выглядеть примерно так _https://example.com/. Они видны, но перейти по ним автоматически нельзя.
Кто захочет, скопирует их в буфер обмена, вставит в адресную строку и перейдет. Для SEO-оптимизаторов это начисто убивает интерес спамить.
Для тех, кто размешает ссылки на зараженные ресурсы и маскирует ссылки за точками и другими буквами, это тоже убивает интерес.

Далее нужно думать о защите от автоматической регистрации. Возможно для этого потребуется изменить плагин с "каптчей" (вводом символов) на что-то более надежное.
Существующий плагин скорее всего не выдержит напора.

После этого нужно подумать о том, чтобы модераторы потенциально проблемные сообщения могли замечать с минимальной задержкой.
Например, абсолютно все сообщения, содержащие ссылки можно отправлять на премодерацию.
Т.е., если пользователь оставляет сообщение со ссылкой, то ему выводится уведомление о том, что сообщение отправлено на модерацию.
После этого модератор (админ сайта) подтверждает, что оно нормальное и сообщение появляется в общем доступе.
А обычные текстовые сообщение можно публиковать также как и сейчас, без модерации.

Также можно добавить у сообщений ссылку "пожаловаться". Во-первых это должно привлекать внимание модератора к спаму. Во-вторых можно включить автоматическое временное скрытие сообщение, если на него пожаловались 5-10 зарегистрированных пользователей.

Это только некоторые шаги. Их может быть гораздо больше. Нужно подумать, как отсеять спаммеров и лишить их всякого интереса гадить в комментариях.
Прошел всего пара месяцев с даты запуска новой версии сайта. Если оставить все, как есть, то со временем проблема будет только усиливаться.
Сайт архива попадет в специальные базы спаммеров и seo-специалистов. Для него напишут кучу программ, которые автоматически будут регистрировать и размещать сообщения.
Такие услуги будут продаваться на специализированных ресурсах итп.

Система регистрации и разрешения сообщений в текущем виде - это "рай" для спаммеров.

Любчинова написал:

[q]

А так ли нужные комментарии?

[/q]

Это похоже на намек с совсем радикальным решением проблемы со спамом. Я такого не предлагал.
Если комментарии нормально настроить и если их модерируют и на них отвечает сотрудник архива, то от них может быть и ощутимая польза.

Например, это кратчайший путь сообщить об ошибке в конкретном месте. Вместо того, чтобы искать в контактах email поддержки, потом писать письмо с описанием раздела в котором что-то нужно исправить, можно сделать быстрее - прямо в момент обнаружения ошибки, нажимаете "оставить комментарий" и пишите "В дате ошибка. просьба исправить" итп. Второй полезный вариант использования - написать, что находится в не подписанном деле, хотя бы уезд и год. Так другим пользователям не придется проделывать лишнюю работу. Третий вариант - постранично расписать пару десятков церквей в деле. Есть и другие полезные способы применения комментариев.

Еще бы по аналогии с этим форумом добавили возможность зарегистрированным пользователям лайкать комментарии (а лучше и лайкать, и дизлайкать), чтобы было видно, что именно важно большому количеству пользователей. Сейчас, если от разных пользователей будет два отзыва или два предложения по развитию сайта, архив в теории рассматривает их с одинаковым приоритетом. Но при этом одно сообщение может сделать сайт намного менее удобным, а второе предложение может облегчить работу сотням пользователей. Если бы под указанными в примере сообщениями был их рейтинг, условно "минус 5" и "плюс 50", то архив бы мог однозначно понять, что именно волнует и что именно хотят пользователи. А если среди большой массы выделены ключевые вопросы и проблемы, то и решать их можно в первую очередь.

P.S. В качестве шутки... А так ли нужны архивам АИС и выкладывание дел онлайн? Сайты Тамбовского и Минского архивов уже худо-бедно работают не меньше 10 лет без этого...

Завтра (21/02/2022) ожидается публикация новой партии метрических книг и исповедок.
После того, как опубликуют, ближе к 10 вечера выложу обновленные экселевские файлы с полной детализацией изменений в теме с таблицами https://forum.vgd.ru/462/129726/ .
Результат вас удивит.

ТРЕБУЮТСЯ ВОЛОНТЕРЫ ПО ЗАПОЛНЕНИЮ ЗАГОЛОВКОВ ДЕЛ С МЕТРИЧЕСКИМИ КНИГАМИ И
ИСПОВЕДНЫМИ ВЕДОМОСТЯМИ ВЫЛОЖЕННЫМИ, НО НЕ ПОДПИСАННЫМИ НА САЙТЕ ЦГА МОСКВЫ.

Среди выложенных на сайте ЦГАМ дел с метрическими книгами и исповедными ведомостями в настоящее время есть около 180 дел, у которых отсутствует описание и/или не указан год.
По делам с незаполненными описаниями, не работает текстовый поиск и, думаю, многие проверяли эти дела, переходя по ссылкам просматривая сканы первых страниц дел.
Ранее уже были попытки заполнить пустые заголовки в экселевской табличке со списком выложенных дел.
Временно это помогает, но поскольку экселевские файлы обновляются ежемесячно при каждом обновлении "правки с добавлениями" не сохраняются, а переносить их каждый раз в новый файл затруднительно.

Поэтому для всеобщей пользы предлагаю решить этот вопрос красиво.

Решение состоит из двух частей.

1. Если описание дела не заполнено на сайте, но оно есть в базе НСА (Научно Справочный Аппарат), то заголовки из НСА будут автоматически подставляться в экселевскую табличку со списком выложенных онлайн дел. Эту часть я уже сделал. Будет доступна в ближайшем (февральском) эксель-файле со списком выложенных дел. Выглядит как на скриншоте. Перед описанием дела выводится подпись "Данные из НСА: ", а потом добавляется описание из НСА. Дополнительно такое описание выделяется цветом.

На текущий момент в базе НСА нашлось 45 заполненных дел, которые не заполнены на сайте.
Таким образом из 180 дел остается еще примерно 135, у которых отсутствует заголовок и/или год.

2. Вторую часть решения предлагаю сделать сообща.
Я сделал общедоступную гугл-таблицу со списком дел, у которых отсутствуют заголовки на сайте ЦГАМ. Доступ открыт для всех.
https://docs.google.com/spread...sp=sharing

В этой таблице Вы можете заполнить описания и даты дел.
Со своей стороны я реализую программную часть, которая автоматически из этой google-таблицы будет брать и подставлять данные для незаполненных на сайте ЦГАМ дел.
Выглядеть это будет по аналогии с предыдущим абзацем. В экселе в таблице сначала будет подпись "Данные с форума: ", а потом описание.
Скорее всего эти данные будут подключаться, начиная с мартовской выгрузки.

Общий алгоритм работы программы будет такой.

• Если описание и год по выложенному делу заполнены на сайте в разделе "Моя семья", то берется это описание.
• Если на сайте описания и/или дат нет, но есть описание в базе НСА, то берутся данные из базы НСА.
• Если и в НСА нет описания, то берется описание из нашей таблицы, которую могут заполнять добровольцы.
• Описание и год подтягиваются независимо. Т.е. если на сайте есть описание, но нет года, то описание копируется с сайта, а год из НСА или из нашей волонтерской таблицы.
  

Как заполнять общедоступную таблицу.
Номера фонд/опись/дело там уже указаны. Осталось заполнить только описание и год.
В общих словах описание заполнять по аналогии с тем, как заполняет ЦГА на сайте. Но есть разные варианты.
Предположим, Вы хотите помочь, но у Вас времени на заполнение немного. Тогда пишите общий заголовок. Например, "Московская губерния, Коломенский уезд", 1861.
Другой волонтер может в этом же деле внести исправление и заполнить более подробно. Например, ""Московская губерния, Коломенский уезд. 1. Троицкая церковь, 2. Ильинская церковь и другие". Третий волонтер может вместо "и другие" расписать оставшиеся церкви. Если есть желание, то можно указывать номера страниц по отдельным церквям итп.
Оптимально, конечно, при заполнении с бумажной описью сверятся, но для первого шага достаточно открыть ссылку в гугл-таблице напротив номер дела и переписать заголовок, который обычно написан на первых страницах сканов.

В гугл-таблице есть еще одна колонка "Примечание по наполнению". Данные из этой колонки никуда копироваться не будут, но в ней можно указать что-то для других волонтеров. Например, "Описание заполнил, требуется уточнить год" итп.

Все данные, которые Вы внесете в гугл-таблицу, потом попадут в экселевский файл с общим списком книг, а до тех пор доступны по ссылке для ознакомления всех, кому это интересно.
В результате общей работы должна получиться "конфетка".

Работаем? Есть желающие помочь?

BRBB76 написал:

[q]

Это новые оцифровки? Готов помочь благому делу. Только после 18-00. В выходные в любое время.

[/q]

На скриншотах выше - тестовые записи. Показано только как будут выделяться в общей таблице заголовки, полученные из сторонних источников (базы НСА и таблицы с описаниями, составленной пользователями форума).

Новые экселевские файлы размещу на форуме после того, как ЦГАМ опубликует новые февральские дела на сайте. По моим расчетам это должно быть сегодня.

Благому делу можете помогать в любое удобное для вас время.

Приглашение присоединиться к наполнению я опубликовал ночью, но уже к утру несколько человек начали вносить данные в таблицу.
Спасибо, что поддержали! В связи с этим я утром уже реализовал программную часть.

Все внесенные данные автоматически будут включены в экселевские таблицы.
В февральскую таблицу попадут те заголовки пользователей с форума, которые будут доступны на момент формирования экселевского файла.
В мартовскую и последующие таблицы попадет то, что будет введено пользователями позже.