ПОИСК ПО ИНДЕКСИРОВАННЫМ ДОКУМЕНТАМ. ОПЫТ ТЕСТИРОВАНИЯ

Cathycat написал:

[q]

>>Вы хотите от стороннего сервиса идеальную базу с идеальным поиском. Сферического коня в вакууме. Такую базу даже фондодержатель ЦГАМ за все эти годы не смог создать.

[/q]

Я полагал, что эта тема создана для того, чтобы собирать пожелания к Генотеку и обсуждать то, что хотелось бы доработать и улучшить.
Если основная задача этой темы написать, что все и так хорошо и не приставайте к разработчику, то обсуждать здесь больше нечего.

Когда я какие-то предложения здесь пишу, я точно знаю, что это полезно и, как программист знаю, что это может быть реализовано.
К тому же конкретное предложение с фильтрацией по номерам реализуется на порядок легче, чем уже готовый поиск по названиям.
Замена уже работающего фильтра по названием на фильтр по номерам - это замена нескольких существующих строчек кода на аналогичные.
Добавление фильтра по номерам с сохранением фильтра по названиям сложнее, но сложность относительно невысокая.
Сложно сделать первую фильтрацию, а поправить/расширить рабочий фильтр гораздо проще.
А если сравнивать сложность реализации распознавания рукописных метрик и сложность доработки фильтра, то соотношение примерно такое же как первый полет в космос и замена тормозных колодок на автомобиле.

То, что фондодержатель (ЦГАМ) не смог создать, это вопросу к нему и ровняться на это не стоит.
Я такую базу поиска дел ЦГАМ создал в другом виде. Дела можно искать по абсолютно любым запросам и любым комбинациям запросов.
Если хотите, можете искать по 10 несвязанным словам. Хотите ищите одновременно по плюс-словам, и минус-словам. Можно искать и по названиям фондов/описей/дел и по номерам, и по годам и по диапазонам лет и по диапазонам номеров описей/фондов/дел итп.
Публикуется здесь: https://forum.vgd.ru/post/462/129726/

И в заключение добавлю. Я уже неоднократно писал в разных местах, что то, что сделал Геонтек в части индексирования метрических книг - это фантастика. Я продолжаю придерживаться этого мнения и очень благодарен Генотеку. Даже в текущем виде - это революционное событие в генеалогии. Любые мои пожелания по доработке не относятся к критике Генотека, а публикуются с целью обратить внимание разработчиков на возможные пути развития.

Cathycat написал:

[q]

Кстати, а зачем вам фильтровать ф203 по описям? Не могу себе представить такой необходимости. Там же все дела вперемешку, абсолютно без логики внесены. Частично соблюдена хронология, есть деление по сорокам, и все. Ну разве что вы описи эти знаете наизусть). Но таких людей, полагаю, немного.

[/q]

к примеру, меня интересует диапазон дат по 1862-й, как Москва так и губерния
из выпадающего списка совпадений по фамилии хотелось бы увидеть именно совпадения по ф.203 оп.745, которая как раз и охватывает интересующий меня период

логика описей заключается в географии и хронологии
если ищется человек в первой половине 19 века в Москве и Губернии - это ф.203 оп.745
если интересует однозначно Губерния с 1870 и выше - это оп.780

что же касается самого проекта Генотек - еще раз повторюсь, проект шикарный, вне всяких сомнений
лично я просто высказал "хотелку", я не программист и не знаю и знать не хочу, насколько это сложно сделать

если сложно - значит этим не будут заниматься
а если совсем просто и внимания не обратили (не успели) - может что-то подправят

gbyudby написал:

[q]

Коллеги, похоже было обновление базы
на ту же тему - обнаружил 5 новых записей

[/q]

Скорее всего обновления распознавания не было, а то, что Вы видите связано с изменением алгоритма текстового поиска, который пытается предугадать ошибки.

Поясню на примере. Фамилию в примере заменил, поставил вымышленную. Главное здесь в окончаниях.
Количество результатов по запросам с разными окончаниями две недели назад.

БылинскИЙ - 3 результата
Былинск - 8337 результата
БылинскАЯ - 2884 результата
БылинскИЕ - 3 результата
БылинскИМ - 17 результата
БылинскОГО - 3 результата
БылинскУЮ - 5 результата
БылинскИХ - 18 результата

По сути это один и тот же запрос, но результаты разные. Как минимум запрос без окончания "Былинск" должен был выдавать всё, что есть. Но выдавал не все.
Сейчас, если вводить все эти запросы, то почти по всем количество результатов одинаковое. Это говорит о том, что подкрутили именно поисковую фильтрацию. Если бы просто распознали некоторое количество новых дел, то количество результатов все равно бы осталось различным в зависимости от окончания.

Кроме окончания учитываются еще возможные ошибки в середине слова. Дубнев и Руднев, к примеру - по первой букве. Их тоже могли подкрутить и это может влиять на незультат поиска.

То, что при тюнинге не учли, - возможное окончание АГО вместо ОГО.
Сейчас проверил на одной фамилии (в примере другая фамилия)
БылинскОГО - 2479 результатов.
БылинскАГО - 3641 результатов.

Хотя в метрических книгах часто писали именно с окончанием АГО, а не ОГО.
И в моем примере, если поправить алгоритм, количество результатов по двум запросам должно быть одинаковое и, скорее всего, количество уникальных записей в объединенном запросе после исправления будет больше, чем 3641шт.

>> Ответ на сообщение пользователя xbox от 25 марта 2022 14:37

Предполагаю, вы правы. Разработчики писали, что продолжают совершенствовать алгоритм поиска.

интересно, а насколько трудозатратно для разработчиков опубликовать список дел, которые вошли в систему ?

тогда заинтересованные лица могли бы сопоставить результаты поиска системой по конкретной совокупности дел с теми данными, которые были найдены ранее ручным поиском по той же совокупности

возможно это послужит отладке нейросети))