Яндекс - «Поиск по архивам»
| Imbir Новичок
Сообщений: 16
На сайте с 2021 г.
Рейтинг: 99 | Наверх ##
25 января 2023 11:29 Возможно, кто-то не знает, темы такой не нашла. Яндекс запустил поиск по распознанным через ИИ архивам. Протестировала, пока, увы, видимо, в основном московские метрики и архивы, но и это - большое подспорье. Достаточно просто ввести в строку поиска фамилию, например, и выведется скан из архива, который доступен. Надеюсь, будет полезно: https://yandex.ru/archive
Обратная связь с разработчиками.Пара советов, как задавать им вопросы. https://forum.vgd.ru/post/169/140482/p4446064.htm#pp4446064https://forum.vgd.ru/post/169/140482/p4447315.htm#pp4447315Яндекс "Поиск по архивам" в ТГ.Как Яндекс научился распознавать, что написано в рукописных архивах: статья на Хабре о технологиях распознавания рукописного текста и в комментариях - ответы на некоторые вопросы. Инструкция как открыть все дело, а не только одну найденную страницу от ozerskayaВ помощь желающим скачать изображение на локальный компьютер расширения для браузера от okolobaxa
Новости проекта 09.06.2023 Яндекс.Архивы добавили на сервис материалы ГАИО, загрузка и распознавание еще продолжаются, в общей сложности будет более 700 тыс. сканов по всем описям ф. 50 (включая особо ценные). 28.07.2023 Добавили Архивное управление Администрации городского округа Балашиха Московской области - Фондов 1 Дел 116 Оцифровано дел 114 Документов 55 323 31.10.2023 Первые итоги осени - Мы добавили на сервис “Епархиальные ведомости” и другие издания Русской Православной Церкви — около 77 тысяч выпусков или 3,5 млн сканов.
- Также наш сервис пополнился материалами Государственного архива Астраханской области — в общей сложности около 1,5 млн сканов.
- В разделе ЦГА Москвы добавилось более 600 дел, отсканированных архивом с июня по сентябрь.
- В общей сложности на 376 дел пополнилась коллекция материалов ОГАОО (Оренбургская область).
- 150 новых дел прислали наши партнеры из Государственного архива Иркутской области.
09.11.2023 ОГАОО прислал еще более 400 отсканированных дел с метрическими книгами! 14.11.2023 У нас появилось около 6 тысяч новых дел фонда 229 «Московская духовная академия». 21.11.2023 У нас снова пополнение! Теперь пользователям «Поиска по архивам» доступны материалы из Муниципального архива Уссурийска — около 140 дел с метрическими книгами из церквей города и близлежащих сёл. 24.11.2023 Добавили 50 новых дел архива Иркутской области (ГАИО), Ф. 50 Иркутская духовная консистория источник29.11.2023 Выложили материалы Ф. 392 оп. 1 Оренбургского архива "Книги записи родившихся, бракосочетавшихся, разведшихся и умерших евреев по городу Оренбургу" (75 дел) 06.12.2023 К юбилею "Вечерней Москвы" выложили на сервис полный архив газеты за 100 лет (разумеется, распознанный и с возможностью поиска) источник11.12.2023 Оренбургский архив продолжает радовать - с начала декабря прислали сканы более 400 новых дел. источник15.12.2023 Главархив Москвы передал в "Поиск по архивам" почти 1000 дел, отсканированных еще в октябре. Все уже выложены на сервис и почти все уже распознаны. источник21.12.2023 Выложили МК и записи ЗАГС муниципальных архивов Каширы, Луховиц и Павловского Посада, всего около 200 тыс. сканов источник27.12.2023 Выложили обновление по Оренбургу, документы распознались и появились в результатах поиска. Всего 246 дел. + перезалиты в лучшем качестве Ф. 98 оп. 2 д. 2 источник12.01.2024 Первые обновления января ( источник) 06.02.2024 За прошедшую неделю «Поиск по архивам» пополнили почти 360 новых дел! Это свыше 100 тысяч сканов, поступивших из четырёх регионов страны. ( источник) 25.02.2024 390 дел, отсканированных Главархивом Москвы в январе, загружены на сервис, распознаны, доступны в поиске (еще одно доедет на ближайшей неделе). ( источник) 27.02.2024 Добавлено более 500 дел с метрическими книгами и записями ЗАГС с 1893-го по 1925 год из Государственного архива Приморского края ( источник) 10.03.2024 Коллекцию «Поиска по архивам» пополнили материалы из фондов Государственного архива Вологодской области. На сервисе уже размещено около 800 дел (84,5 тыс. листов) ревизских сказок и других документов Вологодской казенной палаты; подготовка и публикация материалов продолжаются. ( источник) 16.04.2024 Коллекцию «Поиска по архивам» пополнили 92 метрические книги, относящиеся к Камышловскому и Екатеринбургскому уездам Пермской губернии — сейчас это территория Курганской и Свердловской областей, хранившиеся в библиотеке Екатеринбургской духовной семинарии. ( источник) | | Лайк (106) |
| A2 | Наверх ##
8 апреля 2024 7:15 Две совершенно разные модели ИИ расшифровали исключительно только одно и то же слово?
Как бы потом не оказалось, что все дело в настройках, которые ушлые студенты договорились использовать!
А так, Яндекс вон даже вензеля в углах страницы умудряется в слова перекладывать, так что для ИИ нет ничего невозможного)) | | Лайк (3) |
idylle Санкт-Петербург Сообщений: 3195 На сайте с 2017 г. Рейтинг: 2229 | Наверх ##
8 апреля 2024 9:27 T S T написал: [q] Наверное, когда появились первые автомобили, кто-то по-прежнему предпочитал по старинке передвигаться на телеге, бричке и т.д., убеждая других, какой это "кайф". И всегда можно было обратиться к опытным кузнецам за помощью в ремонте и обслуживании)
Но технологический прогресс ни тогда, ни сейчас не остановить
[/q]
А тут дело вообще не в игнорировании некоего "технического прогресса" (в отдельных случаях, кстати, большой вопрос, прогресс ли это)) Ну да ладно)) Дело в развитии интеллекта собственного. И вот без этого никакого прогресса точно не будет. | | Лайк (6) |
KoLenka Питерская я Сообщений: 2350 На сайте с 2021 г. Рейтинг: 12912 | Наверх ##
8 апреля 2024 9:50 T S T написал: [q] Так что Вам в расшифровке берестяных грамот уже есть на что положиться[/q]
Зачем тут , в этой теме писать длинные бессмысленные простыни? Это тема Яндекса. | | Лайк (1) | Жалоба (1) |
T S T Сообщений: 521 На сайте с 2015 г. Рейтинг: 610 | Наверх ##
8 апреля 2024 10:15 8 апреля 2024 10:29 KoLenka написал: [q] Это тема Яндекса.[/q]
Вопрос изначально был о возможном наличии как раз у сервиса Яндекса некой дополнительной опции в виде возможности распознавать не только загруженные самим Яндексом рукописные документы, но и самостоятельно загружать в этот сервис свои документы для такого же распознавания. Дальше этот вопрос получил своё развитие platonshukinНе подскажете, есть ли какие-то надежда и предпосылки, что такая опция будет когда-то реализована? Вроде при первом приближении каких-то особых препятствий для её реализации не видится. Сама по себе технология распознавания ведь остаётся одна и та же, просто будет расширен перечень пользователей, которые могут загружать в сервис рукописные и иные документы для её использования (не только архивы/Яндекс, но и обычные пользователи). Это будет для них максимально удобно, а Яндекс будет получать новый разнообразный дополнительный материал для дальнейшей обкатки технологии распознавания ---
Плугарев Завалишин Семендяев Музалевский Некрасов Федун Хведонюк Киричук Самойлюк Лихотоп Лазарев Березуев Березуйский Захарьин Орябинский Березовский Тарасов Дубовицкий Нестеров Евдокимов Карелов Конарев Жердев Еремин Гридасов Козлитинов Шумаков Фень Муляр Сорокин Власенко Соснин | | |
| E_G_K
Сообщений: 106
На сайте с 2018 г.
Рейтинг: 117
| Наверх ##
8 апреля 2024 11:45 8 апреля 2024 12:10 Посмотрите подкаст с руководителем "Поиска по архивам". Там есть ответ на вопрос, почему они пока не могут предоставить возможность распознавать свои документы, но не исключают, что это будет реализовано. Где-то с 1:16:00 https://www.youtube.com/watch?v=UYg0DUxAfDk | | Лайк (2) |
platonshukin Сообщений: 117 На сайте с 2023 г. Рейтинг: 275 | Наверх ##
8 апреля 2024 12:14 Личное мнение напишу, может не совпадать с мнением руководства сервиса:
- распознавание пользовательского контента интересно делать только как способ наполнения базы сервиса. Пользы от этих сканов для улучшения модели распознавания нет (что мы, в интернете их не найдем, если нужно будет?), монетизация тут тоже если и возможна, то не того масштаба, чтобы с этим связываться
- то есть, загруженные пользователями сканы нужно делать публичными. А раз так - нужно а) модерировать, чтобы там не загружали какое-нибудь непотребство, б) очевидно, пользователи сразу же зальют сканы архивных документов с сайтов архивов или с FamilySearch и архивы (и/или FS) придут с вопросиками
Поэтому задача где-то не в ближайших планах... | | Лайк (12) |
Михаха Сообщений: 4136 На сайте с 2008 г. Рейтинг: 3841 | Наверх ##
8 апреля 2024 12:28 platonshukin написал: [q] Личное мнение напишу, может не совпадать с мнением руководства сервиса:
[/q]
Обращение также лично к вам, не к руководству сервиса. Увлекающимся генеалогией плотно был бы интересен такой сервис: использование вашего движка на компьютере пользователя, на материалах пользователя с элементами обучения бездушного алгоритма пользователем. Монетизация? Ну, например, через подписку. Понятно, что это другой продукт. Несколько, даже гениальных, разработчиков алгоритма распознавания против тысяч упертых исследователей не потянут. | | |
Daemon2011 Сообщений: 725 На сайте с 2011 г. Рейтинг: 582 | Наверх ##
8 апреля 2024 12:29 8 апреля 2024 12:30 platonshukin написал: [q] Личное мнение напишу, может не совпадать с мнением руководства сервиса:
- распознавание пользовательского контента интересно делать только как способ наполнения базы сервиса. Пользы от этих сканов для улучшения модели распознавания нет (что мы, в интернете их не найдем, если нужно будет?), монетизация тут тоже если и возможна, то не того масштаба, чтобы с этим связываться
- то есть, загруженные пользователями сканы нужно делать публичными. А раз так - нужно а) модерировать, чтобы там не загружали какое-нибудь непотребство, б) очевидно, пользователи сразу же зальют сканы архивных документов с сайтов архивов или с FamilySearch и архивы (и/или FS) придут с вопросиками
Поэтому задача где-то не в ближайших планах...[/q]
Обратил внимание, что один и тот же снимок по-разному распознается моделью Я.Архива и моделью "handwritten" Yandex Cloud Vision OCR: handwritten не знает о существовании ятя ( ѣ ) и распознает его то как Ъ, то как Ы, то как Ь. Также, она не знает о существовании "и десятеричной" (i) - ее она распознает как латинскую i. Помимо этого, некоторые, заведомо кириллические слова (сын) распознаются как латинские (in). Будет ли когда-нибудь доступна за денежку модель с ятями?   Уверен, если Вы сделаете ять-модель доступной в Yandex Cloud Vision OCR за денежку, сопоставимую с handwritten-моделью (1.5 руб/снимок, кажется), то в рунете появится не один проект, который будет готов за небольшой процент распознавать снимки из личных архивов пользователей (у меня таких 15+ Гб за 15 лет набежало, причем бОльшую часть я так и не успел выложить в общак - руки не доходят) и модерировать их своими силами. Т.е. Яндексу достаточно сделать b2b, а уж b2c на себе как-нибудь вытянет малый бизнес. | | Лайк (2) |
Daemon2011Сообщений: 725 На сайте с 2011 г. Рейтинг: 582 | Наверх ##
8 апреля 2024 12:42 Михаха написал: [q]
Обращение также лично к вам, не к руководству сервиса.
Увлекающимся генеалогией плотно был бы интересен такой сервис: использование вашего движка на компьютере пользователя, на материалах пользователя с элементами обучения бездушного алгоритма пользователем. Монетизация? Ну, например, через подписку. Понятно, что это другой продукт.
Несколько, даже гениальных, разработчиков алгоритма распознавания против тысяч упертых исследователей не потянут.[/q]
Опыт Geni и Familysearch показал, что это ужасная идея. Вспомните, сколько ошибок даже в дворянских профилях (по которым сведений всегда априори больше, чем по крестьянам) на Geni! Если глянуть в историю профиля, то становится ясно, почему: кто-то (упрямый исследователь) вносит дату рождения/брака/службы/смерти из справочника 1930-го года, потом приходит специалист, который перепроверяет сведения по архивным документам и узнает, что даты не те - исправляет, а когда это видят "тысячи упрямых исследователей", то они бегут переправлять все обратно - чтобы было как в справочнике 1930-го года Или посмотрите в Familysearch: там отчество написано в фамилию, тут Мария записана как Марина, там дата рождения одного ребенка записана другому и т.д. Так что Яндекс действует совершенно правильно: ищет людей с профильным образованием, большим практическим опытом, т.е. лучших из лучших - им и доверяет управление своей моделью. | | Лайк (4) |
KoLenkaПитерская я Сообщений: 2350 На сайте с 2021 г. Рейтинг: 12912 | Наверх ##
8 апреля 2024 13:05 Daemon2011 написал: [q] Обратил внимание,[/q]
Я еще вчера обратила внимание, что Вы вставляете не кликабельные скриншоты. Их просто не посмотреть. Не увеличить. Вам в помощь- менеджер загрузки Или кнопка Выбрать файлы. Не обижайтесь.  | | |
|
