ОБД-Мемориал - программы для получения данных
В данной теме - программы, автоматизирующие получение данных из ОБД-Мемориал
SpirtovichПочетный участник  Вологда Сообщений: 136 На сайте с 2014 г. Рейтинг: 88 | Вверх #
16 августа 2014 16:18 все ясно, на 7 яве не работало. ---
Мокиевский, Деревесников (Великоустюгский уезд)
Фролов, Корешков, Сметанин ( Вологодский уезд)
Смирнов, Спиридонов, Кольцов, Телегин, Скотников, Панов, Балдин(Кадниковский уезд,) | | |
a-KaDeMi-kДолгожитель форума  Сообщений: 2188 На сайте с 2011 г. Рейтинг: 3020 | Вверх #
17 августа 2014 16:41 Феликс, приветствую! Может немного не в тему (пусть тогда модераторы меня поправят), но вот родилась такая идея: Иногда человек не знает, откуда точно родом искомая персона, но зато владеет информацией не только о его ФИО (или просто фамилии), но и о ФИО других людей, как то с персоной связанных. Ну, например, сослуживцы, или жена (в предположении, что она из соседней местности) и т.д. Или ещё пример: живут в селе тысячу лет одни и те же носители фамилий, а потом - раз, и пропали. Т.е., скорее всего были переселены сюда (или отсюда). А куда/откуда - неизвестно. Но можно предположить, что переселялись сразу все вместе... Так вот было бы неплохо в таком случае уметь осуществлять поиск по базам с большим объёмом записей сразу по НЕСКОЛЬКИМ фамилиям (или ФИО)! Не знаю, как там с внутренним механизмом ОБД Мемориал - позволяет она такое проворачивать или нет... Но такую операцию можно было бы осуществить и стандартными средствами: делать промежуточную выгрузку по каждой фамилии, а потом статистически обрабатывать местности в результатах - самым частовстречающимся ставить высший рейтинг на подозрение в местности исхода/прихода... Надеюсь, не слишком сумбурно изложил  | | |
FVIДолгожитель форума  Москва Сообщений: 717 На сайте с 2005 г. Рейтинг: 852 | Вверх #
18 августа 2014 8:39 a-KaDeMi-kДенис, привет!!!! Идея хорошая, правильная.. Если предыдущая программа - это скорее инструментарий поисковика, подспорье для его аналитической работы по данным ОБД без Инетренета, то поиск по ФИО -это уже более "народная" программа.. НО.. хочу поделиться сомнениями, может в нашем обмене мыслями и родится идея программы.. 1. Выгрузка по ФИО - это увеличение объемов (количества записей) информации в разы, в десятки раз.. 2. Есть ограничение на 9995 записей за один запрос к ОБД.. я его научился обходить перебором ПЕРВОЙ буквы фамилий.. 3. Как быть при фамилии Иванов? Сотни тысяч ..Есть вариант - перебор первой буквы имени, и можно еще год рождения(1890-1925) 4.Предположим - Сделал механизм перебора Фамилия-Первая буква Имени -Год Рождения, (а если даже такой критерий не разобьет информацию на блоки менее 10000 записей ,что делать?) Хорошо, есть механизм перебора (алгоритмически - ничего сложного), в какой среде хранить результаты? Ексель - на одном листе 1'048'576 записей, теоретически в книге листов может быть МНОГО, НО.. работать программа будет по сохранению результатов долго и нудно.. Но это формат 2010 офиса, не у всех еще он используется Access - но как конечный пользователь будет просматривать и анализировать (выборки, фильтры и пр) DBase - dbf файлы. .тоже есть ограничения на объемы записей (от версий зависит DBF) и потом в какой среде с ними работать? Есть выход из этого тупика (тупик - это на мой взгляд) Сделать программу поиска по ФИО, НО.. с ОБЯЗАТЕЛЬНЫМ заполнением полей - Год Рождения, Место Рождения.. Список обязательных полей - слабое место . .а Место и Дата призыва? а дата выбытия? а место службы? В общем... Нужен коллективный разум.. Жаль счетчик скачиваний не работает.. Не видно - софт скольким людям нужен... Широким массам или узким. .Хотя тот вопрос не главный. .даже ради одного пользователя надо ЭТО делать  Одна (две) головы хорошо, но нужно больше мнений.. Феликс ---
Измайлов Феликс
=============
Отзовитесь: Измайловы, Сушкины - Тула, Измайловы - Орел, Яровые,Федоровы, Краснощековы, Никитины, Сущенко - Луганск | | |
a-KaDeMi-kДолгожитель форума Сообщений: 2188 На сайте с 2011 г. Рейтинг: 3020 | Вверх #
18 августа 2014 15:04 1) Да, обход ограничения на 9995 в случае очень распространённой фамилии возможен только через доп. поля. Но обходить я его предлагаю именно в специфике обсуждаемой программы - т.е. по краям и областям и другим типам АТД: - делаем выборку по фамилии, если < 10000, то сразу переходим к анализу мест; - если > 10000, то делаем выборку по областям и краям (тут неплохо бы заранее иметь этот список, ну или шерстить названия АТД по буквам); - если даже по области > 10000, то либо а) говорим пользователю "Извини, но с такой распространённостью смысл использования данной программы пропадает!", либо б) принимаем, что в этой области заданных фамилий > 10000 и переходим к анализу, либо в) углубляемся до уровня районов и т.д. А делать обязательным ввод имен и дат - это не для этой задачи... Мы же не конкретного человека ищем, а ареалы распространённости СПИСКА фамилий (тут я задумалься про ЕДИНИЧНУЮ фамилию... надо? нет?). 2) исходя из варианта по п.1, общее кол-во записей вряд ли будет больше 10000 умножить на сотню АТД - это максимум около миллиона на каждую фамилию :( Т.е., либо каждую фамилию на отдельную страницу экселя, либо что-то кроме него. Access - из той же среды, с ним через эксель можно работать в крайнем случае. DBase -  . Можно ещё MySQL рассмотреть, как вариант (компактно, бесплатно и т.д.). Опять же, нам для данной задачи не надо сохранять ДЛЯ ПОЛЬЗОВАТЕЛЯ выборку всех записей. Нам надо их ВРЕМЕННО сохранить для последующего анализа (да хоть в массиве в оперативке), проанализировать, а только потом выдать пользователю те из них, которые удовлетворяют условиям задачи - т.е. записи о людях с фамилиями, одновременно встречающимися в одной и той же местности. А их то уж точно не миллион будет P.S.: если публиковать программу через Я.Диск (там можно сделать публичную ссылку как на конкретный файл, так и на папку), то счётчик у тебя будет | | |
FVIДолгожитель форума Москва Сообщений: 717 На сайте с 2005 г. Рейтинг: 852 | Вверх #
19 августа 2014 16:43 19 августа 2014 16:44 a-KaDeMi-kДенис.. Пункт 1 не пройдет.. Вернее по ДопПолям можно выгрузить ФИО, но не по АдмТер Делению.. Вот по этой ветке Районы я выкладывал наименования РАЙОНОВ из ОБД.. Написание - много вариантов, сокращения - какие хочешь.. единственное, что в АТД есть твердого для зацепки- это наименования РВК, и Областей.... НО. .Наименование то РВК наименованием,а есть еще РВК|ГВК|РеспВК|ГРВК|ВК|ОВК|ОРВК|ОГВК Как быть? У меня только один вариант решения - Фамилия + ГодРождения. Вот статистика по двум Фамилиям - Иванов и Поляков - в принципе все реально .. Но опять же вопросы. .а есть Фамилии без Года Рождения. Есть фамилии искаженные, значит надо вводить маски поиска (*).. А это уже все, результаты будут нечеткими.. Это я вопросы накидываю по памяти, по тому, что сохранилось в голове при поисках.. А ели сесть за анализ ОБД - там все окажется хуже.. | Иванов | | Поляков | | 1851 | 1 | 1878 | 2 | | 1868 | 1 | 1881 | 1 | | 1869 | 2 | 1882 | 2 | | 1871 | 3 | 1884 | 1 | | 1872 | 7 | 1885 | 1 | | 1873 | 4 | 1886 | 3 | | 1874 | 4 | 1887 | 5 | | 1875 | 7 | 1888 | 3 | | 1876 | 6 | 1889 | 17 | | 1877 | 2 | 1890 | 11 | | 1878 | 4 | 1891 | 44 | | 1879 | 3 | 1892 | 45 | | 1880 | 3 | 1893 | 66 | | 1881 | 4 | 1894 | 85 | | 1882 | 11 | 1895 | 157 | | 1883 | 11 | 1896 | 180 | | 1884 | 12 | 1897 | 237 | | 1885 | 16 | 1898 | 307 | | 1886 | 13 | 1899 | 347 | | 1887 | 34 | 1900 | 571 | | 1888 | 38 | 1901 | 385 | | 1889 | 58 | 1902 | 645 | | 1890 | 95 | 1903 | 655 | | 1891 | 157 | 1904 | 766 | | 1892 | 319 | 1905 | 810 | | 1893 | 399 | 1906 | 896 | | 1894 | 522 | 1907 | 805 | | 1895 | 907 | 1908 | 867 | | 1896 | 1294 | 1909 | 896 | | 1897 | 1587 | 1910 | 972 | | 1898 | 2079 | 1911 | 964 | | 1899 | 1970 | 1912 | 1015 | | 1900 | 2969 | 1913 | 942 | | 1901 | 2561 | 1914 | 950 | | 1902 | 3519 | 1915 | 838 | | 1903 | 3806 | 1916 | 682 | | 1904 | 4312 | 1917 | 542 | | 1905 | 4375 | 1918 | 902 | | 1906 | 4620 | 1919 | 746 | | 1907 | 5097 | 1920 | 760 | | 1908 | 5067 | 1921 | 979 | | 1909 | 5356 | 1922 | 1072 | | 1910 | 5849 | 1923 | 1166 | | 1911 | 5756 | 1924 | 936 | | 1912 | 6204 | 1925 | 769 | | 1913 | 5613 | 1926 | 334 | | 1914 | 6285 | 1927 | 32 | | 1915 | 5226 | 1928 | 7 | | 1916 | 4435 | 1929 | 7 | | 1917 | 3970 | 1932 | 2 | | 1918 | 6126 | 1936 | 1 | | 1919 | 5186 | 1944 | 1 | | 1920 | 5691 | | | | 1921 | 6496 | | | | 1922 | 6904 | | | | 1923 | 7166 | | | | 1924 | 5791 | | | | 1925 | 4875 | | | | 1926 | 2564 | | | | 1927 | 276 | | | | 1928 | 89 | | | | 1929 | 27 | | | | 1930 | 12 | | | | 1931 | 5 | | | | 1932 | 2 | | | | 1933 | 7 | | | | 1934 | 3 | | | | 1935 | 4 | | | | 1936 | 3 | | | | 1937 | 4 | | | | 1938 | 2 | | | | 1939 | 2 | | | | 1940 | 3 | | | | 1941 | 5 | | | | 1943 | 6 | | | | 1944 | 13 | | | | 1945 | 3 | | | | 145'858 | | 23'429 |
---
Измайлов Феликс
=============
Отзовитесь: Измайловы, Сушкины - Тула, Измайловы - Орел, Яровые,Федоровы, Краснощековы, Никитины, Сущенко - Луганск | | |
SpirtovichПочетный участник Вологда Сообщений: 136 На сайте с 2014 г. Рейтинг: 88 | Вверх #
19 августа 2014 18:15 привет, как я понял выборку по Фамилии и Области одновременно не сделать?
если можно сделать ,по моему мнению это, будет лучший поиск. ---
Мокиевский, Деревесников (Великоустюгский уезд)
Фролов, Корешков, Сметанин ( Вологодский уезд)
Смирнов, Спиридонов, Кольцов, Телегин, Скотников, Панов, Балдин(Кадниковский уезд,) | | |
a-KaDeMi-kДолгожитель форума Сообщений: 2188 На сайте с 2011 г. Рейтинг: 3020 | Вверх #
19 августа 2014 18:23 Ну, вот, 146 тысяч - это не страшно А нечёткий поиск по фамилии в данной задаче не нужен. Ну, не попадут в статистическую обработку процентов 5-10 носителей (с ошибками ввода), ну и не особо страшно это. Самое большее что из-за этого может произойти, по моему, так это поменяются в результате найденные местности (с максимальным кол-вом одновременно встречающихся фамилий) местами. Из-за того, что есть уверенность в однотипном написании только названий областей, предлагаю (для пробы) на них и остановиться. Т.е. выводить в результате работы программы именно их, не углубляясь. Надо бы как-нибудь, вообще, сначала проверить, рабочая это идея или нет. А то вот обсуждаем тут, а она, как окажется, того не стоит P.S.: в прошлом сообщении описался, конечно - не MySQL, а SQLite  | | |
a-KaDeMi-kДолгожитель форума Сообщений: 2188 На сайте с 2011 г. Рейтинг: 3020 | Вверх #
19 августа 2014 18:51 Spirtovich написал: [q] привет, как я понял выборку по Фамилии и Области одновременно не сделать?[/q]
Почему ж не сделать, если даже в самом Мемориале такое реализуется расширенным поиском! Речь шла про более подробное АТД, чем область/край. | | |
FVIДолгожитель форума Москва Сообщений: 717 На сайте с 2005 г. Рейтинг: 852 | Вверх #
20 августа 2014 12:43 Добрый день ВСЕМ Ребята, я тут подумал Дело не в том, что НЕЛЬЗЯ написать программу, или сложно.. Дело в том, что программа будет отдавать НЕПОЛНЫЙ результат.. а это значит - НЕТ результата.. Если человек ищет своего предка, пропавшего без вести, задает фамилию, год рождения, место рождения.. Вот пример.. наугад, Псковская область... Бежаинский р-н, Бежанинский р-н, Бежаницкий р-н, Бежаницуий р-н, Бежанский р-н Это реальные фрагменты адресов из ОБД.. Человек НЕ ЗНАЕТ как пишется в документах его район.. Он введет так, как он знает.. а результат не будет, т.к. или оператор ошибся при вводе (Бежаницуий р-н), или писарь в штабе неразборчиво вписал адрес в донесение. Просто ввести фамилию и получить 10000 записей.. и что дальше? Просматривать глазами? Эт я говорю про поиск ОБД, штатный.. Мой поиск+выгрузка - повторение алгоритма работы ОБД, он чудес не делает.. А поисковику, если какие то записи выпали из запроса -значит ЗАПРОС не состоялся.. НО.. опять же, нет безвыходных ситуаций. Давайте я все таки сделаю такую прогу.. ФИО, адрес рождения.. все поля будут обязательны к заполнению, поле АДРЕС допускать будет знак * (звездочку)..т.е. Беж* - включает различные окончания слова.. Хотя я пока подожду. .подумаю.. надо поэкспериментировать на ОБД-Мемориал, в HTML варианте.. там выдается количество записей в запросе. .видно сразу -что и как ---
Измайлов Феликс
=============
Отзовитесь: Измайловы, Сушкины - Тула, Измайловы - Орел, Яровые,Федоровы, Краснощековы, Никитины, Сущенко - Луганск | | |
SpirtovichПочетный участник Вологда Сообщений: 136 На сайте с 2014 г. Рейтинг: 88 | Вверх #
20 августа 2014 16:00 FVI написал: [q] [/q]
именно это и хотелось бы.В моем случае, такая же ситуация. усть-кубенский,усть-кубинский,усть-кубанский,Усть Кубенский и т.д. А сколько еще без указания района-область и деревня или только область. ---
Мокиевский, Деревесников (Великоустюгский уезд)
Фролов, Корешков, Сметанин ( Вологодский уезд)
Смирнов, Спиридонов, Кольцов, Телегин, Скотников, Панов, Балдин(Кадниковский уезд,) | | |
|
