diff --git a/tex/12-intro.tex b/tex/12-intro.tex index 0902156a520335668189787895f95027425dfd83..fd6ea143b0ec2930adc51ef400a3fa246a096edd 100644 --- a/tex/12-intro.tex +++ b/tex/12-intro.tex @@ -1,6 +1,6 @@ \Introduction -Ð’ отчетном периоде (ÑентÑбрь 2018 – авгуÑÑ‚ 2019) были разработаны методы обеÑÐ¿ÐµÑ‡ÐµÐ½Ð¸Ñ Ð¸Ð½Ñ„Ð¾Ñ€Ð¼Ð°Ñ†Ð¸Ð¾Ð½Ð½Ð¾Ð¹ поддержки мобильноÑти наÑÐµÐ»ÐµÐ½Ð¸Ñ Ð² цифровом проÑтранÑтве умного города Ñ Ð¸Ñпользованием ÑемантичеÑких приложений. Под ÑемантичеÑкими приложениÑми в наÑтоÑщем проекте понимаютÑÑ Ð¿Ñ€Ð¸Ð»Ð¾Ð¶ÐµÐ½Ð¸Ñ Ð¸ ÑервиÑÑ‹ иÑпользующие Ñемантику проблемной облаÑти Ð´Ð»Ñ Ð¿Ñ€ÐµÐ´Ð¾ÑÑ‚Ð°Ð²Ð»ÐµÐ½Ð¸Ñ Ð¿Ð¾Ð´Ð´ÐµÑ€Ð¶ÐºÐ¸ в принÑтии решений при обеÑпечении мобильноÑи жителей умного города. +Ð’ отчетном периоде (ÑентÑбрь 2018 – авгуÑÑ‚ 2019) были разработаны методы обеÑÐ¿ÐµÑ‡ÐµÐ½Ð¸Ñ Ð¸Ð½Ñ„Ð¾Ñ€Ð¼Ð°Ñ†Ð¸Ð¾Ð½Ð½Ð¾Ð¹ поддержки мобильноÑти наÑÐµÐ»ÐµÐ½Ð¸Ñ Ð² цифровом проÑтранÑтве умного города Ñ Ð¸Ñпользованием ÑемантичеÑких приложений. Под ÑемантичеÑкими приложениÑми в наÑтоÑщем проекте понимаютÑÑ Ð¿Ñ€Ð¸Ð»Ð¾Ð¶ÐµÐ½Ð¸Ñ Ð¸ ÑервиÑÑ‹ иÑпользующие Ñемантику проблемной облаÑти Ð´Ð»Ñ Ð¿Ñ€ÐµÐ´Ð¾ÑÑ‚Ð°Ð²Ð»ÐµÐ½Ð¸Ñ Ð¿Ð¾Ð´Ð´ÐµÑ€Ð¶ÐºÐ¸ в принÑтии решений при обеÑпечении мобильноÑи жителей умного города. Полученные результаты оÑнованы и ÑвлÑÑŽÑ‚ÑÑ Ð¿Ñ€Ð¾Ð´Ð¾Ð»Ð¶ÐµÐ½Ð¸ÐµÐ¼ иÑÑледований, проведенных в период 2017-2018 г. в ÐИРмагиÑтрантов и аÑпирантов УниверÑитета ИТМО â„–617038 ``Модели и методы онтолого-ориентированной поддержки мобильноÑти наÑÐµÐ»ÐµÐ½Ð¸Ñ Ð² цифровом информационно-техничеÑком проÑтранÑтве умного города'' Ð’ наÑтоÑщее Ð²Ñ€ÐµÐ¼Ñ Ñ€Ð°Ð·Ð²Ð¸Ñ‚Ð¸Ðµ Ñетей мобильной ÑвÑзи и ÑенÑоров позволило Ñобирать и накапливать большое количеÑтво информации об объектах и ÑвлениÑÑ… физичеÑкого мира. Также, наблюдаетÑÑ Ð°ÐºÑ‚Ð¸Ð²Ð½Ð¾Ðµ внедрение методов и технологий извлечениÑ, интерпретации и иÑÐ¿Ð¾Ð»ÑŒÐ·Ð¾Ð²Ð°Ð½Ð¸Ñ Ð¾Ñ‚ÐºÑ€Ñ‹Ñ‚Ñ‹Ñ… иÑточников информации Ð´Ð»Ñ ÑƒÐ¿Ñ€Ð°Ð²Ð»ÐµÐ½Ð¸Ñ ÑƒÐ¼Ð½Ñ‹Ð¼ городом и Ð¿Ð»Ð°Ð½Ð¸Ñ€Ð¾Ð²Ð°Ð½Ð¸Ñ ÐµÐ³Ð¾ развитиÑ. Такими иÑточниками ÑвлÑÑŽÑ‚ÑÑ Ð¼ÑƒÐ½Ð¸Ñ†Ð¸Ð¿Ð°Ð»ÑŒÐ½Ñ‹Ðµ и федеральные органы влаÑти, а также уÑтройÑтва, оÑнащенные ÑенÑорами Ð´Ð»Ñ Ñбора данных, входÑщие в ÑоÑтав умного города и объединенные в городÑкой интернет вещей (IoT) \cite{Dustdar2017, Aggarwal2013}. ИÑпользование накопленной информации Ð´Ð»Ñ Ð¾Ð±ÐµÑÐ¿ÐµÑ‡ÐµÐ½Ð¸Ñ Ð¿ÐµÑ€Ñонифицированной мобильноÑти жителей умного города также возможно при формировании цифровой личноÑти жителÑ, включающей в ÑÐµÐ±Ñ Ð¾Ñновную информацию о нем. diff --git a/tex/20-scenarios.tex b/tex/20-scenarios.tex index ffc52eb8a75248db4d1ecd07fb13d342b16fb3f2..9e2af896862308918e23c900b7a6daed009a0601 100644 --- a/tex/20-scenarios.tex +++ b/tex/20-scenarios.tex @@ -109,7 +109,7 @@ \subsection{Ðнализ Ñмоционального ÑоÑтоÑÐ½Ð¸Ñ Ð² за \item ожидаемое Ñмоциональное ÑоÑтоÑние от предÑтавителей той или иной демографичеÑкой группы. \end{itemize} Определение Ð¿Ð¾Ð»ÑŒÐ·Ð¾Ð²Ð°Ñ‚ÐµÐ»Ñ -Ð”Ð»Ñ Ð½Ð°Ñ‡Ð°Ð»Ð° ÑиÑтеме необходимо определить, кто находитÑÑ Ð¿ÐµÑ€Ðµ Ñкраном. Ðа вход подаетÑÑ ÐºÐ°Ð´Ñ€ Ñ ÐºÐ°Ð¼ÐµÑ€Ñ‹. При помощи API анализа лиц (на оÑнове Microsoft Azure Face API) на кадре определÑетÑÑ Ñ‡ÐµÐ»Ð¾Ð²ÐµÐº, его пол и возраÑÑ‚, а также вероÑтноÑти Ð½Ð°Ð±Ð»ÑŽÐ´ÐµÐ½Ð¸Ñ Ñ‚Ð¾Ð¹ или иной Ñмоции. Ðа оÑнове информации о поле и возраÑте уточнÑетÑÑ Ð´ÐµÐ¼Ð¾Ð³Ñ€Ð°Ñ„Ð¸Ñ‡ÐµÑÐºÐ°Ñ Ð³Ñ€ÑƒÐ¿Ð¿Ð°, к которой принадлежит пользователь. +Ð”Ð»Ñ Ð½Ð°Ñ‡Ð°Ð»Ð° ÑиÑтеме необходимо определить, кто находитÑÑ Ð¿ÐµÑ€ÐµÐ´ Ñкраном. Ðа вход подаетÑÑ ÐºÐ°Ð´Ñ€ Ñ ÐºÐ°Ð¼ÐµÑ€Ñ‹. При помощи API анализа лиц (на оÑнове Microsoft Azure Face API) на кадре определÑетÑÑ Ñ‡ÐµÐ»Ð¾Ð²ÐµÐº, его пол и возраÑÑ‚, а также вероÑтноÑти Ð½Ð°Ð±Ð»ÑŽÐ´ÐµÐ½Ð¸Ñ Ñ‚Ð¾Ð¹ или иной Ñмоции. Ðа оÑнове информации о поле и возраÑте уточнÑетÑÑ Ð´ÐµÐ¼Ð¾Ð³Ñ€Ð°Ñ„Ð¸Ñ‡ÐµÑÐºÐ°Ñ Ð³Ñ€ÑƒÐ¿Ð¿Ð°, к которой принадлежит пользователь. Ожидаемое Ñмоциональное влиÑние рекламного ролика Вторым шагом в работе ÑиÑтемы ÑвлÑетÑÑ Ð¾Ñ†ÐµÐ½ÐºÐ° ожидаемого Ñмоционального отклика каждого зрителÑ. РаÑчёты предлагаетÑÑ Ð¿Ñ€Ð¾Ð¸Ð·Ð²Ð¾Ð´Ð¸Ñ‚ÑŒ по формуле~\ref{eq:expected_emotions}. \begin{equation} @@ -139,7 +139,7 @@ \subsection{Ðнализ Ñмоционального ÑоÑтоÑÐ½Ð¸Ñ Ð² за Где $emotion_{l,p}$ – Ñмоциональный выигрыш от иÑÐ¿Ð¾Ð»ÑŒÐ·Ð¾Ð²Ð°Ð½Ð¸Ñ Ñ„ÑƒÐ½ÐºÑ†Ð¸Ð¸ $l$ пользователем $p$; $target\_emotion_{c,g}$ – целевое значение Ñмоции $c$ Ð´Ð»Ñ Ð´ÐµÐ¼Ð¾Ð³Ñ€Ð°Ñ„Ð¸Ñ‡ÐµÑкой группы $g$, к которой принадлежит пользователь; $real\_emotion_{c,p}$ – реальное значение Ñмоции $c$ Ð´Ð»Ñ Ð´ÐµÐ¼Ð¾Ð³Ñ€Ð°Ñ„Ð¸Ñ‡ÐµÑкой группы $g$, к которой принадлежит пользователь; $expected\_emotions_{c,p,l}$ - ожидаемое значение Ñмоции $c$ Ð¿Ð¾Ð»ÑŒÐ·Ð¾Ð²Ð°Ñ‚ÐµÐ»Ñ Ð¸Ð· демографичеÑкой группы $g$ поÑле иÑÐ¿Ð¾Ð»ÑŒÐ·Ð¾Ð²Ð°Ð½Ð¸Ñ Ñ„ÑƒÐ½ÐºÑ†Ð¸Ð¸ $l$; $k$ – количеÑтво Ñмоций, принимаемых во внимание. Подбор ролика -РаÑÑчитав Ð·Ð½Ð°Ñ‡ÐµÐ½Ð¸Ñ Ñмоционального выигрыша от демонÑтрации каждого рекламного ролика группе пользователей, находÑщихÑÑ Ñƒ Ñкрана, можно ранжировать ролики в завиÑимоÑти от полученного Ð·Ð½Ð°Ñ‡ÐµÐ½Ð¸Ñ Ð²Ñ‹Ð¸Ð³Ñ€Ñ‹ÑˆÐ°. ПредполагаетÑÑ, что ÑиÑтема должна выбрать ролик, который принеÑет наибольший Ñмоциональный выигрыш. +РаÑÑчитав Ð·Ð½Ð°Ñ‡ÐµÐ½Ð¸Ñ Ñмоционального выигрыша от иÑпользованных функций и ÑервиÑов ÑиÑтемы, можно дополнительно ранжировать ÑервиÑÑ‹ в завиÑимоÑти от полученного Ð·Ð½Ð°Ñ‡ÐµÐ½Ð¸Ñ Ð²Ñ‹Ð¸Ð³Ñ€Ñ‹ÑˆÐ°. ПредполагаетÑÑ, что ÑиÑтема должна выбрать ÑервиÑ, который принеÑет наибольший Ñмоциональный выигрыш. \section{Обзор веб-ÑервиÑов Ð´Ð»Ñ Ð¾Ð±ÐµÑÐ¿ÐµÑ‡ÐµÐ½Ð¸Ñ Ð¼Ð¾Ð±Ð¸Ð»ÑŒÐ½Ð¾Ñти Ð¶Ð¸Ñ‚ÐµÐ»Ñ ÑƒÐ¼Ð½Ð¾Ð³Ð¾ города} diff --git a/tex/30-digital_identity.tex b/tex/30-digital_identity.tex index 7bf690b116f77f9bad3a716d7581f98188ae044c..3abcee9b315992d653d9ba49d3797bb3e200857c 100644 --- a/tex/30-digital_identity.tex +++ b/tex/30-digital_identity.tex @@ -7,11 +7,11 @@ \section{Ð¡Ð¿ÐµÑ†Ð¸Ñ„Ð¸ÐºÐ°Ñ†Ð¸Ñ Ð¿Ð°Ñ€Ð°Ð¼ÐµÑ‚Ñ€Ð¾Ð² цифровой личн \subsection*{\textbf{ИÑходные данные Ð´Ð»Ñ ÐºÐ»Ð°Ñтеризации}} Ð’ качеÑтве иÑходных данных Ð´Ð»Ñ ÐºÐ»Ð°Ñтерного анализа иÑпользовалиÑÑŒ данные открытых профилей реальных пользователей Ñоциальной Ñети Вконтакте, -предÑтавленные в виде файла в формате json, Ñодержащего Ñто тридцать пÑть тыÑÑч открытых профилей реальных пользователей Вконтакте. +предÑтавленные в виде файла в формате json, Ñодержащего Ñто тридцать пÑть тыÑÑч открытых профилей реальных пользователей Вконтакте, которые были обезличены Ð´Ð»Ñ Ð¸ÑÐºÐ»ÑŽÑ‡ÐµÐ½Ð¸Ñ Ð²Ð¾Ð·Ð¼Ð¾Ð¶Ð½Ð¾Ñти компрометации пользователей. Из большего количеÑтва полученных профилей пользователей было решено произвеÑти фильтрацию и оÑтавить макÑимально заполненные профили пользователей. Ð’ результате отфильтрованные данные иÑчиÑлÑлиÑÑŒ количеÑтвом в 17805 профилей пользователей Вконтакте. -Так как некоторые из имеющихÑÑ Ð¿Ñ€Ð¾Ñ„Ð¸Ð»ÐµÐ¹ пользователей дублировалиÑÑŒ, было решено выделить множеÑтво уникальных id пользователей Вконтакте, +Так как некоторые из имеющихÑÑ Ð¿Ñ€Ð¾Ñ„Ð¸Ð»ÐµÐ¹ пользователей дублировалиÑÑŒ, было решено выделить множеÑтво уникальных идентификаторов пользователей Вконтакте, размер которого ÑоÑтавил 16133 Ð¿Ñ€Ð¾Ñ„Ð¸Ð»Ñ Ð¿Ð¾Ð»ÑŒÐ·Ð¾Ð²Ð°Ñ‚ÐµÐ»ÐµÐ¹. ИÑходный профиль реального Ð¿Ð¾Ð»ÑŒÐ·Ð¾Ð²Ð°Ñ‚ÐµÐ»Ñ Ð’ÐºÐ¾Ð½Ñ‚Ð°ÐºÑ‚Ðµ Ñодержит информацию из разделов \emph{``ОÑновное''}, \emph{``Контакты''}, \emph{``ИнтереÑÑ‹''}, \emph{``Образование''}, \emph{``Карьера''}, \emph{``Ð’Ð¾ÐµÐ½Ð½Ð°Ñ Ñлужба''}, \emph{``Ð–Ð¸Ð·Ð½ÐµÐ½Ð½Ð°Ñ Ð¿Ð¾Ð·Ð¸Ñ†Ð¸''}. Ð’ лиÑтинге~\ref{lst:vk_user} предÑтавлен пример иÑходного Ð¿Ñ€Ð¾Ñ„Ð¸Ð»Ñ Ð¿Ð¾Ð»ÑŒÐ·Ð¾Ð²Ð°Ñ‚ÐµÐ»Ñ Ð’ÐºÐ¾Ð½Ñ‚Ð°ÐºÑ‚Ðµ. @@ -24,18 +24,18 @@ \subsection*{\textbf{ИÑходные данные Ð´Ð»Ñ ÐºÐ»Ð°Ñтеризац \subsection*{\textbf{Обработка иÑходных профилей пользователей}} -Далее каждый профиль Ð¿Ð¾Ð»ÑŒÐ·Ð¾Ð²Ð°Ñ‚ÐµÐ»Ñ Ð¿Ñ€ÐµÐ¾Ð±Ñ€Ð°Ð·Ð¾Ð²Ñ‹Ð²Ð°Ð»ÑÑ Ñ‚Ð°ÐºÐ¸Ð¼ образом, чтобы получить удобные Ð´Ð»Ñ Ñ€Ð°Ð±Ð¾Ñ‚Ñ‹, возможно, Ñгенерированные признаки. -БольшинÑтво признаков заполнÑлиÑÑŒ на оÑнове данных, полученных из иÑходных профилей реальных пользователей Вконтакте: +Далее каждый профиль Ð¿Ð¾Ð»ÑŒÐ·Ð¾Ð²Ð°Ñ‚ÐµÐ»Ñ Ð¿Ñ€ÐµÐ¾Ð±Ñ€Ð°Ð·Ð¾Ð²Ñ‹Ð²Ð°Ð»ÑÑ Ð² цифровую личноÑть таким образом, чтобы получить удобные Ð´Ð»Ñ Ñ€Ð°Ð±Ð¾Ñ‚Ñ‹, возможно, Ñгенерированные признаки. +БольшинÑтво параметров цифровой личноÑти заполнÑлиÑÑŒ на оÑнове данных, полученных из иÑходных профилей реальных пользователей Вконтакте: \begin{enumerate} \item пол, наличие детей, наличие гражданÑтва (на оÑнове указанной Ñтраны), образование, политичеÑкие взглÑды, отношение к курению, отношение к алкоголю; \item возраÑÑ‚ определÑлÑÑ Ð¿Ð¾ указанной дате рождениÑ, указанному времени Ð¾Ð±ÑƒÑ‡ÐµÐ½Ð¸Ñ Ð² школе, либо, в Ñлучае еÑли он не указан, Ñлучайно, ÑоответÑтвенно раÑпределению возраÑтов других пользователей; \item уровень дохода определÑлÑÑ Ñ Ð¿Ð¾Ð¼Ð¾Ñ‰ÑŒÑŽ ÑвриÑтики, учитывающей возраÑÑ‚, наличие образованиÑ, наличие меÑта работы; \item наличие и вид транÑпорта определÑлиÑÑŒ Ñ Ð¿Ð¾Ð¼Ð¾Ñ‰ÑŒÑŽ ÑвриÑтики, учитывающей возраÑÑ‚, уровень дохода, наличие образованиÑ. - \item наличие инвалидноÑти и инвалидной колÑÑки определÑлоÑÑŒ Ñлучайным образом (вероÑтноÑть инвалидноÑти~---~0.5%, наличие колÑÑки только при инвалидноÑти Ñ Ð²ÐµÑ€Ð¾ÑтноÑтью 90%). + \item наличие инвалидноÑти и инвалидной колÑÑки определÑлоÑÑŒ Ñлучайным образом (вероÑтноÑть инвалидноÑти~---~0.5\%, наличие колÑÑки только при инвалидноÑти Ñ Ð²ÐµÑ€Ð¾ÑтноÑтью 90\%). \end{enumerate} -Полученным поÑле обработки профили пользователей были приÑвоены номера id от 1 до 16133, номера профилей пользователей были добавлены в поле vk id. +Полученным поÑле обработки профили пользователей были приÑвоены идентификаторы от 1 до 16133, номера профилей пользователей были добавлены в поле vk\_id. Ð’ лиÑтинге~\ref{lst:vk_parsed} предÑтавлен пример обработанного Ð¿Ñ€Ð¾Ñ„Ð¸Ð»Ñ Ð¿Ð¾Ð»ÑŒÐ·Ð¾Ð²Ð°Ñ‚ÐµÐ»Ñ Ð’ÐºÐ¾Ð½Ñ‚Ð°ÐºÑ‚Ðµ: \inputminted[frame=lines, linenos, breaklines]{js}{../src/vk_parsed.json} @@ -47,7 +47,7 @@ \subsection*{\textbf{Обработка иÑходных профилей пол \section{КлаÑтерный анализ цифровых личноÑтей жителей умного города} КлаÑÑ‚ÐµÑ€Ð¸Ð·Ð°Ñ†Ð¸Ñ (клаÑтерный анализ)~---~Ñ‚Ð¸Ð¿Ð¸Ñ‡Ð½Ð°Ñ Ð·Ð°Ð´Ð°Ñ‡Ð° ÑтатиÑтичеÑкого анализа данных: задача Ð¾Ð±Ð½Ð°Ñ€ÑƒÐ¶ÐµÐ½Ð¸Ñ Ð¸ Ñ€Ð°Ð·Ð±Ð¸ÐµÐ½Ð¸Ñ Ð¼Ð½Ð¾Ð¶ÐµÑтва объектов одной природы на группы, -называемые клаÑтерами, так, чтобы объекты одной группы обладали похожим ÑвойÑтвом. +называемые клаÑтерами, так, чтобы объекты одной группы обладали похожим ÑвойÑтвом \cite{duran1977, oldenderfer1989}. Под ``ÑвойÑтвом'' понимаетÑÑ Ð±Ð»Ð¸Ð·Ð¾Ñть объектов друг к другу отноÑительно выбранной метрики. Цели клаÑтеризации: @@ -65,17 +65,17 @@ \section{КлаÑтерный анализ цифровых личноÑтей которое попроÑту ÑвлÑетÑÑ Ð³ÐµÐ¾Ð¼ÐµÑ‚Ñ€Ð¸Ñ‡ÐµÑким раÑÑтоÑнием в многомерном проÑтранÑтве. Ð’ качеÑтве метода клаÑтерного анализа было решено иÑпользовать метод К-Ñредних, реализованный в библиотеке scikit-learn\footnote{https://scikit-learn.org/}, -в которой реализовано большое количеÑтво алгоритмов машинного обучениÑ. +в которой реализовано большое количеÑтво алгоритмов машинного Ð¾Ð±ÑƒÑ‡ÐµÐ½Ð¸Ñ \cite{pedregosa2011scikit}. По Ñравнению Ñ Ð´Ñ€ÑƒÐ³Ð¸Ð¼Ð¸ методами метод К-Ñредних ÑвлÑетÑÑ Ñ…Ð¾Ñ€Ð¾ÑˆÐ¾ изученным, имеет приближение, позволÑющее обрабатывать огромное количеÑтво примеров (48399 контекÑтов оказалиÑÑŒ проблемой длÑ, например, агломеративной клаÑтеризации), -а также позволÑет контролировать количеÑтво клаÑтеров. +а также позволÑет контролировать количеÑтво клаÑтеров \cite{macqueen1967some}. КлаÑÑ‚ÐµÑ€Ð¸Ð·Ð°Ñ†Ð¸Ñ Ð¼ÐµÑ‚Ð¾Ð´Ð¾Ð¼ K-Ñредних начинаетÑÑ Ñ Ð²Ñ‹Ð±Ð¾Ñ€Ð° k Ñлучайно раÑположенных центроидов (точек, предÑтавлÑющих центр клаÑтера). Каждому Ñлементу назначаетÑÑ Ð±Ð»Ð¸Ð¶Ð°Ð¹ÑˆÐ¸Ð¹ центроид, евклидово раÑÑтоÑние до которого минимально. ПоÑле того как назначение выполнено, каждый центроид перемещаетÑÑ Ð² точку, раÑÑчитываемую как Ñреднее по вÑем припиÑанным к нему Ñлементам. Затем назначение выполнÑетÑÑ Ñнова. Ðта процедура повторÑетÑÑ Ð´Ð¾ тех пор, пока Ð½Ð°Ð·Ð½Ð°Ñ‡ÐµÐ½Ð¸Ñ Ð½Ðµ прекратÑÑ‚ изменÑтьÑÑ. -СущеÑтвует Ð¼Ð¾Ð´Ð¸Ñ„Ð¸ÐºÐ°Ñ†Ð¸Ñ Ð´Ð°Ð½Ð½Ð¾Ð³Ð¾ метода под названием Mini-Batch k-Means\footnote{https://www.eecs.tufts.edu/~dsculley/papers/fastkmeans.pdf}. +СущеÑтвует Ð¼Ð¾Ð´Ð¸Ñ„Ð¸ÐºÐ°Ñ†Ð¸Ñ Ð´Ð°Ð½Ð½Ð¾Ð³Ð¾ метода под названием Mini-Batch k-Means \cite{sculley2010web}. ОÑÐ½Ð¾Ð²Ð½Ð°Ñ Ð¸Ð´ÐµÑ Ð´Ð°Ð½Ð½Ð¾Ð¹ модификации заключаетÑÑ Ð² том, что на каждой итерации вмеÑто полного прохода по данным мы работаем Ñ Ð¼Ð¸Ð½Ð¸-батчами~---~небольшими подмножеÑтвами данных. Чтобы уменьшить влиÑние шума, Ñоздаваемого таким образом, на втором Ñтапе Ð¿Ð¾Ð»Ð¾Ð¶ÐµÐ½Ð¸Ñ ÐºÐ»Ð°Ñтера заменÑÑŽÑ‚ÑÑ Ð½Ð° , где предыдущее положение клаÑтера,~---~центроид точек клаÑтера (то, на что заменÑетÑÑ Ð¿Ð¾Ð»Ð¾Ð¶ÐµÐ½Ð¸Ðµ клаÑтера в оригинальном алгоритме), а обратно пропорционально количеÑтву точек, которое учаÑтвовало в вычиÑлении центроидов Ð´Ð»Ñ Ð´Ð°Ð½Ð½Ð¾Ð³Ð¾ клаÑтера. diff --git a/tex/40-service_analysis.tex b/tex/40-service_analysis.tex index 39ba986f8cf9f9dc1f5ed9caf780497af89664e0..a942b4099576bb974667222f7489259a06df50d5 100644 --- a/tex/40-service_analysis.tex +++ b/tex/40-service_analysis.tex @@ -94,7 +94,7 @@ \section{Ð ÐµÐºÐ¾Ð¼ÐµÐ½Ð´Ð°Ñ†Ð¸Ñ ÑервиÑов на оÑнове колла ПоÑкольку многообразие жизненных Ñитуаций и, ÑоответÑтвенно, ÑервиÑов предоÑÑ‚Ð°Ð²Ð»ÐµÐ½Ð¸Ñ Ð¸Ð½Ñ„Ð¾Ñ€Ð¼Ð°Ñ†Ð¸Ð¸ и уÑлуг крайне велико, поиÑк ÑвлÑетÑÑ ÐºÑ€Ð°Ð¹Ð½Ðµ важным компонентом ÑиÑтемы поддержки мобильноÑти. Решить данную задачу позволÑет применение перÑональной информации жителей, отражающей их предпочтениÑ, характериÑтики, динамичеÑкий контекÑÑ‚ и Ñ‚. д. -ПерÑÐ¾Ð½Ð°Ð»ÑŒÐ½Ð°Ñ Ð¸Ð½Ñ„Ð¾Ñ€Ð¼Ð°Ñ†Ð¸Ñ Ð²Ð½Ð¾ÑитÑÑ Ð¿Ð¾Ð»ÑŒÐ·Ð¾Ð²Ð°Ñ‚ÐµÐ»Ñми вручную, ÑчитываетÑÑ Ð¸Ð· Ñоциальных Ñетей, а также передаетÑÑ Ð¿ÐµÑ€Ñональными уÑтройÑтвами. +ПерÑÐ¾Ð½Ð°Ð»ÑŒÐ½Ð°Ñ Ð¸Ð½Ñ„Ð¾Ñ€Ð¼Ð°Ñ†Ð¸Ñ Ð²Ð½Ð¾ÑитÑÑ Ð¿Ð¾Ð»ÑŒÐ·Ð¾Ð²Ð°Ñ‚ÐµÐ»Ñми вручную в профии Ñоциальных Ñетей, откуда может быть Ñчитана Ñ ÑоглаÑÐ¸Ñ Ð¿Ð»ÑŒÐ·Ð¾Ð²Ð°Ñ‚ÐµÐ»Ñ, а также накапливатьÑÑ Ð¸ передаетÑÑ Ð¿ÐµÑ€Ñональными уÑтройÑтвами \cite{Zhou2018}. ВмеÑте Ñ Ð¸Ñпользованием запроÑом на еÑтеÑтвенном Ñзыке, уточнÑющим потребноÑть пользователÑ, реализуетÑÑ ÑƒÐ´Ð¾Ð±Ð½Ð°Ñ Ð² иÑпользовании и выÑÐ¾ÐºÐ¾Ñ‚Ð¾Ñ‡Ð½Ð°Ñ ÑиÑтема поиÑка. Результатом поиÑка ÑвлÑетÑÑ Ð½ÐµÐ¿Ð¾ÑредÑтвенно ответ на поÑтавленный пользователем вопроÑ, ÑпиÑок возможных ответов (из разных ÑервиÑов) или ÑпиÑок ÑервиÑов, Ñ ÐºÐ¾Ñ‚Ð¾Ñ€Ñ‹Ð¼Ð¸ может быть продолжено взаимодейÑтвие. @@ -120,7 +120,7 @@ \subsection{ПоиÑк по контенту (Ñ€ÐµÐºÐ¾Ð¼ÐµÐ½Ð´Ð°Ñ†Ð¸Ñ Ñерв Пользователь заходит в ÑиÑтему, чтобы удовлетворить некоторую потребноÑть. Ð”Ð»Ñ Ð½Ð°Ñ‡Ð°Ð»Ð° опишем модель потребноÑтей, которую заложим в ÑиÑтему. -Можно иÑпользовать пирамиду МаÑлоу Ð´Ð»Ñ ÐºÐ°Ñ‚ÐµÐ³Ð¾Ñ€Ð¸Ð·Ð°Ñ†Ð¸Ð¸ потребноÑтей верхнего ÑƒÑ€Ð¾Ð²Ð½Ñ Ð¿Ð¾ запроÑам пользователей. +Можно иÑпользовать пирамиду МаÑлоу Ð´Ð»Ñ ÐºÐ°Ñ‚ÐµÐ³Ð¾Ñ€Ð¸Ð·Ð°Ñ†Ð¸Ð¸ потребноÑтей верхнего ÑƒÑ€Ð¾Ð²Ð½Ñ Ð¿Ð¾ запроÑам пользователей \cite{nain2013nain}. МаÑлоу разделил потребноÑти человека на уровни, Ð½Ð°Ñ‡Ð¸Ð½Ð°Ñ Ð¾Ñ‚ проÑтых и Ð·Ð°ÐºÐ°Ð½Ñ‡Ð¸Ð²Ð°Ñ Ð²Ñ‹Ñокими. И определил, что Ñтремление к более выÑоким потребноÑÑ‚Ñм возникает при удовлетворении потребноÑтей более низкого порÑдка. Ð’ работе ``ÐœÐ¾Ñ‚Ð¸Ð²Ð°Ñ†Ð¸Ñ Ð¸ личноÑть'' МаÑлоу предположил, что вÑе потребноÑти человека врожденные, и что их можно предÑтавить в виде иерархичеÑкой ÑиÑтемы из пÑти уровней: @@ -193,7 +193,7 @@ \subsection{ПоиÑк по контенту (Ñ€ÐµÐºÐ¾Ð¼ÐµÐ½Ð´Ð°Ñ†Ð¸Ñ Ñерв СервиÑÑ‹ умного города потребуетÑÑ Ð¾Ð¿Ð¸Ñать ÑущноÑÑ‚Ñми, иÑпользуемыми в модели категоризации запроÑов пользователÑ, чтобы понимать, при каких запроÑах какой ÑÐµÑ€Ð²Ð¸Ñ Ð¸Ñпользовать. Ð”Ð»Ñ Ñ€ÐµÐ°Ð»Ð¸Ð·Ð°Ñ†Ð¸Ð¸ алгоритма рекомендации ÑервиÑов Ñ ÑƒÐºÐ°Ð·Ð°Ð½Ð½Ñ‹Ð¼Ð¸ ключевыми Ñловами на оÑнове пользовательÑких запроÑов на еÑтеÑтвенном Ñзыке -можно воÑпользоватьÑÑ ÐºÐ»Ð°ÑÑификацией Ñтих запроÑов по ключевым Ñловам ÑервиÑов. +можно воÑпользоватьÑÑ ÐºÐ»Ð°ÑÑификацией Ñтих запроÑов по ключевым Ñловам ÑервиÑов . \begin{figure}[htb] \centering @@ -225,7 +225,7 @@ \subsection{ПоиÑк по контекÑту (Ñ€ÐµÐºÐ¾Ð¼ÐµÐ½Ð´Ð°Ñ†Ð¸Ñ Ñер Ð’ результате, профиль порождает доÑтаточно большое количеÑтво ÑвойÑтв, но многие из которых приÑущи небольшому количеÑтву человек и редко вÑтречаютÑÑ Ð²Ð¼ÐµÑте, например, конкретный ВУЗ. Ð”Ð»Ñ Ñ€ÐµÐ°Ð»Ð¸Ð·Ð°Ñ†Ð¸Ð¸ поиÑка ближайших ÑоÑедей предлагаетÑÑ Ð¸Ñпользование комбинации алгоритмов inverted index\footnote{https://www.geeksforgeeks.org/inverted-index/} -и locality-sensitive hashing\footnote{http://tylerneylon.com/a/lsh1/lsh\_post1.pdf}, применÑемых к разным группам ÑвойÑтв. +и locality-sensitive hashing \cite{indyk1998approximate}, применÑемых к разным группам ÑвойÑтв. Inverted index предполагает формирование наборов Ñлементов, имеющий определенный признак, а иÑкомый набор ÑоÑедей ÑвлÑетÑÑ Ð¾Ð±ÑŠÐµÐ´Ð¸Ð½ÐµÐ½Ð¸ÐµÐ¼ наборов, Ñодержащих признаки данного ÑкземплÑра. Данный алгоритм применÑетÑÑ Ð´Ð»Ñ Ð´Ð¸Ñкретных, разрÑженных ÑвойÑтв, например, обучение в определенном вузе, определенном направлении, и Ñ‚. п. diff --git a/tex/50-implementation.tex b/tex/50-implementation.tex index eb599bd498a2270d66004c66dbbfce1625a69877..56fbe9ad43edd5a13deac89872608906bdd139e9 100644 --- a/tex/50-implementation.tex +++ b/tex/50-implementation.tex @@ -635,8 +635,8 @@ \subsection{Ð ÐµÐºÐ¾Ð¼ÐµÐ½Ð´Ð°Ñ†Ð¸Ñ ÑервиÑов} \subsection{СемантичеÑкий анализ запроÑа} Ð”Ð»Ñ ÑƒÑпешной реализации Ð²Ñ‹Ð¿Ð¾Ð»Ð½ÐµÐ½Ð¸Ñ Ð¿Ð¾Ð»ÑŒÐ·Ð¾Ð²Ð°Ñ‚ÐµÐ»ÑŒÑкого запроÑа на еÑтеÑтвенном Ñзыке в ÑервиÑах умного города требуетÑÑ Ñ€ÐµÑˆÐ¸Ñ‚ÑŒ задачу ÑемантичеÑкого анализа запроÑов пользователÑ, -а именно~---~ÑемантичеÑкой ÑвÑзноÑть групп токенов из пользовательÑкого запроÑа на еÑтеÑтвенном Ñзыке и ÑущноÑтей из онтологии. -Субъекты могут быть извеÑтны заранее и приÑутÑтвовать в общих или Ñпециализированных базах знаний. +а именно~---~ÑемантичеÑкой ÑвÑзноÑть групп токенов из пользовательÑкого запроÑа на еÑтеÑтвенном Ñзыке и ÑущноÑтей из онтологии \cite{ferre2013squall2sparql, pradel2014swip, pradel2013natural, shaik2016transforming}. +Субъекты могут быть извеÑтны заранее и приÑутÑтвовать в общих или Ñпециализированных базах знаний \cite{unger2014introduction, verfaillie2018question}. Они также могут быть Ñозданы на оÑнове открытых номенклатур и Ñловарей, и их невозможно перечиÑлить заранее. РаÑÑмотрим алгоритм работы реализованного ÑервиÑа по ÑемантичеÑкому анализу запроÑа на еÑтеÑтвенном Ñзыке: @@ -670,8 +670,8 @@ \subsection{СемантичеÑкий анализ запроÑа} \item ДобавлÑем nls на руÑÑком без Ñтоп Ñлов. \end{enumerate} -Ð’ таблице~\ref{tab:wikidata_table} предÑтавлены результаты работы алгоритма поиÑка ÑущноÑтей Wikidata в запроÑах на еÑтеÑтвенном Ñзыке. -Ð’ результате была реализована группа алгоритмов по определению ÑущноÑтей wikidata в запроÑах на руÑÑком Ñзыке и определена точноÑть реализованных алгоритмов. +Ð’ таблице~\ref{tab:wikidata_table} предÑтавлены результаты работы алгоритма поиÑка ÑущноÑтей Wikidata в запроÑах на еÑтеÑтвенном Ñзыке \cite{hasibi2017dbpedia}. +Ð’ результате была реализована группа алгоритмов по определению ÑущноÑтей wikidata в запроÑах на руÑÑком Ñзыке и определена точноÑть реализованных алгоритмов \cite{diefenbach2017question, kwiatkowski2019natural}. \begin{center} \begin{longtable}{|p{0.3\textwidth}|c|c|c|c|c|c|c|} diff --git a/tex/90-appendix1.tex b/tex/90-appendix1.tex index 92046af5f819df618e27499f069d163cd5baca42..a125f95d8f888347efb1f47e48925dc726af8b56 100644 --- a/tex/90-appendix1.tex +++ b/tex/90-appendix1.tex @@ -3,7 +3,7 @@ \chapter{Приложение Ð. Публикации по результата К наÑтоÑщему времени по результатам ÐИРопубликовано 5 работ в изданиÑÑ…, индекÑируемых Web Of Science / SCOPUS. СпиÑок работ приведен ниже. Копии первых Ñтраниц опубликованных работ приведены в Приложении Б. -l\begin{enumerate} +\begin{enumerate} \item Mikhailov S., Kashevnik A. An Ontology for Service Semantic Interoperability in the Smartphone-Based Tourist Trip Planning System. Proceedings of the 23rd Conference of Open Innovations Association FRUCT, Bologna, 13-16 November 2018. P. 239–245 ISSN: 2305-7254. (Scopus, WoS). DOI: 10.23919/FRUCT.2018.8588027 \item Petrov M., Kashevnik A. Expert Group Formation for Task Performing: Competence-Based Method and Implementation . Proceedings of the 23rd Conference of Open Innovations Association FRUCT, Bologna, 13-16 November 2018, P. 315–320. ISSN: 2305-7254 (Scopus, WoS). DOI: 10.23919/FRUCT.2018.8588099 \item Teslya N., Ryabchikov I. Mikhailov S. Forming of Smart City Resident Digital Identity Based On the City Sources Analysis. IEEE BlackSeaCom 2019. IEEE Xplore DL (Scopus)(Ð’ печати) diff --git a/tex/95-appendix6.tex b/tex/95-appendix6.tex index f66192ec1fb115c8e04861706043191a48fa7c25..47dd515f77ade7b137425aa0bffb48884e3a2725 100644 --- a/tex/95-appendix6.tex +++ b/tex/95-appendix6.tex @@ -7,7 +7,7 @@ \chapter{Приложение Е. Подача заÑвок Ð´Ð»Ñ Ð¿Ñ€Ð¸Ð²Ð»Ðµ \item Михайлов С.Ð.~---~Разработка метода Ñ„Ð¾Ñ€Ð¼Ð¸Ñ€Ð¾Ð²Ð°Ð½Ð¸Ñ Ñ‚ÑƒÑ€Ð¸ÑтичеÑкого набора доÑтопримечательноÑтей на оÑнове открытых иÑточников данных \item Петров М.Ð’.~---~Разработка метода подбора перÑонала в организацию на оÑнове компетенций цифровой личноÑти Ð¶Ð¸Ñ‚ÐµÐ»Ñ ÑƒÐ¼Ð½Ð¾Ð³Ð¾ города и требований организации \item Ð Ñбчиков И.Ð.~---~Разработка концепции ÑиÑтемы Ð´ÐµÑ‚ÐµÐºÑ‚Ð¸Ñ€Ð¾Ð²Ð°Ð½Ð¸Ñ Ð´ÐµÐ²Ð¸Ð°Ð½Ñ‚Ð½Ð¾Ð³Ð¾ Ð¿Ð¾Ð²ÐµÐ´ÐµÐ½Ð¸Ñ Ð»ÑŽÐ´ÐµÐ¹ по камерам Ð²Ð¸Ð´ÐµÐ¾Ð½Ð°Ð±Ð»ÑŽÐ´ÐµÐ½Ð¸Ñ Ð³Ð¾Ñ€Ð¾Ð´Ð° -\item Липкин Е.О.~---~ +\item Липкин Е.О.~---~Разработка ÑиÑтемы автоматичеÑкого Ð¾Ð±Ð½Ð°Ñ€ÑƒÐ¶ÐµÐ½Ð¸Ñ ÑкÑпертов на оÑнове анализа данных из Ñоциальных Ñетей \item Юшков Е.Ю.~---~Проектирование и разработка прототипа ÑиÑтемы Ð´Ð»Ñ ÑÐ¾Ð¿Ñ€Ð¾Ð²Ð¾Ð¶Ð´ÐµÐ½Ð¸Ñ Ð² аропортах маломобильных паÑÑажирв и людей Ñ Ð¾Ð³Ñ€Ð°Ð½Ð¸Ñ‡ÐµÐ½Ð½Ñ‹Ð¼Ð¸ физичеÑкими возможноÑÑ‚Ñми \end{enumerate} diff --git a/tex/rpz.bib b/tex/rpz.bib index 74ec1f286256c0929a03dd6ff74a0a2d09544b4d..2757b1cc07ad80934963c0ea55d7f62caed9fed4 100644 --- a/tex/rpz.bib +++ b/tex/rpz.bib @@ -273,4 +273,169 @@ url = {https://www.iso.org/standard/57914.html}, year = {2011} } +@article{duran1977, + title={КлаÑтерный анализ}, + author={Дюран, Б and Оделл, П}, + journal={М.: ÑтатиÑтика}, + volume={128}, + pages={2}, + year={1977} +} + +@article{oldenderfer1989, + title={КлаÑтерный анализ//Факторный, диÑкриминантный и клаÑтерный анализ}, + author={Олдендерфер, МС and БлÑшфилд, РК}, + journal={М.: ФинанÑÑ‹ и ÑтатиÑтика}, + volume={215}, + pages={61}, + year={1989} +} + +@article{pedregosa2011scikit, + title={Scikit-learn: Machine learning in Python}, + author={Pedregosa, Fabian and Varoquaux, Ga{\"e}l and Gramfort, Alexandre and Michel, Vincent and Thirion, Bertrand and Grisel, Olivier and Blondel, Mathieu and Prettenhofer, Peter and Weiss, Ron and Dubourg, Vincent and others}, + journal={Journal of machine learning research}, + volume={12}, + number={Oct}, + pages={2825--2830}, + year={2011} +} + +@inproceedings{macqueen1967some, + title={Some methods for classification and analysis of multivariate observations}, + author={MacQueen, James and others}, + booktitle={Proceedings of the fifth Berkeley symposium on mathematical statistics and probability}, + volume={1}, + issue={14}, + pages={281--297}, + year={1967}, + organization={Oakland, CA, USA} +} + +@inproceedings{sculley2010web, + title={Web-scale k-means clustering}, + author={Sculley, David}, + booktitle={Proceedings of the 19th international conference on World wide web}, + pages={1177--1178}, + year={2010}, + organization={ACM} +} + +@ARTICLE{Zhou2018, +author={Zhou, X. and Li, D.}, +title={Quantifying multi-dimensional attributes of human activities at various geographic scales based on smartphone tracking}, +journal={International Journal of Health Geographics}, +year={2018}, +volume={17}, +number={1}, +doi={10.1186/s12942-018-0130-3}, +author_keywords={Geographic information systems; Individual activity tracking; Location-based step; Smartphone; Tile systems}, +document_type={Article}, +source={Scopus}, +} + +@inproceedings{indyk1998approximate, + title={Approximate nearest neighbors: towards removing the curse of dimensionality}, + author={Indyk, Piotr and Motwani, Rajeev}, + booktitle={Proceedings of the thirtieth annual ACM symposium on Theory of computing}, + pages={604--613}, + year={1998}, + organization={ACM} +} + + + +@inproceedings{ferre2013squall2sparql, +title={squall2sparql: a Translator from Controlled English to Full SPARQL 1.1}, +author={Ferr{\'e}, S{\'e}bastien}, +year={2013} +} + +@inproceedings{unger2014introduction, +title={An introduction to question answering over linked data}, +author={Unger, Christina and Freitas, Andr{\'e} and Cimiano, Philipp}, +booktitle={Reasoning Web International Summer School}, +pages={100--140}, +year={2014}, +organization={Springer} +} +@article{verfaillie2018question, +title={Question Answering over Linked Data: A Feasibility Study}, +author={Verfaillie, Bryan}, +year={2018} +} +@techreport{nain2013nain, +title={Nain's Hierarchy of Needs: An Alternative to Maslow's \& ERG's Hierarchy of Needs}, +author={Nain, Bhavya}, +year={2013}, +institution={University Library of Munich, Germany} +} + +@article{shaik2016transforming, +title={Transforming natural language query to SPARQL for semantic information retrieval}, +author={Shaik, Sharmela and Kanakam, Prathyusha and Hussain, S Mahaboob and Suryanarayana, D}, +journal={Int. J. Eng. Trends Technol}, +volume={41}, +pages={347--350}, +year={2016} +} + +@inproceedings{hasibi2017dbpedia, +title={DBpedia-entity v2: a test collection for entity search}, +author={Hasibi, Faegheh and Nikolaev, Fedor and Xiong, Chenyan and Balog, Krisztian and Bratsberg, Svein Erik and Kotov, Alexander and Callan, Jamie}, +booktitle={Proceedings of the 40th International ACM SIGIR Conference on Research and Development in Information Retrieval}, +pages={1265--1268}, +year={2017}, +organization={ACM} +} +@inproceedings{diefenbach2017question, +title={Question answering benchmarks for wikidata}, +author={Diefenbach, Dennis and Tanon, Thomas and Singh, Kamal and Maret, Pierre}, +year={2017} +} +@inproceedings{ruseti2015qanswer, +title={QAnswer-Enhanced Entity Matching for Question Answering over Linked Data.}, +author={Ruseti, Stefan and Mirea, Alexandru and Rebedea, Traian and Trausan-Matu, Stefan}, +booktitle={CLEF (Working Notes)}, +year={2015} +} +@article{kwiatkowski2019natural, +title={Natural questions: a benchmark for question answering research}, +author={Kwiatkowski, Tom and Palomaki, Jennimaria and Redfield, Olivia and Collins, Michael and Parikh, Ankur and Alberti, Chris and Epstein, Danielle and Polosukhin, Illia and Devlin, Jacob and Lee, Kenton and others}, +journal={Transactions of the Association for Computational Linguistics}, +volume={7}, +pages={453--466}, +year={2019}, +publisher={MIT Press} +} +@article{ferre2011squall, +title={SQUALL: a High-Level Language for Querying and Updating the Semantic Web}, +author={Ferr{\'e}, S{\'e}bastien}, +year={2011} +} +@inproceedings{pradel2013natural, +title={Natural language query interpretation into SPARQL using patterns}, +author={Pradel, Camille and Haemmerl{\'e}, Ollivier and Hernandez, Nathalie}, +year={2013} +} +@inproceedings{pradel2014swip, +title={Swip: a natural language to SPARQL interface implemented with SPARQL}, +author={Pradel, Camille and Haemmerl{\'e}, Ollivier and Hernandez, Nathalie}, +booktitle={International Conference on Conceptual Structures}, +pages={260--274}, +year={2014}, +organization={Springer} +} +@article{luz2018semantic, +title={Semantic parsing natural language into sparql: improving target language representation with neural attention}, +author={Luz, Fabiano Ferreira and Finger, Marcelo}, +journal={arXiv preprint arXiv:1803.04329}, +year={2018} +} +@article{soru2017sparql, +title={SPARQL as a Foreign Language}, +author={Soru, Tommaso and Marx, Edgard and Moussallem, Diego and Publio, Gustavo and Valdestilhas, Andr{\'e} and Esteves, Diego and Neto, Ciro Baron}, +journal={arXiv preprint arXiv:1708.07624}, +year={2017} +}