WWW.DISSERS.RU

БЕСПЛАТНАЯ ЭЛЕКТРОННАЯ БИБЛИОТЕКА

   Добро пожаловать!


Pages:     | 1 || 3 | 4 |   ...   | 5 |

3.Ситуационная релевантность – определяет полезность информационного ресурса для задачи, решаемой пользователем, с точки зрения временных затрат, способа взаимодействия пользователя с системой и т. п.

4.Системная (алгоритмическая) релевантность – характеризует степень близости между формализованной информационной потребностью (запросом) и найденным поисковой системой документом.

Поскольку информационно-поисковый язык является формальным языком, для сравнения запросов и документов можно применять формальные критерии. Поэтому алгоритмическую релевантность, в отличие от остальных видов релевантности, можно рассчитать без участия пользователя. Обычно она определяется самой поисковой системой в ходе работы поискового алгоритма.

Теоретически релевантность можно измерить некоторым числом в интервале от нуля (полностью непертинентный документ) до единицы (полностью пертинентный документ). На практике же релевантность в основном определяется при оценке просматриваемых документов – подходит ли данный документ пользователю или не подходит. Таким образом, релевантность обычно характеризуется бинарным значением [,, ].

Существуют также методы оценки релевантности по многозначной шкале. В этом случае коллектив экспертов просматривает доступные документы и присваивает каждому из них некоторое значение релевантности, которое определяется для каждого запроса. Такая методика используется главным образом при сравнении эффективности нескольких поисковых систем.

Один и тот же документ может быть релевантным согласно одному определению релевантности и нерелевантным согласно другому. Так, документ, релевантный алгоритмически, может оказаться непертинентным. Например, если в неспециализированной ИПС искать информацию о компьютерных манипуляторах типа "мышь" и использовать для этого запрос, состоящий из слова "мышь", то велика вероятность получения ряда непертинентных документов из области зоологии и географии, описывающих мышей-грызунов. При этом найденные непертинентные документы формально будут соответствовать запросу, так как в их тексте содержится термин запроса – "мышь".

Релевантность не является статичной величиной и может со временем меняться. Например, знания пользователя могут измениться после прочтения найденного документа, что в свою очередь может привести к составлению нового запроса, то есть к изменению формализованной информационной потребности. Это иллюстрирует интерактивную природу информационного поиска [, ].

Различные определения релевантности весьма затрудняют оценку эффективности поиска информации. Качество поиска в информационно-поисковых системах обычно характеризуется двумя критериями – полнотой и точностью. Полнота поиска определяется общим количеством найденных документов, а точность – соотношением между найденными релевантными и нерелевантными документами. Из-за многозначности определения релевантности абсолютного критерия точности поиска не существует, и в результатах любого поиска всегда присутствуют как релевантные, так и нерелевантные документы.

Нерелевантные документы, которые сравниваются с релевантными, иногда называются шумом, по аналогии с теорией передачи информации К. Шеннона. Релевантные документы в таком случае можно называть сигналом, а эффективность поиска оценивать по соотношению "сигнал - шум".

Слишком большой шум затрудняет выделение пертинентных документов из множества найденных, а слишком малый не даёт уверенности в достаточной полноте поиска. Практика показывает, что пользователь, который ищет информацию, полагает число найденных документов удовлетворительным, когда количество непертинентных документов лежит в интервале 10–30% от общего числа найденных [].

Важно отметить, что в результате анализа статистики запросов большого числа пользователей к известным поисковым системам выяснилось, что средняя длина запроса не превышает двух слов, и пользователи, как правило, используют самую простую форму запроса. Поэтому нельзя рассчитывать на то, что пользователь поисковой системы будет формулировать достаточно сложные эффективные запросы.

Современная поисковая система должна самостоятельно выявлять информационные потребности конкретного пользователя и учитывать их при поиске [, ].

1.4. Общая схема процесса поиска Существует два базовых подхода к поиску информации [, ]. Один из них заключается в использовании специальных тематических каталогов и реализуется в классификационных ИПС. Для поиска документа в этом случае используются его название, выходные данные, тематика и другие реквизиты.

Второй подход, применяемый в словарных ИПС, использует для поиска словари, составленные из терминов, описывающих содержание индексированных документов, с которыми работают программные средства, называемые поисковыми машинами. Наиболее продуктивной схемой поиска является комплексное использование обоих основных подходов.

Независимо от типа поисковой системы1, все операции информационного поиска можно разбить на четыре группы []:

-информационный анализ, -хранение информации, -поисковые операции, -выдача информации.

Общая схема процесса поиска в информационно-поисковой системе представлена на рис. Рис. 3.

Подробнее о типах современных ИПС см. Часть 2 методических указаний.

Документы Запросы Анализ Анализ содержания содержания документов запросов Описания документов Формулировки запросов Сравнение запросов и документов Выдача описаний документов, соответствующих формулировкам запросов Ответы Рис. 3. Общая схема процесса поиска Содержание документов и запросов в информационно-поисковых системах обычно описывается некоторыми наборами терминов, состоящими из отдельных слов или словосочетаний. Часто для характеристики терминов используются их веса, которые отражают предполагаемую важность каждого из терминов. Решение о выдаче того или иного документа принимается в результате сравнения наборов терминов, относящихся соответственно к документам и запросам. Вниманию пользователя предлагаются те документы, наборы терминов которых совпадают с наборами терминов запросов.

Наряду с отбором из документов определенных терминов существуют и другие способы их описания. Они подробно рассматриваются в следующих разделах. Здесь же важно отметить, что основа любого описания документа – это термины, входящие в его состав.

2. Представление информации в ИПС 2.1. Индексирование документов Первая задача, которую должна решить информационно-поисковая система – это создание описания документа или любого другого информационного ресурса.

Такая процедура называется индексированием.

Основная цель процесса индексирования – поставить в соответствие каждому документу некоторое множество ключевых слов, отражающих содержание документа. Ключевые слова называются также идентификаторами, индексационными терминами, дескрипторами, понятиями. Ключевые слова управляют поиском, приводя в результате к тем документам, термины которых оказываются наиболее сходными с терминами запроса. Результатом индексирования является поисковый образ документа, который представляет документ в ИПС [, ].

Любой метод индексирования основан на текстах исходных документов, или же на определенных фрагментах этих текстов (заглавия, рефераты и др.).

Обычный процесс индексирования состоит из следующих операций []:

-отбор индексационных терминов, используемых для описания содержания документа;

-приписывание этим терминам некоторого веса, который отражает предполагаемую важность терминов.

-отнесение каждого термина к некоторому типу (например, к классу действий, свойств или объектов);

-определение отношений (синонимических, иерархических, ассоциативных и т.

д.) между терминами.

В зависимости от принятой модели индексирования и поиска документов некоторые операции из вышеперечисленного списка могут быть исключены.

В большинстве ИПС для описания содержания документов и запросов используются полученные таким образом множества терминов с весами. Расчеты весовых коэффициентов обычно основаны на частоте появления данного термина в документе или частоте его появления во всех доступных документах.

Тем не менее, современные способы индексирования не ограничиваются анализом частотных параметров текста, предоставляя возможность весьма подробного описания документов. Коэффициенты значимости терминов определяются с учетом положения термина внутри документа (например, в заголовке) и взаимного расположения терминов в тексте.

Некоторые современные поисковые системы выполняют полнотекстовое индексирование, при котором в описание включается большой объем информации о документе: позиция каждого слова, раздел текста, в который входит данное слово, шрифт и т. д. В результате размер такого описания может превышать размер исходного документа [].

2.2. Векторная модель текста Большинство современных алгоритмов индексации и поиска в той или иной степени основано на векторной модели текста, предложенной Дж. Солтоном в году. В векторной модели каждому документу приписывается список терминов, наиболее адекватно отражающих его смысл. Иными словами, каждому документу соответствует вектор, размерность которого равна числу терминов, которыми можно воспользоваться при поиске [].

Для дальнейшего изложения введем несколько важных понятий: словарь, поисковый образ документа, информационный массив [].

Словарь – это упорядоченное множество терминов. Мощность словаря обозначается как.

D Поисковый образ документа – это вектор размерности. Самый простой поисD ковый образ документа – двоичный вектор. Если термин входит в документ, то в соответствующем разряде этого двоичного вектора проставляется 1, в противном же случае – 0. Более сложные поисковые образы документов связаны с понятием относительного веса терминов или частоты встречаемости терминов [].

Любой запрос также является текстом, а значит, его тоже можно представить в q виде вектора. В процессе работы поискового алгоритма происходит сравнение векторов поискового образа документа и поискового образа запроса. Чем ближе вектор документа находится к вектору запроса, тем более релевантным он является1.

Обычно все операции информационного поиска выполняются над поисковыми образами, но при этом их, как правило, называют просто документами и запросами.

Информационный массив представляют в виде матрицы размерности L, где в качестве строк выступают поисковые образы документов:

N D N 0, t di j L = { i = 1, N; j = 1, D : bij = } (2.1) 1, t di, j t di где – термин, – документ. Информационный массив называют также инj формационным потоком, набором документов или коллекцией документов.

Подробнее о мерах близости документов и запросов см. Часть 2 методических указаний.

Описанная модель информационного массива является наиболее широко используемой. В первую очередь это связано с простотой реализации и, как следствие, возможностью быстрой обработки больших объемов документов. В случае использования весов терминов информационный массив может быть представлен в виде L 0, t di j L = { i = 1, N; j = 1, D : bij = } Wij, t di, j Wij t di где – вес термина в документе.

j Матрица информационного массива изображена на рис. Рис. 4.

Термин 1 Термин 2... Термин j... Термин D W W W W Документ 11 12 1 j 1 D W W W W Документ 21 22 2 j 2 D...

W W W W Документ i i 1 i 2 ij iD...

Документ N W W W W N 1 N 2 Nj ND Рис. 4. Матрица "термин-документ" информационного массива Процедура обращения к информационно-поисковой системе может быть определена следующим образом:

L q = R.

q Здесь – вектор запроса, – вектор отклика системы на запрос.

R Остановимся подробнее на статистических закономерностях, которые используются в процессе индексирования документов.

2.3. Статистический анализ текстов. Закон Ципфа Начальным этапом любого метода индексирования является отбор из документов терминов, которые бы наилучшим образом характеризовали их содержимое. Такая необходимость вызвана тем, что непосредственное сканирование текстов документов во время поиска занимает слишком много времени, особенно в поисковых системах сети Интернет. С другой стороны, хранение полных текстов документов в базах данных поисковых систем привело бы, во-первых, к резкому росту их объема, и, во-вторых, поставило бы проблему соблюдения авторских прав.

Для выделения из документа индексационных терминов используются главным образом статистические закономерности распределения частоты появления различных слов в текстах. В частности, в теории индексирования особый интерес представляют явления, поведение которых носит гиперболический характер. Другими словами, произведение фиксированных степеней переменных остается для таких явлений постоянным.

Наиболее известный гиперболический закон, относящийся к статистической обработке текстов, сформулирован Дж. Ципфом. Он касается распределения слов в достаточно больших выборках текста и используется для решения задачи выделения ключевых слов (терминов) произвольного документа. Основываясь на общем "принципе наименьшего усилия"1, Дж. Ципф вывел универсальный закон, который применим ко всем созданным человеком текстам [,, ].

Рассмотрим некоторый текст, количество слов в котором обозначим как, а T ti ni число вхождений каждого слова в этот текст обозначим как. Частота появлеti ния2 слова в таком случае будет определяться формулой (TF )i = ni T.

Если расположить слова текста в порядке убывания частоты их появления, на(TF)i на чиная с наиболее часто встречающихся, то произведение частоты слова ti порядковый номер частоты будет постоянным для любого данного слова :

(TF)i ri = C, (2.2) ri ti где – некоторая константа, – порядковый номер (ранг) частоты слова.

C Наиболее часто встречающиеся слова будут иметь ранг 1, следующие за ними – 2 и т. д. Если несколько слов имеет одинаковую частоту, то ранг присваивается только одному значению из каждой группы.

y = k x Выражение (2.2) описывает функцию вида и её график – гипербола, или прямая в логарифмических координатах (рис. ).

Подобному распределению подчиняются не только все естественные языки мира, но и другие явления: распределения ученых по числу опубликованных ими статей, городов по численности населения, биологических родов по численности видов, посетителей сайтов сети Интернет и т. д. [] TF – англ. Term Frequency – частота термина в отдельных документах.

(TF )i log(TF )i 0 ri log ri Рис. 5. Закон Ципфа ni (TF )i и количество слов, входяЭксперименты показывают, что частота щих в текст с этой частотой (другими словами, количество слов, имеющих одинаковый ранг частоты), также связаны между собой. Обозначим это количество как mr. Форма кривой зависимости mr ((TF)i ) сохраняет свои параметры для всех i i текстов в пределах одного языка. Вид такой зависимости представлен на рис..

mr i (TF )i Рис. 6. Зависимость числа слов каждого ранга от частоты их встречаемости pi ti Вероятность встретить произвольно выбранное слово, очевидно, будет равна частоте встречаемости этого слова в тексте:

pi = (TF )i.

Таким образом, согласно закону Ципфа, если самое распространенное слово встречается в тексте, например 50 раз, то следующее по частоте слово с высокой долей вероятности встретится 25 раз.

Связь, задаваемая зависимостью (2.2), описывает реальные данные приближенно. Более точное совпадение с экспериментом дает несколько измененное уравнение (TF )i = C(ri + B)- s. (2.3) s Здесь и – параметры распределения, а – малая константа, называеC B мая поправкой Мандельброта. Она улучшает совпадение для общеупотребительных s слов, имеющих низкий ранг, а параметр – для слов, имеющих высокий ранг. Значение константы в разных языках различно, но внутри одной языковой группы оно C остается неизменным вне зависимости от анализируемого текста.

Выражение (2.3) называется каноническим законом Ципфа []. Оно используется для составления поискового образа документа, то есть для извлечения из текста документа слов, наиболее адекватно отражающих его смысл.

Практика показывает, что наиболее значимые слова лежат в средней части графика зависимости (рис. Рис. 7). Иными словами, самыми ценными для представления содержания документов являются термины не слишком редкие и не слишком частые. Слова, которые попадаются слишком часто, в основном оказываются предлогами, союзами и т. д. Редко встречающиеся слова также не имеют решающего смыслового значения в большинстве случаев.

Pages:     | 1 || 3 | 4 |   ...   | 5 |






















© 2011 www.dissers.ru - «Бесплатная электронная библиотека»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.