WWW.DISSERS.RU

БЕСПЛАТНАЯ ЭЛЕКТРОННАЯ БИБЛИОТЕКА

   Добро пожаловать!


Pages:     || 2 | 3 | 4 | 5 |   ...   | 9 |
ИГРА В ЦЫФИРЬ, или как теперь оценивают труд ученого (cборник статей о библиометрике) Москва Издательство МЦНМО УДК ББК.

И Игра в цыфирь, или как теперь оценивают труд ученого И (cборник статей о библиометрике). –– М.: МЦНМО,. –– с.: ил.

ISBN ---Настоящий сборник содержит статьи математиков, статистиков и биологов, содержащие критическую оценку широко распространенных теперь библиометрических методов оценки научной деятельности. Авторы показывают, к каким неверным выводам может приводить использование таких численных показателей, как импакт-фактор и индекс цитируемости.

Основное место в сборнике занимает отчет «Статистики цитирования», подготовленный по инициативе Международного математического союза.

К нему добавлен ряд других статей на эту же тему.

ББК.

Электронная версия книги доступна по адресу http://www.mccme.ru/free-books/bibliometric.pdf ISBN ---Оглавление От Международного математического союза............

Р. Адлер, Дж. Эвинг, П. Тейлор. Статистики цитирования....

П. А. Лоуренс. Потерянное при публикации: как измерение вредит науке..................................

Ф. Кемпбелл. Бегство от импакт-фактора...............

Д. Арнольд, К. Фаулер. Гнусные цифры.................

Л. Д. Фаддеев. Из интервью журналу «Эксперт»...........

Приложение. Из ТИПОВОЙ МЕТОДИКИ оценки результативности деятельности научных организаций............

Дополнительная литература.......................

Сведения об авторах............................

От Международного математического союза Уважаемые коллеги, Перед вами первый специальный выпуск IMU-Net. Сегодня Международный математический союз (IMU) публикует важный документ «Статистики цитирования», на который мы хотим обратить ваше внимание.

В IMU-Net (июль г.) было объявлено о создании комитета по «Количественной оценке исследований». Комитету было предложено исследовать различные стороны импакт-факторов и аналогичных статистик, основанных на цитированиях. Создание комитета было совместным действием Исполкома Международного математического союза, Международного совета по промышленной и прикладной математике (ICIAM) и Института математической статистики (IMS). Комитет состоял из следующих членов:

– Джон Эвинг (Провиденс, США), председатель, предложен IMU;

– Роберт Адлер (Хайфа, Израиль), предложен IMS;

– Питер Тейлор (Мельбурн, Австралия), предложен ICIAM.

Задачи, поставленные перед комитетом, изложены в Интернете по адресуhttp://www.mathunion.org/Publications/2007/ChargeComOnQuantAssessmRes070521.pdf Источник: IMU-Net b: June,http://www.mathunion.org/imu-net/archive/2008/ imu-net-29b/. Специальный выпуск, посвященный «Статистикам цитирования» –– отчету, анализирующему импакт-факторы и аналогичные статистики, основанные на цитированиях.

В частности, предлагалось следующее.

. Выяснить, до какой степени импакт-фактор, предложенный ISI (Institute of Science Information. О нем см. в тексте отчета. –– Прим. ред.) является значимым индикатором качества исследователя, отдела или какого-либо учреждения в области статистики или математики.

. Определить, до какой степени ISI-импакт-фактор может быть использован для сравнения качества исследований в математике с качеством исследований в других дисциплинах.

. Выяснить, имеются ли в нахождении ISI-импакт-фактора какие-либо предпочтения по отношению к языку, месту, объему, происхождению или разделу науки публикуемого исследования, а также междисциплинарности работы.

. Рассмотреть эти же вопросы для некоторой выборки других недавно предложенных методов измерения, основанных на данных цитирования.

. Предложить подходящие замены для таких методов, основанных на данных цитирования.

. Указать на возможные опасности или преимущества того влияния, которое широкое распространение использования импакт-факторов и схожих методов измерения может иметь на поведение, связанное с публикациями, принятие на работу, баланс между научными дисциплинами и т. п.

От Международного математического союза Предполагалось, что комитет будет рассматривать эти задачи с помощью обзора и обсуждения практик научного исследования, принятых в настоящее время, а также широкого круга литературы об использовании цитирований для оценки исследований. Отчет комитета, написанный с точки зрения математической статистики, был представлен исполкомам IMU, ICIAM и IMS, и все они одобрили его. Эти три организации делают сегодня отчет «Статистики цитирования» достоянием общественности.

Отчет размещен по следующему адресу:http://www.mathunion.

org/Publications/Report/CitationStatistics.

Заявление для прессы было сегодня распространено среди журналистов.

Предпринятые усилия были вызваны многочисленными запросами от стран –– членов IMU, математических обществ, крупных математических учреждений и отдельных ученых, которые сообщали о возрастающем использовании импакт-факторов и других индикаторов, основанных на цитировании (а также и о злоупотреблениях ими), для измерения качества исследований отдельных ученых, департаментов или целых организаций.

IMU предлагает читателям IMU-Net не только прочитать этот отчет, но и распространить его среди администраторов и лиц, принимающих решения, которые вовлечены в процесс оценки качества исследований, чтобы довести до них точку зрения математической науки. IMU, ICIAM и IMS пришли к согласию, что для целей возможно более широкого распространения те журналы, бюллетени и аналогичные издания, которые заинтересованы в публикации этого отчета, получают не эксклюзивное право опубликовать его в одном из своих выпусков. Обратитесь, пожалуйста, к журналам/бюллетеням, с которыми вы связаны, и предложите им публикацию отчета «Статистики цитирования».



Все три организации, представляющие мировое сообщество теоретической, прикладной и промышленной математики и статистики, надеются, что тщательный анализ и рекомендации этого отчета будут рассмотрены лицами, принимающими решения и использующими для оценки исследований данные цитирований.

С наилучшими пожеланиями, Л. Ловаш, Президент IMU См. русский перевод в наст. изд., с. ––. –– Прим. ред.

Статистики цитирования Роберт Адлер, Джон Эвинг, Питер Тейлор Доклад Международного математического союза (IMU) в сотрудничестве с Международным советом промышленной и прикладной математики (ICIAM) и Институтом математической статистики (IMS) Настоящий доклад посвящен использованию и злоупотреблениям данными цитирований при оценке научных исследований. Сейчас все более распространенной становится идея о том, что оценка исследовательской деятельности должна осуществляться с помощью «простых и объективных» методов. Сами эти «простые и объективные» методы обычно интерпретируются как библиометрические, то есть как данные цитирований и связанные с ними статистики. Существует убеждение, что статистики цитирований по сути своей более точны, поскольку они оперируют числами, а не сложными суждениями, и, следовательно, позволяют обходить субъективность экспертной оценки. Но это убеждение является необоснованным.

• Опора на статистические данные не является более точной, если эти данные неправильно используются. Данные статистики и в самом деле могут вводить в заблуждение, если их неправильно используют или неправильно понимают. Представляется, что интерпретация и обоснованность статистик цитирований в современной библиометрике основывается по большей части на субъективном опыте и интуиции.

• Числа вроде бы «объективны», но их объективность может быть иллюзорной. Оценка смысла цитирования может быть даже более субъективной, чем экспертная оценка. Поскольку в области цитирований субъективный характер оценки менее очевиден, те, кто использует данные цитирований, имеют меньше шансов осознать их ограниченность.

• Использование только данных цитирований дает в лучшем случае неполное, а зачастую поверхностное понимание научного исследования –– понимание, пригодное только тогда, когда оно подИсправленная версия,... Оригинал: http://www.mathunion.org/fileadmin/ IMU/Report/CitationStatistics.pdf. Перевод с английского под редакцией А. П. Василевича.

Статистики цитирования крепляется другими оценками. Числа по сути отнюдь не лучше, чем разумное суждение.

Использование данных цитирований для оценки научных исследований в конечном счете означает использование основанных на цитатах статистик для ранжирования объектов –– журналов, статей, людей, программ и дисциплин. Статистические инструменты, используемые для ранжирования этих объектов, часто неправильно понимаются и неправильно используются.

• Для ранжирования журналов наиболее часто используется импакт-фактор. Это простое среднее, выводимое из распределения цитирований некоторой совокупности статей в журнале. Среднее улавливает только небольшое количество информации об этом распределении и является довольно грубой статистикой. Кроме того, при оценке журналов с помощью цитирований обнаруживается много сопутствующих факторов, так что любое сравнение журналов по импакт-факторам требует большой осторожности. Использовать лишь только импакт-фактор при оценке журнала –– это все равно, что при оценке здоровья человека учитывать только его вес.

• Что касается статей, то вместо того, чтобы при сравнении отдельных статей полагаться на фактическое количество ссылок на них, люди часто заменяют его импакт-фактором журналов, в которых опубликованы статьи. Они считают, что более высокий импакт-фактор должен означать более высокий уровень цитирования. Но зачастую это совсем не так! Это широко распространенное неправильное использование статистических данных, с которым следует бороться, когда и где бы оно ни встретилось.

• При сопоставлении отдельных ученых сравнивать полные списки цитирований бывает затруднительно. Как следствие, были предприняты попытки найти простые статистики, которые выражали бы всю сложность списка цитирований ученого одним числом. Наиболее заметным из них является h-индекс, который, похоже, становится все более популярным. Но даже эпизодические проверки h-индекса и его вариантов показывают, что все они являются наивной попыткой решить сложную проблему анализа списков цитирований. Они охватывают лишь небольшой объем информации о распределении цитирований ученого, упуская из внимания важнейшие данные, определяющие оценку научного исследования.

Обоснованность таких статистик, как импакт-фактор и h-индекс, не является ни хорошо понятой, ни хорошо изученной. Связь этих статистик с качеством научных исследований иногда устанав Р. Адлер, Дж. Эвинг, П. Тейлор ливается на основе «опыта». Оправданием для тех, кто полагается на них, является их «доступность». Немногочисленные попытки исследовать эти статистики были направлены исключительно на демонстрацию их корреляции с некоторыми другими мерами качества, а не на определение того, как лучше всего можно получить полезную информацию из данных цитирований. Мы не отбрасываем статистики цитирований как инструмент оценки качества научных исследований: данные цитирований и статистики могут нести вполне ценную информацию. Мы допускаем, что оценки должны быть практичными, и по этой причине легко получаемые статистики цитирований почти наверняка будут частью всего процесса. Вместе с тем, данные цитирований дают лишь ограниченное и неполное представление о качестве научных исследований, а статистики, полученные на основе данных цитирований, порой неправильно понимаются и используются. Научные исследования слишком важны, чтобы измерять их ценность только одним грубым инструментом.





Мы надеемся, что те, кто связан с оценками, познакомятся с комментариями и деталями этого доклада, чтобы не только осознать ограниченность статистик цитирований, но и понять, как их лучше использовать. Если мы устанавливаем высокие стандарты проведения научных исследований, то мы, безусловно, должны установить столь же высокие стандарты для оценки их качества.

Объединенный комитет по количественной оценке исследований Роберт Адлер, Израильский технологический институт (Technion) Джон Эвинг (председатель), Американское математическое общество Питер Тейлор, Университет Мельбурна Из задач комитета Стремление к большей прозрачности и подотчетности в академическом мире создало «культуру чисел», когда учреждения и отдельные лица полагают, что справедливые решения могут достигаться путем алгоритмической оценки некоторых статистических данных; будучи не в состоянии измерить качество (что является конечной целью), лица, принимающие решения, заменяют качество числами, которые они измерить могут. Эта тенденция требует комментариев от тех, кто профессионально «имеет дело с числами», –– математиков и статистиков.

Статистики цитирования Введение Научные исследования имеют важное значение. Они в значительной мере определяют прогресс в нашем современном мире и дают надежду на то, что мы можем решить некоторые из кажущихся неразрешимыми проблем, стоящих перед человечеством, –– от окружающей среды до роста народонаселения. В связи с этим правительства и учреждения по всему миру осуществляют значительную финансовую поддержку научных исследований. Естественно, они хотят знать, разумно ли инвестируются их деньги; они хотят оценить качество научных исследований, за которые они платят, чтобы принимать обоснованные решения относительно будущих инвестиций.

Это явление далеко не ново: люди оценивали научные исследования на протяжении многих лет. Новым является убеждение, что хорошая оценка должна быть «простой и объективной» и что это может быть достигнуто прежде всего на основе подсчетов (статистик) по данным цитирований, а не на основе сочетания разных методов, включающих экспертные оценки самих ученых. Эта точка зрения предельно ясно выражена в начальном абзаце одного из недавних докладов:

«После следующего, завершающегося в году, цикла правительство намерено заменить нынешний метод определения качества университетских научных исследований –– UK Research Assessment Exercise (RAE). В центре внимания новой системы будут подсчеты, а не экспертные оценки, и ожидается, что основной индекс качества в этой системе будет библиометрическим (использующим подсчет журнальных статей и их цитирований)» [Evidence Report, с. ].

Те, кто ратует за объективность в такой простой форме, полагают, что научные исследования слишком важны, чтобы полагаться на субъективные суждения. Они считают, что основанные на цитированиях подсчеты вносят ясность в процесс ранжирования и устраняют неясности, присущие оценкам другого вида. Они полагают, что тщательно подобранные метрики (= системы подсчетов) являются независимыми и свободны от систематических ошибок. Но самое главное, они считают, что такие метрики позволяют сравнивать все составляющие научных исследований –– журналы, статьи, людей, программы и даже целые дисциплины –– просто, эффективно и без использования субъективных экспертных оценок.

Р. Адлер, Дж. Эвинг, П. Тейлор Но такая вера в точность, независимость и эффективность подсчетов неуместна.

• Во-первых, точность этих показателей является иллюзорной.

Общеизвестно, что статистики могут лгать, когда они неправильно используются. Злоупотребления статистиками цитирований получили широкое распространение и являются вопиющими. Несмотря на неоднократные попытки предостеречь от таких злоупотреблений (например, от злоупотребления импакт-фактором), правительства, учреждения, да и сами ученые продолжают делать необоснованные или даже ложные заключения из неправильно использованных статистик цитирований.

• Во-вторых, использование метрик, основанных исключительно на цитированиях, попросту заменяет один вид оценок другим.

Вместо субъективной экспертной оценки мы получаем субъективную интерпретацию смысла цитирования. Те, кто призывают полагаться исключительно на подсчеты, основанные на цитированиях, неявно предполагают, что каждое цитирование означает одно и то же в отношении цитируемого научного исследования –– его «импакт» (влияние). Это предположение не доказано и, весьма вероятно, неверно.

• В-третьих, хотя статистики дают нам ценную информацию для понимания мира, в котором мы живем, они обеспечивают только его частичное понимание. В современном современном мире иногда модно провозглашать мистическую веру в то, что численные измерения превосходят другие формы понимания. Те, кто пропагандирует использование статистик цитирований в качестве замены более полного понимания научного исследования, неявно придерживаются таких убеждений. Мы должны не только использовать статистики правильно –– мы должны использовать их разумно.

Pages:     || 2 | 3 | 4 | 5 |   ...   | 9 |










© 2011 www.dissers.ru - «Бесплатная электронная библиотека»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.