Реформа РАН Back to Yury Neretin homepage (Engish)
Back to papers of Yury Neretin on mathematical education (Russian)

Библиометрика как орудие управления

Юрий Неретин, 18.10.2013 
   
 
                                   Главный понятный критерий успешности научной работы  - 
                                   мировой индекс цитируемости в монографиях,диссертациях и тд. РАН-ниже 
                                   плинтуса:
                                   Может уже хватит исходить из того,что все что делает Режым - плохо.
                                   РАН  давно деградирует, вы посмотрите каков индекс цитируемости РАН в 
                                   науке!   

                                           Ксения Собчак
Люди, не живущие внутри науки, - а такие составляют подавляющее большинство граждан - глядя на сегодняшнюю борьбу вокруг Российской Академии Наук, часто не понимают (просто в силу недостатачных социальных коммуникаций) одной простой вещи. Фундаментальная наука всегда и везде была самоуправляющейся социальной структурой. И ее подструктуры - тоже самоуправляющиеся. То, что делает сейчас российская власть - установление прямой диктатуры ФАНО - не имеет прецедентов в мировой практике (включая, разумеется, и долгую историю нашей науки). Многим чудится, что в эта рефома частично возрождает советские управленческие схемы. Но в реальности - если это не просто распил и ликвидация (что весьма вероятно) - то это попытка материализации мифов о Советском Союзе (и об "административно-командной системе"), созданных за последние 25 лет. Наука в Академии СССР и в лучших университетах (учебных институтах) была самоуправляемой.

У многих в подсознании в качестве прецедента присутствуют успешные советские технологические проекты времен самой острой фазы Холодной войны (1946-1953, до взрыва водородной бомбы), ядерный, авиакосмичекий, вычислительно-технический (о последнем вспоминают реже, потому что его дальнейшее развитие было не столь успешным). В связи с этим вспоминают Берию в качестве "эффективного менеджера". Но... Во-первых, речь шла о ТЕХНОЛОГИЧЕСКИХ проектах (это не то же самое что фундаментальная наука). Во-вторых, это были большие государственные проекты (где таковые сейчас??). В третьих, во главе двух проектов стояли инженеры (что и должно быть в технологических проектах). А что касается Берии и ядерного проекта - то там был соруководитель Курчатов, начальная инициатива проекта была частью от власти, частью от ученых, научные подразделения и научные командиры как буд-то обладали высокой степенью самостоятельности в своих изысканиях. Центр фундаментальной науки - АН СССР - продолжал существовать (и при крайне ограниченных материальных ресурсах того времени никто ее, ради "эффективности", под нож пускать не собирался). Интересно, можно ли найти хоть какое-либо сходство между 1949 и 2013 годами?

А на основании чего нынешние эффективные менеджеры собираются управлять всей фундаментальной наукой? Очень разнородной структурой, к тому же перепутанной с прикладной наукой и с образованием. Одним из основных инструментов предполагается библиометрика. Ученых будут измерять в зависимости от того, как их статьи цитируются другими учеными, и в каких журналах они публикуются. Дальше проводятся калькуляции, в зависимости от этого человека или увольняют или не увольняют (все ждут большой чистки, когда людей или поувольняют, или переведут на временные ставки с зарплатой в 6000 рублей). В зависимости от библиометрических успехов предполагают платить зарплаты и выстраивают социальные иерархии. Те же средства предполагается применять к научным группам и к институтатм.

Идея о том, что наукой "во всем цивилизованном мире" управляют с помощью библиометрики, вбивалась "общественности" и начальству в голову в течение последних 5-6 лет (я чуть-чуть скажу об этом в конце заметки). Идея, овладевшая элитой, становится материальной силой.

В обычной жизни все сталкивались с тем, что попытка управления сложными объектами на основе формальных показателей превращает эти показатели в самоцель, а дальше лишают смысла сами показатели (ну, чтобы далеко не ходить за примерами - это может случаться в школе с отметками, если цель - высокая успеваемость). Почему в науке должно происходить по-другому? И как же удается "во всем цивилизованном мире"?

А что же на самом деле происходит за границей? Процитирую доклад академика А.Н.Паршина на математическом отделении РАН Использование библиометрики (несколько примеров)

Был проведен опрос директоров 16 иностранных математических исследовательских институтов, по поводу того, используют ли они данные библиометрии для следующих целей

1) Прием на работу постоянных членов исследовательских институтов

2) Решение о временных позициях

3) Ежегодные отчеты институтов

4) Обследование институтов внешними комиссиями

В 12 случаях был получен ответ "НЕТ" на все вопросы. В четырех случаях ответ на последний вопрос был примерно в духе "временами да, как вспомогательные данные" (см. детали в докладе).

Приведу цитату директора математического института Макс Планка Вернера Бальмана

Наши отчеты для внешней оценки не основываются на библиометрических данных, мы обсуждаем сами научные достижения. Конечно, мы включаем список публикаций в свои отчеты, но индекс цитирования, h-индекс, импакт-фактор, и им подобные не играют роли.

Библиометрические данные - это опасное оружие (тем более, в руках неэкспертов) и является вполне недостоверным способом измерения качества научной работы. Это было показано во многих исследованиях, например, в [докладе] Международного математического союза, который кажется нам окончательным.

Кстати, этот доклад издан по русски в книге "Игра в цифирь", изданной МЦНМО (находится на сайте МЦНМО в открытом доступе).

По-видимому, больше, чем в других странах, библиометрия развита в Великобритании, Это тоже обсуждается в докладе А.Н.Паршина. Вот данные из отчета Research Excellence Framework (REF) (Система оценки деятельности научных организаций в Великобритании за 2008-2013 гг).

Общие положения, относящися ко ВСЕМ научным дисциплинам

--- Во всех дисциплинах комиссии оценивают представленные результаты путем экспертной оценки. При этом они могут использовать дополнительные данные, представленные ВУЗами в заявках и/или данные цитирования (citation data) для выработки своих решений. В любом случае основным методом аттестации остается экспертная оценка/

--- Комиссии не будут использовать импакт-факторы журналов, рейтинги или подразумеваемую репутацию издателя при вынесении суждения об уровне представленных результатов.

В последнем случае нужно пояснение: импакт-фактор - это способ "измерять" качество журнала на основании того, как его цитируют.

-- Ввиду ограниченного значения цитируемости для процедуры оценки, финансирующие структуры (the funding bodies) не предлагают и не рекомендуют ВУЗам основываться на данных цитирования при отборе персоналий или результатов для включения в представления (submissions)

Что касается возможности использования данных цитирования для оценки конкретных научных исследований, то мнения 36 подкомиссий (по научным дисциплинам) разделились, в большинстве случаев ответы отрицательны, но для части наук это допускается в качестве одного из инструментов.

Возникает вопрос: а где же тогда находится "весь цивилизованный мир? Дело известное. Этот таинственный мир безотказно (уже 25 лет подряд) появляется в инфомационном пространстве каждый раз, когда надо продвинуть какую-либо особо абсурдную реформу. Пора бы уже привыкнуть и на эту блесну не клевать.

Добавлю еще комментарий математика чл.-кора Разборова (из того же доклада Паршина)

Мне уже довольно много лет приходится довольно часто бывать в США. Все это время приходится в той или иной форме заниматься кадровыми вопросами, иногда участвую в работе панелей NSF (аналог комиссий нашего РФфИ), из написанных рекомендательных писем можно составить повесть, а из прочитанных – собрание сочинений. А вот про существование web-of-science, хотите верьте, хотите нет, узнал только этим летом от друга в связи с известными событиями. Про Хирша что-то слышал, но никому из безусловно уважаемых людей, с которыми я имел дело в США (математика, теоретическая информатика) и в голову никогда не приходило им интересоваться или считать.

Так или иначе, МинОбр уже начал великий библиометрический поход против науки.

Не буду перечислять всевозможные угрозы, связанные с этим походом. Лишь вскользь замечу, что то, что делается у нас сейчас, является хорошей "свиньей" для всей мировой науки.

Скажу немного об истории. Почему-то о разгоне РАН часто говорят "блицкриг". Никакого блицкрига не было. Была затяжная осада, начатая не позднее 2004 года (с большими атаками 2004 и 2006 года). Все эти годы не прекращались информационная война и поток провокаций. Проводились и иные "осадные работы". Академия и наука постепенно вытеснялись из привычных им зон деятельности (например, правительственная экспертиза самых разнообразных проектов, экономических, технологических, образовательных...).

В 2006 году "представителем РАН" были сказаны (если интервью не переврано) слова

Но это касается в большей степени не Министерства образования и науки, а, скажем, Минфина и Минэкономразвития, которые до сих пор не разработали критериев, по которым нужно оценивать деятельность ученых.

Не очень ясно, что имелось в виду. Но, так или иначе, после 2006 года началась кампания за проталкивание "объективной библиометрики". Прискорбно, что в этой кампании приняли участие (и сыграли не последнюю роль) ряд ученых, решивших использовать библиометрику как инструмент внутринаучной борьбы. Дело, конечно же, не ограничивалось одними учеными, библиометрику продвигали и просто mass-media, а из видимых деятелей - Ливанов и Гуриев. Кстати, вот отрывок из выступления Дмитрия Медведева на Совете Федерации 5 ноября 2009 года

В отношении цитирования как основного критерия научных заслуг и активности учёного. С этим я на 200 процентов согласен. Во всем мире это единственный весомый критерий, который используется, и мы должны его в максимальной степени внедрять, но, конечно, с известными оговорками. Потому что если по естественному циклу наук, по точным наукам это 100-процентное попадание, то у гуманитариев, которые мне в силу образования, в общем, близки, цитирование, конечно, по-другому устроено. Гуманитарные науки всё-таки в значительной мере носят национальный характер. И считать, что если, допустим, кого-то из наших филологов, политологов или юристов неактивно цитируют на Западе, это, стало быть, плохой показатель, это ещё всё-таки бабушка надвое сказала, что называется. Но в целом как критерий оценки научных заслуг – абсолютно правильно, и нужно, чтобы наше Министерство образования уже переходило к использованию коэффициента цитирования в качестве такого показателя.

Так или иначе наука переходит под управление бюрократии и эффективных медженеров (надо иметь еще в виду, что библиометрия - что дышло, куда повернешь, туда и вышло, главное - правильно настроить сбор статистики). Этого еще никогда и нигде не было. С вытекающими последствиями.