Оценку эффективности российских фундаментальных учёных следует скорректировать

В предлагаемой статье рассчитаны показатели количества статей и ссылок на одного исследователя (по числу исследователей и среднему для стран с переходной экономикой коэффициенту полной занятости), а также на один миллион долларов затрат на НИОКР, по ППС за период 1996—2005 годов для России, стран ОЭСР и ряда других государств, а также для РАН и Национального центра научных исследований Франции (CNRS). Результаты расчётов свидетельствуют, что показатели для РАН соответствуют уровню наиболее развитых стран и значительно превышают показатели для России в целом. Представлены также рекомендации по корректному использованию библиометрических показателей для оценки результативности исследователей в России.

Уточнённые оценки результативности научной деятельности по показателям цитирования

При использовании показателей количества научных публикаций и цитирования необходимо принимать во внимание следующее:

• Россия как самостоятельное государство учитывается в зарубежной базе данных научных публикаций (БД ISI) лишь с 1993 года, а процесс цитирования является кумулятивным;
• в 2002—2006 годы наблюдалcя неуклонный рост цитируемости статей отечественных учёных (на 50,7 процентов) по сравнению с 1996—2000 годами, хотя при этом показатель научной продуктивности (количество опубликованных статей) снизился на 8,4 процентов;
• в 2000—2006 годах около 50 процентов статей отечественных авторов было опубликовано в наиболее престижных иностранных научных журналах, что свидетельствует о высоком уровне науки России и её интеграции в мировую науку (данные анализа количества российских статей в БД SCI и БД JCR);
• показатели по России в целом автоматически переносятся на РАН (несмотря на то, что основная доля научного персонала и затрат на науку приходится на отраслевой сектор науки);
• показатели количества научных публикаций и цитируемости не соотносятся с уровнем затрат на науку (хотя ранее ЦЭМИ РАН разработал соответствующую методику, расчёты по которой показывают истинное место России среди развитых стран) [1, 2];
• имеются методические погрешности в оценке числа исследователей (так, используемая Минобрнауки численность исследователей России при расчёте по полной занятости «full-time equivalent» почему-то превышают номинальную численность исследователей «by heads» в 1,2 раза, тогда как у всех стран имеется обратное соотношение, в частности у стран с переходной экономикой этот показатель не выше, а ниже почти в 1,7 раза); методические погрешности, приводящие к значительным ошибкам в выводах, характерны и для зарубежных исследователей — так, в работе [3] приведены данные якобы по числу исследователей на одну статью (в соответствии с этими данными у России показатель хуже, чем у большинства других стран), а на самом деле учитываются занятые в сфере НИОКР, — при соответствующей коррекции этих результатов число исследователей в России в расчёте на одну статью, по нашим оценкам, оказывается ниже (8,4), чем в Китае (9,1), и лишь немногим выше, чем в Японии (7,0).

Для России, стран ОЭСР и ряда других государств, а также для РАН и Национального центра научных исследований Франции [4] нами были рассчитаны следующие показатели:

• количество статей и ссылок на одного исследователя за 1996—2005годы при расчёте по числу исследователей и, что более точно, с использованием среднего для стран с переходной экономикой коэффициента полной занятости;
• количество статей и ссылок в 1996—2005 годы из расчёта затрат на НИОКР в размере одного миллиона долларов США, 2004 год по паритету покупательной способности (ППС).

В таблицах 1—5 приведены результаты проведённых расчётов.

Их анализ показывает, что количество статей на одного исследователя в России примерно такое же, как и в Японии, тогда как показатель для РАН очень близок к показателю для США и других наиболее развитых стран (табл. 1). По количеству ссылок показатель для нашей страны значительно хуже (табл. 2). Для РАН этот показатель значительно выше и примерно соответствует показателю для очень близкого ей по структуре Национального центра научных исследований Франции.

Однако значительно более важными представляются те же показатели количества статей и ссылок в расчёте на миллион долларов затрат на НИОКР по паритету покупательной способности. Целесообразно отметить, что стоимостные показатели в последнее время начинают использоваться не только у нас в стране, но и за рубежом. Так, в работе [5] приведён график зависимости показателя интенсивности цитируемости (число ссылок в расчёте на единицу ВВП) от ВВП на душу населения, из которого видно, что значение этого показателя для России находится выше средней кривой, проведённой для всех стран. В работе [6] показано, что если построить график числа исследователей в расчёте на миллион человек населения в зависимости от доли затрат на НИОКР в ВВП, то значение данного показателя для России будет находиться непосредственно на линии регрессии, то есть в настоящее время количество исследователей в России относительно численности населения соответствует общемировой норме, а не значительно её превышает, как это представляется некоторым исследователям, ориентирующимся на данные для СССР (оценки проведены по эквиваленту полной занятости, рассчитанному в соответствии с методикой автора цитируемой работы).

В таблице 3 приведены данные о количестве статей в расчёте на миллион долларов затрат на НИОКР. Россия по этому показателю занимает 22 место (среди 34 стран, а также с учётом стран ОЭСР в целом, РАН и Национального центра научных исследований Франции), опережая большинство наиболее развитых стран. Особенно следует подчеркнуть первое место РАН, которая по этому показателю значительно опережает всех, кто следует за ней.

По количеству статей в расчёте на миллион долларов затрат на НИОКР место России значительно ниже (табл. 4), хотя она опережает Японию и Китай. По-видимому, то, что эти страны замыкают список, объясняется главным образом проблемами перевода статей учёных из этих стран на английский язык.

Факторы, влияющие на показатели вклада РАН в мировую науку

Следует также подчеркнуть, что показатели для РАН в целом (они сведены в табл. 5) соответствуют уровню наиболее развитых стран и значительно превышают показатели для России в целом. В 1996—2007 годы на долю РАН приходилось около 45 процентов всех российских публикаций и более 49 процентов ссылок. В этот период по количеству опубликованных статей РАН занимала среди научных организаций высшего уровня (учёные этих организаций опубликовали один процент наиболее цитируемых в мире научных статей): первое место в области физики, химии и наук о Земле; второе место — в области математики и материаловедения. По показателю цитируемости РАН занимала пятое место по физике и седьмое по химии (Россия — 18 место), одиннадцатое по материаловедению, двенадцатое по наукам о Земле.

В БД ESI РАН занимает 47-ое место среди 3700 упомянутых ранее организаций высшего уровня. Однако последовательный просмотр вручную 1055 статей позволил нам выявить дополнительно 475 высокоцитируемых статей, опубликованных сотрудниками РАН. В результате доля РАН в массиве наиболее цитируемых отечественных статей составила 74,9 процентов. Если добавить к общему количеству ссылок на работы, выполненные в РАН, 107063 ссылок на эти дополнительные 475 статей, то по цитируемости (583053 ссылок), в списке научных организаций высшего уровня РАН переместится с 47-го на 32-е место.

Тем не менее проведённый анализ причин и факторов, приводящих к относительно более низким показателям результативности РАН на основании данных о цитируемости отечественных статей, показал, что важнейшими из них являются следующие:

• низкий уровень финансирования российской науки по сравнению с другими странами;
• средняя цитируемость статьи на английском языке в несколько раз выше, чем у статей, опубликованных на русском, немецком, французском и японском языках;
• незначительный охват отечественный периодики в БД SCI;
• отсутствие в России единой базы данных по научным публикациям отечественных исследователей (в отличие от нашей страны, в Испании, странах Латинской Америки, Японии и даже в англоязычной Австралии имеются собственные национальные базы данных; в Китае для оценки научной активности университетов и научных учреждений в 1999 году был создан Указатель цитированной литературы и сформирована специализированная база данных по показателям развития науки и техники, — этот проект финансировал Национальный научный фонд по естественным наукам Китая);
• более длительные сроки хранения отечественных публикаций в портфелях редакций журналов, существующие редакционные ограничения на количество цитируемой литературы, традиция цитировать в первую очередь зарубежные работы;
• отсутствие знания русского языка у зарубежных учёных и вследствие этого слабое представление о российских публикациях, даже если они были опубликованы в английском варианте российского журнала; иная культура цитирования в нашей стране — отечественные публикации содержат в два-три раза меньше ссылок, чем публикации учёных из других стран [7];
• поиск в БД SCI по географическому признаку и подсчёт публикаций по адресу автора, хотя российские авторы нередко не указывают принадлежности к РАН (такие публикации оцениваются во вкладе России, но не отражают вклад РАН); то же относится к тем учёным, которые стажируются за рубежом;
• использование неверной методологии для межстрановых сопоставлений результативности.

Предложения

Для оценки показателей результативности академического сектора науки России необходимо использовать разработанную в ЦЭМИ РАН методологию оценки.

Необходимо создание и ведение российской базы данных о научных публикациях отечественных авторов под методическим руководством РАН и с использованием информации по научным публикациям, содержащейся в Указателе БД РФФИ.

Редакционные коллегии научных журналов должны уделять особое внимание указанию в статьях адресов институтов, в которых работают авторы, и их принадлежности к РАН, а также наличию в статьях научных ссылок и цитируемости не только зарубежной, но и отечественной литературы.

Целесообразно значительно расширить сеть англоязычных версий академических журналов. Необходимо также своевременно отправлять в ISI все англоязычные версии журналов, издаваемых издательством «Наука».

Целесообразно составить для авторов научных работ перечень требований по оформлению статей. Следует также обучать студентов и аспирантов работе с научной литературой и базами данных, этике цитирования.

Источники информации:

1. По показателям цитируемости — база данных (БД) Web of Knowledge, составной частью которой является Указатель научных ссылок — Science Citation Index (SCI), Expanded и Social SCI-Expanded — содержит ежегодные сведения о 1,1 миллионе научных публикаций и 23 миллионах ссылок из 8700 лучших научных журналов мира (включая журналы по общественным наукам, литературе и искусству). Эти базы данных отражают в подавляющем большинстве англоязычные журналы (только два процента статей опубликованы не на английском языке), в том числе около 100 наименований отечественных научных журналов (примерно 10 процентов от общего количества научных журналов, включённых в список ВАК). Поэтому реальный вклад российской науки в мировую значительно занижен. При проведении оценок нужно учитывать, что сведения о цитируемости относятся только к открытым публикациям, в основном в области фундаментальных исследований; совершенно иные оценки должны быть использованы в оборонных отраслях.
2. По экономическим показателям — данные ОЭСР, EC и др.

Цитируемые работы:

1. См. Инновационный менеджмент в России (проблемы стратегического управления и научно-технологической безопасности)/ Руководители автор. колл. Макаров В.Л., Варшавский А.Е., М.: Наука, 2004.
2. Варшавский А.Е. Реальная результативность российской науки// Концепции. 2005. №1 (15), C. 21—36.
3. Research Trends, Scopus, 2008, November, http://www.info.scopus.com/researchtrends/cou_tre_8.html
4. http://esi1.isiknowledge.com/rankdatapage.cgi
5. King D. The scientific impact of nations. Nature 430, P. 311—316 (15 July 2004).
6. Варшавский А.Е. Экономические проблемы разработки научно-технической и инновационной политики России в условиях глобализации// Концепции, 2008, № 2 (21).
7. Garfield E. Uses and Misuses of Citation Frequency // Essays of an Information Scientist. — 1985. — Vol. 8. — Р. 403—409.