В прошлом году произошедшие в отрасли научной информации колоссальные изменения были связаны с тем, что доступ к зарубежным ресурсам оказался резко ограничен. Это касается не только научных статей и баз данных, но и систем научного цитирования, на которые была ориентирована вся российская модель оценки научной деятельности.
Чем заменить ушедшие из России Web of Science (WoS) и Scopus? Каковы основные задачи отечественной системы оценки науки и какова в ней роль Российского индекса научного цитирования (РИНЦ)? По каким принципам должен выстраиваться рейтинг научных журналов? Зачем размещать в РИНЦ рецензии?
Эти и другие вопросы обсудили эксперты в рамках Дня РИНЦ — 2023, состоявшегося на площадке Российского педагогического университета им. А.И. Герцена.
ПРИОРИТЕТНЫЕ ЗАДАЧИ
Как отметил генеральный директор Научной электронной библиотеки eLIBRARY.RU Геннадий ЕРЕМЕНКО, РИНЦ не охватывает зарубежные публикации в полном масштабе. Сейчас необходимо собрать цитирования из всех журналов, в том числе зарубежных.
— Ранее, чтобы получить эти данные, мы обращались в компанию Elsevier, покупали данные из Scopus. Теперь этот канал для нас закрыт. Нелегальными способами мы пользоваться не хотим, поэтому возникает вопрос: как решать проблему?
В течение года мы провели большую работу. По российским журналам ничего не изменилось: мы сами их индексируем. Издания из СНГ тоже расширяют своё присутствие в РИНЦ. А что касается зарубежных журналов, то пока мы видим такой путь. Для начала загружаем из базы данных Crossref всё, что там есть, это порядка 140 млн публикаций. Любая организация может их использовать для своих информационных систем, но проблема в том, что качество этих данных несравнимо с тем, что обеспечивали WoS и Scopus. Связано это с тем, что сам принцип формирования Crossref не подразумевает жёсткого контроля. Эта база данных была создана для того, чтобы у каждой публикации появился уникальный код, ведущий на полный текст. По мере того как система DOI развивалась, в Crossref стали загружать всё больше метаданных и появилась возможность распространять их во все открытые базы и информационные системы. Но если WoS и Scopus, обрабатывая каждую статью, пытаются извлечь все метаданные, аффилиации, каждую ссылку, то в Crossref что издатель туда отправил, то и будет. Большинство издателей загружают сведения только для того, чтобы получить код DOI, поэтому огромное количество журналов не имеет ссылок, аффилиаций, аннотаций и содержат только базовые метаданные: названия, страницы, авторов. Конечно, этого для полноценной системы цитирования недостаточно. Тем не менее мы эти данные загружаем как факт того, что такая публикация есть и дальше с этой информацией можно работать.
Если ссылок и аффилиаций нет, такую информацию надо добывать. Этим мы и станем заниматься в ближайшие годы. Надеяться на то, что санкции будут сняты, не приходится, учитывая, что мы пока находимся на этапе их расширения. Сейчас работа с Crossref по DOI тоже становится практически невозможной, потому что эта компания подключилась к санкционной политике, причём в расширенном понимании. Мало того что какой-то российский университет находится под санкциями: даже аффилированные с ним организации не могут работать с Crossref. Поступление информации в Crossref по отечественным журналам существенно ограничено. В последние несколько месяцев Crossref не выдаёт префиксы для формирования кодов DOI для новых членов сообщества из России.
Таким образом, следующим шагом по зарубежным журналам будет обогащение информации из Crossref путём обработки открытых ресурсов. Мир движется к тому, что таких источников, которые можно легально использовать и извлекать из них информацию, становится всё больше.
Второй путь — прямые договоры с издателями. Немало организаций, прежде всего из дружественных стран, продолжают работать в России. Мы не видим другого пути, кроме как фактически создавать свой аналог международной базы, которая самостоятельно индексирует не только российские журналы, но и зарубежные, иначе мы не сможем ничего сказать о цитированиях российских учёных.
НАУЧНЫЕ РЕЙТИНГИ: ВОПРОСЫ РЕЛЕВАНТНОСТИ
По словам Г. Еременко, рейтинг научных журналов Science Index в первые годы сыграл свою положительную роль в процессе оценки научной деятельности, но в последнее время стал давать сбои.
— Не секрет, что существует определённая категория журналов, которые занимаются манипуляциями, связанными с цитированием и другими показателями; в них отсутствует контроль публикаций, нет рецензирования. Они как раз умеют адаптироваться к любым ейтингам и оказываться на лидирующих местах, потому что занимаются целенаправленной работой по оптимизации показателей. Например, в нашем рейтинге использовался индекс Херфиндаля по цитирующим журналам, мы его вводили для того, чтобы пессимизировать издания с большим цитированием или те, где имеет место договорное цитирование. Но такие издания и здесь приспособились. Классический мусорный журнал, который публикует всё по разным направлениям, занимается покупным соавторством и цитированием, будет иметь нормальный индекс Херфиндаля, потому что его цитируют разные издания, авторы из различных регионов, организаций.
Возникла задача переосмыслить этот инструмент и сделать его соответствующим реальной картине. Полгода назад мы запустили новый рейтинг. Наиболее распространённый вариант системы оценки научной деятельности прост. Журналы объединяют в группы: белые списки, квартили. Перечень ВАК — такая же группа. Если издание попадает в какую-то категорию, ему присваивают определённые весовые коэффициенты. Считается, что статья из первого квартиля WoS в 10 раз лучше, чем статья из второго, и т.п. Это, конечно, грубо и не очень правильно, потому что существует серьёзное распределение по качеству статей даже в рамках одного журнала, не говоря уже о целой группе. Статья из журнала в конце первого квартиля может быть хуже, чем публикация из начала второго. Такой подход можно использовать для каких-то статистических и аналитических задач, когда оперируют большими массивами публикаций. Для оценки отдельных статей и авторов он не подходит, тем не менее используется в этих целях, и Россия десь не исключение. Наши попытки адаптировать и модифицировать эти методики, чтобы оценка научной деятельности стала более точной, пока не находят понимания у тех органов, которые за неё отвечают.
Что можно сделать — перейти с уровня списков на уровень отдельных журналов. Решение очевидное, учитывая, что у каждого издания есть импакт-фактор или другой показатель. В течение года запущено несколько проектов ранжирования журналов: включённых в Перечень ВАК, входящих в RSCI, входящих в Белый список и включённых в РИНЦ. При рейтинговании изданий из Перечня ВАК и RSCI методика была схожей. Используются несколько показателей из РИНЦ, суммируются с различными весовыми коэффициентами, и получается комплексный балл для оценки журнала. В качестве основного показателя используется основанный на цитировании. Так, в рейтинге ВАК используется нормированный по научным направлениям пятилетний импакт-фактор РИНЦ и индекс Херфиндаля по цитирующим журналам, а также несколько других показателей с меньшими весами: индекс Херфиндаля по организациям авторов, индекс Джини, средний индекс Хирша авторов, десятилетний индекс Хирша журнала и среднее число просмотров аннотаций. В рейтинге РАН в качестве основного показателя применяется пятилетний или двухлетний импакт-фактор по ядру РИНЦ и четыре дополнительных параметра.
Вопрос в том, почему выбирается такой набор показателей, определяются такие весовые коэффициенты. На него ни одна из методик не даёт ответа: решение принималось на экспертном уровне. Но мнение эксперта достаточно субъективно и не подтверждено ни математикой, ни практикой. Мы решили внести объективность в эту методику. Вопрос по выбору наилучших показателей решался с использованием нейросетей. Для начала взяли 12 наукометрических показателей из РИНЦ и все возможные варианты их сочетаний и на этой основе построили рейтинги. Ключевой вопрос — насколько качественным получился рейтинг. Для оценки использовались два основных подхода. Первый — факт вхождения журнала в ядро РИНЦ. Необходимо было сделать ранжирование, максимально приближенное к оценке, которую делают люди. Мы анализируем, сколько изданий из ядра РИНЦ входит в первую тысячу журналов рейтинга. Чем их больше, тем рейтинг релевантнее.
Второй вариант — общественная экспертиза. Последняя общественная экспертиза проводилась пять лет назад, в этом году будем делать её по новой, произведём апдейт показателей, чтобы понять, как поменялся ландшафт научных журналов.
SCIENCE INDEX: НОВЫЕ ВОЗМОЖНОСТИ
По словам Г. Еременко, в рейтинге Science Index 2023 принципиально изменились несколько моментов.
— Мы перешли на учёт цитирований только из ядра РИНЦ. В предыдущем рейтинге использовался импакт-фактор по всему РИНЦ, и на показатели влияли махинации квазимусорных журналов. При переходе на новый режим цитирующими выступает более-менее однородная масса журналов, вероятность манипуляций в которых значительно меньше. Второй момент — учёт только идентифицированных ссылок. Бывают такие сокращения в названиях, которые могут относиться к разным журналам, и целый пул ссылок оказывался приписанным неправильно, а импакт-фактор рассчитывался неточно. Сейчас мы учитываем только полностью привязанные ссылки. Если цитируемой статьи в базе нет, то ссылка не учитывается. Собственно, так же делают WoS и Scopus. В последнее время все архивы российских журналов за 15 лет у нас присутствуют, и неидентифицированных ссылок должно быть минимум, это даёт возможность перейти на учёт только идентифицированных ссылок при расчёте рейтинга Science Index.
Предусмотрена тематическая нормировка на уровне статей. Оптимизировали выбор показателей и весовых коэффициентов. Ещё один новый момент — сравнение журналов не только в целом, но и с учётом лишь статей определённой тематики. Довольно много изданий охватывают ряд направлений, являются мультидисциплинарными. Как их сравнивать, не очень понятно. Появилась возможность сравнивать журналы в той части, которая относится к определённой тематике, поскольку показатели рассчитываются для каждой отдельной статьи.
Мы попробовали уйти от научных рубрикаторов, когда статьи приписывают к тем или иным рубрикам. Не бывает идеальных рубрикаторов, существуют вопросы, связанные с объективностью отнесения статей к рубрике. Мы пытаемся учитывать специфику цитирования в той или иной области путём нормализации веса самой ссылки. Для каждой статьи, которую оцениваем, определяем, кто её процитировал, и для каждой ссылки устанавливаем свой вес. В целом этот подход автоматически подстраивается под специфику цитирования в окружении статьи.
В итоговой формуле расчёта комплексного показателя для рейтинга Science Index 2023 из 12 показателей осталось четыре.
SI = 8×IF5 + 7×H10 + 4×HA3 + 4×LN3, где
РЕКОМЕНДАЦИИ ИЗДАТЕЛЯМ
Какие выводы должны сделать редакции научных журналов?
Как отметил Г. Еременко, продолжается процесс, когда из-за гонки за цитированиями среднее число ссылок в библиографическом списке постоянно растёт и доходит до 60–70 в статье. Иногда похоже на абсурд, если это не обзор, а исследовательская статья. Многие редакции закрывали на это глаза, рецензенты тоже не проверяли. Необходимо контролировать библиографический список, чтобы в нём было то, что актуально, что требуется для понимания исследования.
Поскольку один из факторов — длина полного текста, то если их нет в базе, невозможно корректно посчитать рейтинг. Таким образом, необходимо загружать полные тексты.
Безусловно, важно привлекать авторитетных учёных, и методически теперь это тоже подтверждается: индекс Хирша авторов — один из элементов формулы.
Разумеется, все выпуски журнала должны быть загружены, потому что теперь учитываются только привязанные ссылки. Конечно, идентификация ссылок должна быть максимально точной.
В РИНЦ объединяются цитирования переводной версии и оригинальной, если журнал или статья существует в двух вариантах. Разумеется, надо контролировать правильность указания типа статьи и её тематической рубрики.
ПЛАТФОРМА ELIBRARY.RU: РАСШИРЕНИЕ ФУНКЦИОНАЛА
Тему продолжила заместитель генерального директора Научной электронной библиотеки eLIBRARY. RU Светлана ШАБАНОВА:
— При оценке журналов в РИНЦ появилась возможность выбрать референтную группу. Сейчас это, по сути, Scopus, WoS, ядро РИНЦ и Перечень ВАК. Но можно создать любую подборку журналов в личном кабинете на сайте eLIBRARY.RU и в ней сравнивать издания по тем или иным показателям.
Следующая функция — рубрикация статей зарегистрированными авторами. Зарегистрированный в системе Science Index автор может зайти на любую свою публикацию и указать соответствующую рубрику из четырёх различных рубрикаторов, в том числе специальность ВАК. Эту задачу мы ставим для потенциального развития нейросети: по сути, необходимо получить первоначальную выборку, чтобы на ней обучить систему и в дальнейшем прорубрицировать миллионы публикаций с помощью искусственного интеллекта.
Открыта возможность переходить в библиографических списках по кодам публикаций, которые есть в различных базах данных. Это не только EDN и DOI, но и специфические тематические коды. Кликнув на код, можно попасть в специализированную базу данных и пользоваться её возможностями.
На сайте eLIBRARY.RU теперь можно проследить связь грантов с финансируемыми исследованиями, перейти на публикации, которые были профинансированы тем или иным грантом, индентифицировать конкретную финансирующую организацию.
В прошлом году мы представили сервис API для работы с кодами публикаций, который позволяет понять, существует ли публикация по ссылке, какой код ей присвоен, есть ли ISBN. Сейчас в разработке API, позволяющий указывать коды EDN и DOI для каждой ссылки из библиографического списка целиком. Данный функционал будет полезен авторам и редакторам при составлении библиографического списка к статьям.
Планируется обновлённая поисковая форма с возможностью отбирать публикации по различным параметрам, в том числе по базам данных РИНЦ, ядру РИНЦ и eLIBRARY.RU.
В авторском профиле планируем создать многофункциональный сервис для учёных. Что касается информационно-аналитической системы Science Index для организаций, то в числе новых опций — выгрузка в табличном формате для различных отчётов данных по публикациям и сотрудникам организации, централизованное обновление показателей сотрудников и новые формы заполнения библиографического описания публикации.
РЕЦЕНЗИИ В РИНЦ
Основное свойство научных публикаций в том, что они должны пройти предварительную экспертизу, т.е. рецензирование. В РИНЦ издателям предложили загружать вместе с публикациями рецензии. Этот процесс набирает обороты. Об особенностях работы с рецензиями рассказал заместитель генерального директора Научной электронной библиотеки eLIBRARY.RU Виктор ГЛУХОВ:
— Издатель, который заключил договор на размещение журнала, может подписать дополнительное соглашение и указать, в каком виде он планирует размещать рецензии. В общем виде размещаются данные о рецензенте: фамилия, имя, отчество, место его работы, текст рецензии.
При этом возможны четыре варианта:
Разные модели отражают то, как устроено рецензирование в каждом конкретном журнале: открытое, слепое, двойное слепое и т.д. Издатели могут размещать не все рецензии, точно так же как и не все статьи в журнале являются научными. Научные статьи, обзоры, краткие сообщения — те типы публикаций, которые обычно сопровождаются рецензиями. Могут публиковаться выдержки из рецензий. Мы не регламентируем этот процесс, но важно, что журнал должен получить разрешение рецензента на публикацию его персональных данных и собственно рецензии.
Во многих журналах рецензирование многоэтапное, этот вопрос также отдаётся на откуп редакции, которая может разместить последнюю версию, хотя она, как правило, неинтересная, поскольку в ней нет дискуссии, отсутствуют замечания. Как правило, мы рекомендуем сделать подборку из текстов рецензий с ответами авторов, удалив из неё персональные данные.
Если говорить о рецензиях на непериодические издания, то там немного другая схема размещения. Поскольку каждое издание должно включаться в приложение к договору, в этот момент и определяется, как должны быть показаны рецензии.
Размещённые рецензии попадают в профили автора и журнала. В профиле журнала можно видеть число загруженных рецензий и сведения о рецензентах. Планируем добавить количество поданных в году рукописей, число отрецензированных рукописей, количество принятых и отклонённых статей, число дней на рецензирование и на публикацию.
Зачем размещать рецензии в РИНЦ?
Как отметил В. Глухов, в целом для издания размещение рецензий и сведений о рецензентах — это публичное доказательство рецензирования с возможностью оценки его уровня. Для рецензента — признание его квалификации научным сообществом и уважение коллег.
— Можно зайти в профиль любого учёного и проанализировать, для каких журналов он писал рецензии. Если это журнал Nature, то одно дело, а если ≪хищник≫ — совсем другое. Вся эта информация становится прозрачной. Вообще говоря, рецензирование — большая часть научной работы, которая сейчас нигде не отображается, а мы бы хотели исправить это положение.
Для автора размещение рецензии — подтверждение публикации в рецензируемом издании, стимулирование обсуждения результатов работы и её возможного продолжения.
В настоящее время 3924 журнала размещают рецензии. Часть из них — в полностью закрытом режиме; некоторые — в частично закрытом. 523 издания размещают рецензии и сведения о рецензентах полностью в открытом доступе.
Всего размещено 380 тыс. текстов рецензий (включая непериодические издания). Идентифицированных рецензентов — около 134 тыс., всего — более 200 тыс. В основном рецензии представлены по социально-гуманитарным наукам (около 45 тыс.). Науки о жизни, инженерные и естественнонаучные направления насчитывают до 15 тыс. рецензий. В связи с тем что теперь в RSCI принимают журналы, у которых имеются рецензии ко всем научным статьям за последние два года, это число должно увеличиться.
Кто может стать рецензентом? Должен ли этот человек иметь научную степень? По мнению эксперта, это должен быть прежде всего специалист в конкретной области, который разбирается в теме статьи.
ДАЛЬНЕЙШЕЕ РАЗВИТИЕ
Г. Еременко обозначил ключевые проекты eLIBRARY.RU:
— Мы планируем оценивать не только журналы и публикации, но и монографии, сборники трудов конференций. Это касается и рейтинга, и RSCI, который пока включает только журналы. Необходимо, чтобы лучшие книги и конференции тоже попали в ядро РИНЦ.
RSCI продолжает существовать на платформе eLIBRARY.RU: несмотря на то что компания Clarivate больше не размещает эту базу у себя, вся технологическая часть создавалась российской стороной. Сейчас идёт очередная стадия приёма заявок для российских научных журналов. Это хороший пример импортозамещения в научной информации. В российской системе учёта и оценки RSCI занял своё место, он используется в нормативных документах, при ранжировании Перечня ВАК. Этот проект будет развиваться.
В рамках рейтинга Science Index будут продолжены исследования по переходу на оценку отдельных публикаций. Если мы это сможем сделать, вопрос оценки любого составного объекта, будь то журнал или исследовательская группа, решится автоматизированно. Уже сейчас результаты новой методики показывают, что такой переход возможен и он даёт релевантные результаты. Работает нормировка по тематикам, и многие показатели рассчитываются на уровне отдельных статей. Следующий интересный проект, который мы планируем, — рейтинг факультетов. Гораздо логичнее сравнивать одинаковые факультеты в разных вузах, чем просто университеты между собой.
В прошлом году мы стали резидентом научно-технологического центра МГУ имени М.В. Ломоносова «Воробьёвы горы». Сейчас запускается целый ряд совместных проектов. Одно из направлений исследований — искусственный интеллект, использование его в области научной информации. Планируется изучить вопросы, связанные с рубрикацией, классификацией, оценкой. На основе полной информации из eLIBRARY.RU будет построена нейросеть и выложена в открытый доступ. Есть и другие совместные проекты. У МГУ имени М.В. Ломоносова в 2025 г. будет юбилей, и мы участвуем в его подготовке. В частности, планируем отобрать 1 тыс. лучших профессоров университета за предыдущие годы и века и выверить их профили, оцифровать публикации, привязать ссылки, с тем чтобы проследить, как развивались конкретные научные школы.
Безусловно, ориентация на оценку в РИНЦ не только российских журналов, но и зарубежных потребует значительных усилий. Одно дело — покупать информацию в Scopus, где она уже разложена по полочкам, другое — всё то же самое делать самостоятельно. Когда мы сравнивали информацию из Crossref с той, что мы получаем из Scopus и WoS, становилось понятно, за что мы платим деньги, когда подписываемся на эти ресурсы. Проводится колоссальная работа по нормализации данных, выверке, исправлению ошибок. Часто это ручная работа, учитывая то, как оформляют статьи. Инвестиции будут, просто они окажутся растянуты по времени, так как мы не сможем обработать весь массив. Пока стоит задача загрузить весь Crossref, присвоить каждой статье идентификационный код EDN, и потом мы станем эту информацию обогащать. Наш приоритет — открытые ресурсы и дружественные страны, — подчеркнул в завершение эксперт.
Рубрика: Наука и образование
Год: 2023
Месяц: Июль/Август
