Статистика использования электронно-библиотечных систем: стоит ли изобретать велосипед?


Электронно-библиотечные системы (ЭБС) уже более 10 лет являются частью образовательной среды учебных заведений. Вхождение ЭБС в учебный процесс оказалось достаточно стремительным; подготовительного этапа, связанного с проектированием деятельности, не было и быть не могло. Ценообразование не отличалось прозрачностью и упорядоченностью. Постепенно ЭБС увеличивали свою долю присутствия в учебных заведениях, вытесняя бумажные книги, и в настоящее время нет, наверное, вузов, которые не использовали бы в своей деятельности продукты нескольких агрегаторов. Цены стали более уравновешенными; доля ЭБС выросла в бюджете закупок учебных заведений: в среднем по отрасли около 30% расходов приходится на подписку.

statistika-nesterova

Автор Альбина Николаевна НЕСТЕРОВА, генеральный директор ООО «Научно-издательский центр ИНФРА-М», ЭБС Znanium

Особенностью использования в учебном процессе электронной библиотеки является оказание услуг пользователям за пределами самих учебных заведений, на серверах владельцев ЭБС, что естественным образом создаёт предпосылки для более глубокого проникновения в образовательные процессы ресурсов и сервисов. Владельцы ЭБС получили доступ к ранее закрытым данным об использовании фонда читателями. Эта осведомленность позволила агрегаторам точнее выстраивать контентную политику и взаимодействие с контингентом читателей в каждом отдельно взятом учебном заведении. Но есть и обратная сторона: статистику начали применять как маркетинговый инструмент в конкурентной борьбе за подписчиков, пользуясь в том числе отсутствием единых правил генерации показателей. Стремительное развитие получают сервисы, порой пытающиеся конкурировать с традиционным функционалом и компетенциями сотрудников учебных заведений.

За всей этой многослойностью процессов взаимодействия с учебными заведениями статистика использования ЭБС остаётся без качественного развития. Про неё заговорили с министерских трибун в 2020 г., когда в период пандемии учебные заведения начали вести образовательную деятельность в онлайн-формате и Министр науки и высшего образования РФ обратил внимание на эффективность закупок и использования ЭБС вузами, а для этого отрасли надо быть готовой предоставлять сопоставимые между собой данные.

Таким образом, сложившаяся ситуация явилась триггером к тому, чтобы владельцы ЭБС и библиотеки учебных заведений начали дискуссию о единых правилах генерации статистики.

Потребители статистики по электронным ресурсам:

·         менеджмент учебных заведений;

·         Министерство науки и высшего образования РФ, Министерство просвещения РФ;

·         владельцы ЭБС.

Цели сбора статистики по электронным ресурсам:

·         для отчётности в министерства;

·         анализа использования электронных ресурсов;

·         сопоставления электронных ресурсов (российских и зарубежных) между собой.

ПРЕДПОСЫЛКИ К РАЗРАБОТКЕ ЕДИНЫХ ПРАВИЛ ГЕНЕРАЦИИ СТАТИСТИЧЕСКИХ ПОКАЗАТЕЛЕЙ ПО ЭБС

1. Закреплённые нормативными документами показатели статистики по электронным ресурсам в большинстве своём повторяют показатели по учёту движения бумажных документов, что не даёт полной картины состояния дел по использованию ресурсов или содержит парадоксы. Вот лишь несколько примеров.

·         Форма ВПО-2. Раздел 2.7. Показатель «Число посещений, человек» в методических указаниях рекомендуется считать в обращениях на сервер.

·         Форма ВПО-2. Раздел 2.7. Показатель «Число зарегистрированных пользователей библиотеки, человек». Здесь методические указания не дают понимания того, сколько раз должен быть посчитан пользователь, которому библиотека выдала доступ к нескольким ЭБС.

2. Существуют различия в подсчёте показателей с одинаковыми названиями у разных ЭБС. Традиционные отчёты библиотечной статистики ориентированы на единицы учёта в виде физических объектов: книг, журналов, рецензий, рукописей. Любое действие с ними происходит на территории библиотеки, и та самостоятельно организует учёт на основе нормативных документов. В случае же с электронными ресурсами использование фиксируется на серверах владельцев ЭБС. При отсутствии стандарта и аудита формирования данных возможны значительные искажения одних и тех же показателей у разных ЭБС, что влечёт за собой риск принятия неверных решений менеджментом учебных заведений.

3. ЭБС начинают наполняться контентом различных форм помимо традиционных полнотекстовых книг и журналов в формате PDF. Это могут быть как разные форматы и виды вёрстки документа, так и составные или дробные части одного наименования: главы, разделы, статьи в журналах, аннотации, библиографические записи, мультимедиа- и аудиоматериалы, дополнительные материалы для гибридных книг, тесты и пр.

4. Наличие в использовании неполнотекстовых баз данных российских разработчиков и ресурсов открытого доступа, по которым также требуется выработать набор статистических показателей. Пример: discovery-системы.

5. Учебным заведениям необходимо учитывать индивидуальное использование электронных ресурсов обучающимися и другими категориями читателей.

6. Использование электронных ресурсов порождает новые явления, которые можно измерять и анализировать: поисковые запросы, переходы по страницам сайта, ознакомление с аннотацией и библиографической записью, авторами, непосредственно выгрузка и (или) чтение полнотекстовых документов.

7. У части учебных заведений отсутствует доверие к статистике российских ЭБС.

ЧЕГО НЕ ДОСТАЁТ СУЩЕСТВУЮЩЕЙ СТАТИСТИКЕ РОССИЙСКИХ ЭБС, И КАКИЕ ОШИБКИ СЛУЧАЮТСЯ ПРИ ПОДСЧЁТЕ И АНАЛИЗЕ ДАННЫХ

ЭБС, будучи развитыми сайтами, обладают мощным инструментарием для анализа данных, их обобщения или детализации. И многообразие разрезов представления данных при отсутствии стандартов по наименованиям показателей и правилам их генерации приводит к случаям сложения или сравнения круглого с красным.

Основные различия кроются в отсутствии явных метрик у показателей при их суммировании. Например, такие показатели, как число прочитанных документов, наименований, глав, статей в журналах, количество читателей, могут быть рассчитаны как по уникальным метрикам, так и по суммарным, т.е. повторяющимся. Очевидно, что второе значение будет больше первого. Если владелец ЭБС в своих отчётах разделяет эти показатели и они представлены двумя значениями, то риск неверного толкования потребителем данных сути исследуемого явления минимизируется. Если же такого разделения нет, то вероятность ошибиться велика. Допустим, библиотекарь заранее выяснил у владельца ЭБС способ агрегирования данных, понимает, какие данные за месяц представлены в отчёте, и учитывает это при сложении показателей разных ЭБС. Но иногда библиотекарь анализирует данные не за полный календарный месяц, а за период с одной даты месяца по другую, т.е. детализируя статистику по дням. В этом случае, скорее всего, значения окажутся повторяющимися по объектам, а не уникальными, и сопоставлять их с данными за календарный месяц нельзя, даже если будет взят период в 30 дней. Наглядный упрощённый пример: в течение месяца ЭБС пользовались студент и преподаватель, первый каждый день (30 дней) читал один и тот же учебник, а второй ежедневно открывал новые монографии. В сводном отчёте за месяц с метрикой «Уникальный» количество пользователей будет равно двум, число наименований — 31. Те же объекты с метрикой «Суммарный»: 60 пользователей, 60 наименований. Разница существенная. А теперь представим массив данных за месяц при количестве читающих пользователей, равном, например, 100, и числе наименований, равном 300. Запрашивая у владельцев ЭБС (или получив самостоятельно на сайте) детализацию по дням, библиотекарь имеет для анализа отчёт с несколькими десятками тысяч строк. Это будут суммарные данные, а уникальные подсчитать в ручном режиме трудно. А значит, и сравнивать с другими периодами их нельзя. По опыту отработки запросов от потребителей по ЭБС Znanium скажу, что вопрос: «С какой метрикой сформировать отчёт по дням?» — ставит многих в тупик. Это означает, что в дальнейшем данные от разных ЭБС складываются простым суммированием того, что каждая из ЭБС предоставила: на примере вышеописанных студента и преподавателя от одной ЭБС поступят цифры 2 и 31, а от второй — 60 и 60.

Несколько проще обстоит дело с такими метриками по объектам, как книговыдача и число прочитанных страниц. По книговыдачам раздел 2.6 методических рекомендаций по заполнению ВПО-2 показатель «Выдано экземпляров за период» рекомендует подсчитывать как общее количество выданных экземпляров, включая возобновления. То есть число запрошенных для чтения электронных документов (не путать с наименованиями!) суммируется простым арифметическим сложением, но уникальности каждой книговыдаче добавляет сессия. И вот здесь могут быть различия в подсчёте сессий. Вариант 1: сессия (сеанс, посещение) — это группа запросов одного пользователя к определённому сайту, которая заканчивается им самим (разлогин в случае аутентифицированного доступа) или по инициативе сервера по истечении 30 минут отсутствия активности читателя. Вариант 2: сессия не заканчивается по инициативе сервера по истечении 30 минут отсутствия активности. Пример: пользователь читал учебник в течение дня и прерывался четыре раза более чем на 30 минут. При первом варианте подсчёта число книговыдач будет равно пяти, при втором — одной.

Количество прочитанных страниц, казалось бы, самый понятный показатель. Но и здесь встречаются парадоксы. Так, например, в подсчёт идут не только страницы полнотекстового документа, которые пользователь читал в ридере, но и страницы сайта, на которых он выполнял поисковые запросы, знакомился с аннотацией, авторами и т.п. И самый выдающийся способ — когда считается максимальный номер страницы, до которой дочитал студент.

Выше описаны случаи разногласий в подсчёте показателей, происходящие на стороне агрегаторов. Но пришедшая в учебные заведения вместе с ЭБС возможность получить доступ к контенту на чтение без полной аутентификации пользователя привели к потере полноты данных о читателях и их активности по сравнению с традиционной библиотечной статистикой, в первую очередь для самих учебных заведениях. На разных чашах весов оказались быстрота доступа к контенту и полнота статистики его использования. Одни учебные заведения выбрали быстроту и простоту, и все пользователи читают ЭБС, получая доступ по IP-адресу учебного заведения. У других — разнообразные способы доступа: по IP, бесшовный переход, персональная регистрация читателя. Понятно, что в первом случае ответить на стандартные запросы библиотеки (что и сколько читали студенты, а сколько — преподаватели) невозможно. Во втором — данные будут неполными, а значит, смысла в их анализе тоже нет. Это же относится и к популярному показателю «Количество зарегистрированных преподавателей или студентов»: если персональная регистрация, которая позволяет ответить за вопрос, составляет, например, 20% от всех читающих, то детализация не позволит получить объективную статистику. Если же использование ЭБС по IP в учебном заведении минимально и этой статистикой можно пренебречь, то картина по детализированным показателям будет полезной для анализа.

Если учебное заведение для упрощения запускает в ЭБС внешних пользователей через прокси-сервер, то на стороне ЭБС их настоящие IP-адреса будут скрыты за IP-адресом прокси-сервера, что также может приводить к искажению данных. Например, если считать уникальность пользователей по IP-адресам. Кроме того, доступ могут получать внешние пользователи, не являющиеся читателями данного учебного заведения, а также различного рода роботы типа индексаторов и т.п. То есть такой способ подключения, помимо всего прочего, несёт в себе риски безопасности для серверов ЭБС.

ГДЕ ВЫХОД, ИЛИ НАДО ЛИ НАМ ИЗОБРЕТАТЬ ВЕЛОСИПЕД?

Конечно, можно пойти путём выработки собственной, национальной, системы статистики, взяв за основу опыт сбора учётных данных по традиционным, бумажным, фондам, добавить уже привычные за 10 лет показатели из российских ЭБС, что-то улучшить. Или вообще всё оставить как есть. Но ведь можно опереться на уже готовую систему статистических показателей, разработанную нашими коллегами из числа основных потребителей — издателей, библиотекарей и контент-провайдеров западных стран, которая за 17 лет существования прошла эволюционный путь и год назад представила заметно изменённую пятую версию стандарта.

Речь идёт о COUNTER R5.

Преимущества стандарта

·         COUNTER R5 — наиболее зрелый и адаптированный под запросы библиотек учебных заведений набор показателей и терминов. Его создатели — представители библиотечного и издательского сообществ западных стран.

·         Поскольку COUNTER — это система показателей, то возможно её поэтапное внедрение.

·         Наличие фасетной классификации, которая позволяет комбинировать разные признаки объектов против жёсткой структуры отчётов в более ранних версиях.

·         COUNTER 5 коррелирует с устоявшимся мировым стандартом для анализа использования интернет-ресурсов Google Analytics, который в том числе используют разработчики ЭБС.

·         COUNTER 5 хорошо проработан с точки зрения анализа использования объектов (Item, Title), их метрик — запросов (Searches) и атрибутов объектов (Data_type, Section_type, Access_type и т.п.). Недостающие параметры по активности можно взять из Google Analytics.

·         COUNTER закрепляет единый дискретный период для генерации показателей — месяц.

·         Наличие процедуры аудита системы расчёта показателей повышает уровень доверия к статистике использования электронных ресурсов.

·         Наличие в учебных заведениях статистики по COUNTER R5 позволяет объективно сравнивать эффективность использования или приобретения российских электронных ресурсов как между собой, так и с зарубежными базами.

Принятие показателей COUNTER R5 в качестве стандарта де-факто для российских ЭБС позволит устранить существующие ошибки в генерации, обозначенные выше, и предоставит потребителям качественную и развёрнутую информацию о явлениях.

Представляется, что на первом этапе внедрения можно ограничиться предлагаемым набором показателей (табл.).

statistika-tabl

Запрос потребителей в части разделения пользователей по способам авторизации в ЭБС можно удовлетворить следующими показателями:

·         аутентифицированный пользователь — читатель, подтвердивший свою личность с использованием учётной записи; залогиненный в ЭБС пользователь, обладающий уникальным в пределах системы идентификатором;

·         анонимный пользователь — авторизованный, но не аутентифицированный пользователь ЭБС. Например, незалогиненный в ЭБС пользователь читального зала;

·         пользователь с портала абонента — аутентифицированный на портале клиента пользователь, получающий авторизацию при переходе на сайт ЭБС по специально сформированной ссылке;

·         авторизованный пользователь — читатель, имеющий доступ к документам из подписки абонента. Авторизация может быть основана на аутентификации или установленной связи с клиентом ЭБС, например по IP-адресу.

·         зарегистрированный пользователь — это аутентифицированный и авторизованный читатель.

Для анализа тематического использования контента и структуры подписки рекомендуется использовать устоявшиеся нормативные документы по УГСН (ОКСО), видам изданий, уровням образований и пр.

Также в новый набор показателей статистики необходимо включить раздел «Рейтинги»: читателей, наименований документов, издательств и т.п.

Немаловажно устранить дублирующие значения по зарегистрированным пользователям в разных ЭБС в суммарной статистике учебного заведения, а также исключить анонимных пользователей. Это решается созданием в учебных заведениях единой информационно-образовательной среды с единым же справочником пользователей, который по методу бесшовного перехода будет интегрирован с каждой из ЭБС.

ВЫВОДЫ

Как показывает представленный выше анализ показателей, необходимых потребителям, вполне возможным и подходящим является стандарт COUNTER R5. Показатели, представляемые в министерства, требуют уточнений и изменения правил их расчёта. Для этого необходима активная позиция общественных организаций и библиотечного сообщества. После разработки новых показателей российским ЭБС обязательно надо будет пройти процедуру национального аудита. Все эти шаги вместе позволят завоевать доверие у пользователей статистических отчётов, сопоставить эффективность приобретения и использования контента в российских и зарубежных базах, выведут российские ЭБС на качественно новый уровень развития.

В свою очередь, учебным заведениям как основным потребителям статистики ЭБС рекомендуется развить идентификацию пользователей в информационных системах, включённых в образовательный процесс.


Рубрика: Вузовские библиотеки

Год: 2020

Месяц: Июль/Август

Теги: Альбина Нестерова