Методика оценки качества государственных услуг

В соответствии с необходимостью развития открытого правительства мы предлагаем методику оценки деятельности руководителей и работников исполнительной власти, органов местного самоуправления муниципальных образований и подведомственных организаций. В основе методики — оценка качества государственных услуг гражданами. Методика следует рекомендациям Минэкономразвития, а также в соответствии с постановлением № 1284 от 12 декабря 2012 года, подготовленным во исполнение Указа Президента Российской Федерации от 7 мая 2012 года № 601 «Об основных направлениях совершенствования системы государственного управления».

Цели проекта

Мониторинг качества государственных услуг преследует следующие цели:

• улучшение коммуникаций и обратной связи между гражданином и государством;
• повышение уровня жизни в регионе;
• создание благоприятного инвестиционного климата в регионе;
• рост удовлетворенности граждан.

Идея методики

Возможность оценить чиновника через оценку качества государственных услуг обусловлена тем, что большинство руководителей и работников исполнительной власти и органов местного самоуправления прямо или косвенно влияют на качество оказания государственных услуг. Таким образом, по результатам сбора мнений граждан, каждый чиновник получит оценку.

Сбор мнений производится с помощью анкеты, размещенной на интернет-ресурсах и в мобильных приложениях. Информация о возможности оставить своё мнение о качестве услуг распространяется на популярных интернет-ресурсах, в социальных сетях, сетях контекстной рекламы. В анкетировании могут принять участие граждане, непосредственно вовлеченные в процесс получения государственных услуг. Граждан в местах оказания государственных услуг опрашивают профессиональные интервьюеры, вооруженные современными планшетными компьютерами.

Оценка согласно методике строится усреднением оценок по всем услугам, за которые отвечает конкретный чиновник, по территориальным образованиям, находящимся в зоне его ответственности. В итоговом списке каждый чиновник получает визуальную оценку своей деятельности по организации оказания государственных услуг (зеленый цвет — хорошо, желтый — удовлетворительно, красный — неудовлетворительно, серый — недостаточно данных).

Общие вопросы анкеты

Следующие вопросы идентифицируют респондента:

• Ваше имя
• Email или учетная запись социальной сети
• Ваш контактный телефон

Следующие вопрос определяет список услуг, которые будут оцениваться:

• За какими государственными услугами Вы обращались в течение последних 12 месяцев?

Необходимо автоматически отметить время заполнения анкеты, IP-адрес, идентификатор мобильного устройства, а также заполнялась ли анкета самостоятельно или с помощью интервьюера.

Вопросы по услугам

По каждой из услуг, которые согласен оценить респондент, спрашивается, насколько он удовлетворен следующими критериями качества оказания услуги:

• Время, потраченное на получение услуги (в том числе, время в очереди и сбор необходимых документов).
  • Вполне удовлетворен (4 балла)
  • Скорее удовлетворен (3 балла)
  • Затрудняюсь ответить (есть только в версии для интервьюеров, 2 балла)
  • Скорее не удовлетворен (1 балл)
  • Совершенно не удовлетворен (0 баллов)
• Компетентность специалистов, оказывающих услугу, включая вежливость и уважительное отношение, точность и достоверность предоставляемой информации.
  • Вполне удовлетворен (4 балла)
  • Скорее удовлетворен (3 балла)
  • Затрудняюсь ответить (есть только в версии для интервьюеров, 2 балла)
  • Скорее не удовлетворен (1 балл)
  • Совершенно не удовлетворен (0 баллов)
• Комфортность получения услуги (например, интерьер и экстерьер помещений, в которых предоставляется услуга, удобство расположения и график работы, возможность получения услуги он-лайн).
  • Вполне удовлетворен (4 балла)
  • Скорее удовлетворен (3 балла)
  • Затрудняюсь ответить (есть только в версии для интервьюеров, 2 балла)
  • Скорее не удовлетворен (1 балл)
  • Совершенно не удовлетворен (0 баллов)
• Доступность информации об услуге и порядке ее предоставления (включая обеспечение информирования об услуге через различные источники информации — стенды, брошюры, СМИ, интернет, телефон).
  • Вполне удовлетворен (4 балла)
  • Скорее удовлетворен (3 балла)
  • Затрудняюсь ответить (есть только в версии для интервьюеров, 2 балла)
  • Скорее не удовлетворен (1 балл)
  • Совершенно не удовлетворен (0 баллов)
• Ваши предложения и пожелания по качеству государственных услуг. Что бы Вы хотели изменить? (Открытый вопрос)

Также по каждой услуге надо указать район, в котором получали услугу.

Специфика проведения опроса интервьюерами

Для опроса представителей бизнеса, ответственных за получение государственных услуг для бизнеса, необходимо заранее планировать встречи с представителями бизнеса.

Входные данные алгоритма оценки

На вход алгоритму оценки подаются следующие данные.

Матрица ответственности чиновников

Матрица ответственности чиновников, косвенно или непосредственно отвечающих за предоставление услуги — это квадратная таблица a_ij из нулей и единиц такая, что a_ij = 1, если за услугу i отвечает чиновник j, иначе 0.

Отметим следующие моменты:

• В таблице a_ij каждая услуга встречается столько раз, сколько районов в исследовании.
• При сборе информации может оказаться, что по какому-то району недостаточно анкет, чтобы оценить услугу (число анкет, оценивающих данную услугу, меньше порогового значения). В этом случае информация по данной услуге игнорируется, а именно все соответствующие услуге i показатели a_ij принимаются равными нулю. Если при этом ∑_i a_ij для чиновника j становится равной нулю, то оценка чиновнику не выставляется с уточнением «собрано недостаточно информации».
• Пороговое значение числа анкет зависит от общего числа пользователей услуги. С доверительностью в 95% и предельной ошибкой в 5% выборка должна составлять 3,8% от общего числа пользователей. Например, в случае услуг для бизнеса, которые были в течение 12 месяцев востребованы сто раз, репрезентативная выборка составит 4 анкеты.

Заполненные анкеты

Заполненные анкеты должны быть отфильтрованы в соответствии с требованиями к аудитории опроса.

Оценки в анкетах должны быть от 0 до 1. В нашем случае анкета содержит четыре вопроса, максимальное значение ответа на каждый вопрос — 4 балла, минимальное значение ответа — 0 баллов. Максимальное количество баллов по каждой заполненной анкете — 16, минимальное — 0. Таким образом, для того, чтобы получить нормированную оценку по услуге от 0 до 1, надо разделить бальную оценку на 16.

Алгоритм оценки

По каждому району по результатам опроса формируется усредненная оценка каждой услуги w_i от 0 до 1. Оценка услуги по району — среднее арифметическое нормированных оценок каждой из релевантных анкет.

Пояснение. Если по району X по услуге Y заполнено N анкет, то оценка услуги по району складывается из усреднения оценок w_XY = (w₁ + ... + w_N) / N.

Оценка чиновника r_j = ∑_i w_i a_ij / ∑_i a_ij (определена, если a_ij = 1 хотя бы для какого-то i.

Алгоритм цветовой индикации

В результате работы алгоритма оценки каждый чиновник получает оценку от 0 до 1. Как же определить, является ли работа чиновника удовлетворительной?

Нельзя сразу взять и улучшить работу всех чиновников. Всех чиновников можно упорядочить (ранжировать) в зависимости от полученной оценки. При первоначальном расчете мы определяем результат чиновника не по абсолютному значению полученной оценки, а по месту в итоговой таблице. Таким образом всегда можно гарантировать, что для управленческих решений мы отобрали 25% наиболее серьезных проблем.

Верхняя половина (50%) списка получает рейтинг «зеленый». Лучшая половина (25%) оставшихся получает рейтинг «желтый». Последняя четверть (25%) получает рейтинг «красный». При возникновении неоднозначности, в какую группу относить того или иного чиновника, например, когда несколько человек на стыке половин списка получили одинаковые оценки, неоднозначно оцененный чиновник относится в группу более высокого ранга.

Таким образом мы можем гарантировать, что в красную группу мы отобрали худшую четверть, худших из худших.

Абсолютные значения оценок на границах цветовых групп фиксируются для того, чтобы использоваться для разбиения на цветовые группы на дальнейших этапах проекта.

На основе поступивших мнений граждан о качестве государственных услуг формируется оценка по каждому руководителю или работнику, вовлеченному в оказание услуг. Оцениваемые и их руководители могут посмотреть оценки в закрытом разделе портала.

Развитие алгоритма расчета

При разбиении чиновников на цветовые группы используются не квантили (50%, 25%, 25%), а граничные значения, полученные в рамках пилотного проекта.

Возникает дополнительная сущность: должность, и таблица — классификатор должностей. Вместо таблицы зависимости чиновник-услуга используется таблица зависимости должность-услуга и таблица должность-чиновник.

Использование классификатора должностей позволяет корректно обрабатывать ситуации, когда человек переходит с одной должности на другую. Оценка чиновника получается усреднением оценок должностей, которые он занимал, за последние 12 месяцев.

Внутренние списки услуг и чиновников становятся динамическими, с возможностью редактирования через веб-интерфейс. Изменения в этих списках должны быть помечены автором и меткой времени.

В связи с тем, что число услуг на сайте растет, возникает необходимость в таблице — классификаторе услуг. Человек, выбирая услугу, сначала выбирает кластер, затем уже выбирает услугу внутри кластера.

В таблице — классификаторе услуг для каждой услуги хранится, какому кластеру услуг она принадлежит. Услуга может принадлежать нескольким кластерам. Например, аграрные субсидии попадают и в экономический, и в аграрный кластеры.

Вторая важная задача кластера — предоставлять агрегированную оценку в связи с тем, что конкретные услуги могут исчезать и появляться с течением времени.

Каждый месяц издается финальный отчет по оценке должностей. При этом используется таблица зависимостей конкретного месяца. При подготовке месячного отчета вносится ряд финальных исправлений в таблицу зависимостей и другие таблицы для того, чтобы отчет выглядел правдоподобно. Пример подобного изменения — переклассификация услуг, уточнение услуг, устранение дуплицированных услуг, внесение изменений в организационную структуру.

Финальный отчет фиксируется в истории, дальше он будет использоваться для оценки сотрудников в течение 12 месяцев; необходимо отметить, что финальные отчеты за разные месяцы могут иметь разные списки и классификаторы услуг, но обязательно общую часть — оценку деятельности конкретных должностей.

Стратегия развития методики

В основе развития методики оценки лежит расширение и обновление списка услуг:

1. Предложения по актуализации списка и классификатора услуг может подать любой пользователь сервиса через веб-интерфейс.
2. Ответственный за актуализацию услуг проводит обновление списка и классификатора услуг, а также матрицы ответственности чиновников, не реже раза в месяц. Необходимо исключать услуги, которые не оказываются более 12 месяцев, и добавлять новые услуги. При этом в первую очередь актуализируются услуги из важных кластеров.
3. При составлении списка чиновников, отвечающих за услугу, надо отмечать как напрямую ответственных, так и косвенно ответственных. Первые отвечают за услугу в соответствии с регламентами и вертикалью подчинения, вторые отвечают за схожие направления на разных уровнях, являются участниками совместных комиссий или согласантами при принятии решений. Информация о косвенной ответственности чиновников за те или иные направления не является публичной. Например, глава района напрямую ответственен за качество всех услуг в районе. Министр здравоохранения косвенно отвечает за качество образования (в области медицинского образования).
4. Лицо, ответственное за верификацию, верифицирует изменения, и при невозможности согласования, отправляет их на доработку вместе с поясняющими замечаниями. После верификации услуга сразу доступна для оценки. После исправления замечаний, актуализации поступают на повторную верификацию.

Помимо оценки государственных услуг, новые версии методики оценки чиновников учитывают следующие факторы эффективности работы:

• качество работы чиновников по обращениям граждан;
• полезность и качество реализации запланированных мероприятий (по отзывам граждан).

Кластеры услуг

Кластеры государственных услуг (по убыванию важности):

• архитектуры и строительной политики,
• здравоохранения,
• связи и массовых коммуникаций,
• региональной политики и развития муниципальных образований,
• развития предпринимательства и потребительского рынка,
• промышленности и транспорта,
• государственного заказа,
• государственного регулирования тарифов,
• строительного надзора,
• имущественных и земельных отношений,
• культуры и архивного дела,
• образования, науки и молодежной политики,
• финансово-бюджетной политики,
• экономического развития,
• аграрной политики,
• труда и социального развития
• автомобильных дорог и дорожной деятельности,
• ветеринарии,
• технического надзора,
• управления делами,
• ЖКХ,
• ЗАГС,
• занятости населения,
• лесного хозяйства,
• природных ресурсов и экологии,
• жилищной инспекции.