Зачем нужны рейтинги

Что только сегодня не рейтингуют: от стран и регионов до компаний, предпринимателей и политиков. Использование рейтингов в качестве метода сравнительной оценки становится все популярнее. Однако вопросы  и споры по самим рейтингам и методикам их составления возникают снова и снова.

Сколько оценщиков – столько мнений

- В рейтингах городов, благоприятных для развития бизнеса, которые ежегодно проводит журнал «Форбс», Ульяновска нет, – сказали мы мэру Ульяновска накануне Дня города.

- В рейтингах самых богатых людей, которые проводит «Форбс», ульяновцев тоже нет, – мгновенно парировал Александр Пинков.

Диалог этот состоялся год назад. В новом рейтинге «Форбса» Ульяновск тоже не появился. Впрочем, и сам рейтинг уже ранжирует не лучшие города для бизнеса, а лучшие регионы. Посыл такой: «Доходы населения, удобство и безопасность ведения дел, лояльность властей – FORBES отобрал 30 регионов, в которых стоит начать бизнес». Тройка лидеров, по «Форбсу»: Татарстан, Свердловская область и Краснодарский край. Завершают тридцатку «привлекательных» Якутия, Вологодская область и Астраханская. Ульяновская область, показывающая в последние годы очень неплохую динамику в плане привлечения инвестиций, в этот рейтинг не вошла.

Нет Ульяновска и в рейтинге крупных российских городов, который четвертый июнь подряд публикует «Русский репортер». Журнал, рожденный «Экспертом», подходит к составлению рейтинга по-экспертовски основательно. Высчитывается индекс городского развития: среднемесячная зарплата; бюджетные расходы на тысячу жителей; дефицит или профицит бюджета; расходы на образование, здравоохранение, культуру и спорт; количество зарегистрированных преступлений на тысячу жителей; уровень безработицы; объемы введенного жилья; оборот розничной торговли и экологический рейтинг. Жителей спрашивают, нравится ли им жить в их городе. Анализируется, что развивается в российских городах быстрее всего (от конкретного – автодороги, кино и театры, парки и скверы; до относительного – доступность хорошей работы и почти эфемерного – доброжелательность жителей, уровень взаимопомощи).

В 2010 году по индексу городского развития лидировали Ростов-на-Дону, Краснодар и Пермь. В 2011-м – Краснодар, Хабаровск и Красноярск. Причем «порог вхождения» в шорт-лист снижается: год назад «Русский репортер» оценивал города с населением свыше 700 тысяч человек, в нынешнем – более 600 тысяч.  Возможно, в 2012-м «посчитают» уже и Ульяновск. А пока жителям города предлагают «официальные рейтинги», подготовленные исполнительной властью.

Лучше Пензы, но хуже Казани?

В конце июня министр экономики Ульяновской области Олег Асмус сообщил о результатах мониторинга эффективности деятельности органов местного самоуправления городских округов и муниципальных районов области за 2010 год.  Такая оценка проводится уже в третий раз. Насколько эффективно поработали за год – выясняется на основании анализа динамики целого ряда экономических и социальных показателей, а также  «объема неэффективных расходов в сферах государственного управления и повышения инвестиционной привлекательности муниципального образования, развития здравоохранения, образования и жилищно-коммунального комплекса».

Этот рейтинг мотивирует не только морально, но и материально:  муниципалитетам, вышедшим на первые позиции, полагаются «премиальные» из областного бюджета, потратить которые можно не строго оговоренным целевым назначением, а на то, что сочтет необходимым сам муниципалитет.

По оценке регионального Мин-экономики, на первую позицию по итогам 2010 года вышел  Ульяновск. Заявлено, что «победа города связана с достижением высоких показателей в дорожном хозяйстве и транспорте, здравоохранении, образовании, доступности и качестве жилья. Значительное число показателей по всем этим отраслям вошло в пятерку и тройку лучших». Вторым стал Димитровград, третьим – Ульяновский район  (подробно с рейтингом можно ознакомиться на сайте Минэкономики –   www.econom73.ru).

А в мэрии Ульяновска – свой рейтинг, методика которого официально утверждена региональным Минэкономики в июне 2011 года.

- Для оценки работы проводится сравнение социально-экономического развития города с другими аналогичными муниципалитетами, – рассказывает начальник управления инвестиций, инноваций и частно-муниципального партнерства мэрии города Андрей Климовский. – С этой целью определяется рейтинг 14 областных и республиканских центров субъектов РФ, входящих в состав Приволжского федерального округа: Ульяновск, Уфа, Йошкар-Ола, Саранск, Казань, Ижевск, Чебоксары, Пермь, Киров, Нижний Новгород, Оренбург, Пенза, Самара, Саратов. Задача – определить положение Ульяновска среди этих городов по социально-экономическому развитию (прежде всего, по темпам развития) на основе показателей, доступных для внешней оценки.

Рейтинг составляется на основании официальных данных статсборника «Социально-экономические показатели республиканских и областных центров Приволжского федерального округа», который ежемесячно готовится Территориальным органом Федеральной службы Государственной статистики по Ульяновской области. В этот сборник входят 27 показателей.

Для определения рейтинга мэрия Ульяновска отобрала 11 показателей: родившиеся на 1 тыс. населения; умершие на 1 тыс. населения; умершие в возрасте до одного года на 1 тыс.  родившихся; естественный прирост (убыль) на 1 тыс. населения; уровень официально зарегистрированной безработицы; среднемесячная заработная плата работников организаций, не относящихся к субъектам малого предпринимательства; просроченная задолженность организаций по заработной плате; стоимость минимального набора основных продуктов питания; оборот крупных и средних организаций; ввод в действие жилых домов; удельный вес убыточных организаций.

Почему именно эти? Как заявляют разработчики рейтинга, во-первых, отобраны показатели, относящиеся к периоду, за который определяется рейтинг, и характеризующие социально-экономическое развитие города в целом и, во-вторых, для части показателей использовались значения, которые можно непосредственно сравнивать в абсолютных единицах, для ряда показателей для корректного сопоставления использовались значения в расчете на 1 тыс. человек (промилле), для других – значения их динамики (темпов) в процентах к соответствующему периоду прошлого года. «Таким образом, выбранные показатели соответствуют задаче определения рейтинга, являются полностью сопоставимыми для всех городов и не зависят от их специфических характеристик».

Комментарии не лишни

Идея рейтинговой оценки работы исполнительной власти пришла, как водится в России, «сверху».  Указ «Об оценке эффективности деятельности органов исполнительной власти субъектов Российской Федерации» появился в 2007 году и подписан президентом Путиным. «Губернаторы ответят за все?» – с иронией отозвались одни. «Губернаторы ответят за все!» – удовлетворенно констатировали другие. Как бы то ни было, 43 критерия оценки работы глав регионов за четыре года не сильно изменились, а в рядах губернаторов и президентов произошла приличная «прополка».  

В 2008 году увидел свет еще один президентский указ – «Об оценке эффективности деятельности органов местного самоуправления городских округов и муниципальных районов». Регионы руководствуются им по сей день.

Ориентир в Ульяновске (установка мэра) – третье место в ПФО. Ориентир в Ульяновской области (установка губернатора) – не хуже, чем в среднем по России. Вопрос: насколько социально-экономические показатели являются результатом деятельности исполнительной власти «на местах» и как она может на них повлиять?

- Поскольку результаты рейтинга зависят от деятельности всех объектов рейтинга, очевидно, что планирование своего положения в нем довольно затруднительно, – считают в мэрии Ульяновска. – Никто не застрахован от стремительного повышения рейтинга конкурентов и резких падений собственного. Тем не менее, это понятный и измеряемый ориентир в направлении и темпах развития.

А что думают «массы»?  Публикация сообщения о лидерских позициях Ульяновска в ПФО  вызвала шквал негатива в интернет-среде. Публикация рейтинга «Русского репортера» тоже «аукнулась» дискуссиями в Рунете. Поскольку Ульяновск здесь не оценивался, посмотрим, что пишут жители Омска – города, самого обделенного народной любовью (40% омичей недовольны своей жизнью). Хуже всех участников рейтинга в Омске обстоят дела с общественным транспортом, на предпоследнем месте – развитие школ и детсадов, автомобильных дорог, доступность хорошей работы, товаров и услуг, состояние экологии.

Вот что пишет омич рассуждающий:  «Каковы последствия такого отношения жителей к городу? Во-первых, это трудовая миграция. Второе – понижение уровня культуры населения. И, наконец, самое печальное последствие – это отсутствие готовности что-либо менять». Вот что пишет омич обличающий: «Если человек равнодушный или ленивый (в Омске), то и в Новосибирске или в Екатеринбурге (если переедет жить туда), он останется прежним. Единственное условие изменить все – это изменить самого себя. Тогда изменится и Омск (который мы не любим) в лучшую сторону и т.п. и т.д.». Вам это ничего не напоминает?

А рейтинги, в принципе, вещь хорошая. Надо только понимать, кто их составляет, как, для кого и зачем.     

Мария Мишина

О методиках и стандартах

Стандартизированных российских методик определения рейтинга не существует, а проверенные западные технологии часто не могут быть адаптированы под российские задачи. Поэтому и получается – «сколько людей – столько и мнений».

Тем не менее, общепринятые методологические основы составления рейтингов есть. И знать их полезно как составителям рейтингов, так и пользователям. Одним это поможет избежать ошибок, другим – понять, чему можно доверять, а чему нет.

Прежде всего, существует обязательный набор этапов составления рейтинга:

• постановка задачи;
• определение ключевых параметров, характеризующих объект;
• определение относительной значимости каждого параметра;

• определение единиц, обеспечивающих сопоставимость параметров для группы объектов, для которых определяется рейтинг;
• сбор информации;
• обработка информации;
• оценка (получение и представление результата).

Следование этому пути не гарантирует избежания ошибок, но игнорирование этих простых правил неизбежно дискредитирует сам принцип рейтинговой оценки и множит число его недоброжелателей.

Кто спорит, рейтинг может быть индикатором для принятия решений и инструментом манипулирования, эффективным способом сравнения и орудием на поле маркетинга и PR-технологий. Каждый, кто затевает рейтинг, решает свои задачи. Каждый, кто пользуется результатами рейтинга, волен относиться к ним по-своему. И все-таки «ДО» спросило:

Каким   рейтингам вы доверяете?

Дмитрий Гудз

руководитель территориального органа Федеральной службы госстатистики по Ульяновской области:

В итоге все на первом месте

- Стало модно рассчитывать различные рейтинги на уровне отдельных субъектов РФ или муниципальных образований для определения места по итогам  какого-либо отчетного периода. В самой идее нет ничего плохого. Досадно то, что ни один рейтинг на сегодняшний день не является объективным, так как для их составления авторы, как правило, выхватывают из статистических бюллетеней набор  отдельных «лучших» показателей, и затем объявляют о занятом лидирующем месте. Всегда находятся оппоненты, которые, напротив, выбирают самые «плохие» показатели и уверяют общественность в обратном. При таком подходе любой другой субъект может также выбрать для себя другие, выгодные для него  показатели, и при сравнении уже он будет лидером. В итоге все на первом месте.

Для проведения  сравнительного анализа и получения объективных рейтинговых оценок  показатели должны быть определены на законодательном уровне, быть едиными для всех субъектов РФ, иметь единую методику расчетов и временные периоды. Кроме того, должны быть приняты поправочные коэффициенты, которые бы нивелировали разницу в экономическом потенциале областей и муниципальных образований РФ или ПФО.

Определение рейтинговых оценок  работы исполнительной власти производится в соответствии с указами президента РФ. Можно много спорить о методиках оценки деятельности руководителей регионов и муниципальных образований, разработанных Министерством регионального развития РФ, но если сравнивать регионы по указанным в них показателям, то такому рейтингу можно доверять, так как здесь все находятся в равных условиях, и сравнение идет по одинаковым критериям, методике расчета и временному периоду.

Росстат не занимается рейтинговыми оценками ни на региональном, ни на муниципальном уровне. Ежеквартально в «Российской газете», в специальной рубрике «Где в России лучше жить?», публикуется сравнительная таблица, где даются отдельные показатели социально- экономического развития регионов РФ. При этом регионы не сравниваются между собой.

На сегодняшний день данные, отражающие социально-экономическое положение региона за месяц, формируются органами госстатистики на основании более 10 990 показателей и более 184 таблиц. Это достаточно толстый том, и проанализировать все показатели достаточно трудно.  Но выхватывать шесть-восемь показателей, характеризующих темпы роста, и на основании этого «анализа» объявлять себя на первом месте – неправильно.

Четыре года назад Ульяновскстат в помощь Правительству Ульяновской области разрабатывал ряд показателей по регионам ПФО. Использовались 32 показателя для субъектов ПФО и 26 показателей для муниципальных образований Ульяновской области. Основная  цель этих разработок заключалась в том, чтобы показать руководству области динамику развития того или иного показателя, по сравнению с другими областями. Но когда наши данные стали использовать для распределения мест и пресловутых «рейтингов», мы прекратили выпуск этих бюллетеней.

Нина Дергунова

доктор политических наук, завкафедрой социологии и политологии Ульяновского государственного университета:

Чтобы доверять - надо понимать

- Рейтинги - дело, конечно, нужное. Но когда они публикуются, обязательно должно быть пояснение, из чего этот рейтинг складывается, откуда та или иная позиция. 

Возьмем, скажем, рейтинг доверия тому или иному политику. Здесь берется четыре оценки. Респондента спрашивают: «Доверяете? Не доверяете? Нейтрально относитесь? Затрудняетесь ответить?», а рейтинг показывается как совокупность отрицательных и положительных оценок. Происходит уход от простых показателей к комбинированным.

Когда Центр социологических исследований обнародовал рейтинг доверия политикам области, мы всегда поясняли,  что это сумма отрицательных и положительных оценок, за вычетом ответов «нейтрально» и «затрудняюсь ответить». И рейтинг доверия «минус 20» вовсе не означает, что 20% респондентов политику не доверяют. Минус 20 может получиться из - 40 + 20. Или - 30 + 10. Рейтинг по какому-то одному направлению ни о чем не говорит. Скажем, у политика рейтинг узнаваемости +90. И что? А рейтинг доверия при этом - минус 20.  То есть его все знают, но ему больше не доверяют, чем доверяют. Вот почему всегда должна быть расшифровка.

Когда мы свели социокультурный портрет Ульяновской области, например, получилось, что наш регион относится к функционально разбалансированным. По одним направлениям мы впереди России всей, по другим - посередине, а по третьим – позади. Это надо видеть и понимать. Всегда нужен комплекс показателей! А когда мы выхватываем то, что хорошо, и замалчиваем то, что плохо, – это уже сокрытие информации. Если очень хочется себя позиционировать, проще всего взять отдельные показатели и сделать рейтинг на основе соотношения одного с другим. Но такой рейтинг всегда найдется кому оспорить.

Кто разбирается в социологии, понимает, как много зависит от постановки самого вопроса, чтобы человек на  него ответил «да», и как можно спросить, чтобы в ответ прозвучало «нет». Здесь всегда можно манипулировать. Поэтому нельзя сказать, что я абсолютно кому-то доверяю. Доверяю, если рейтинг идет от организации, с которой я сталкивалась, методики которой знаю. Скажем, рейтинг ВЦИОМа и ФОМа. Фонд общественного мнения - организация независимая, доверяю ему больше, потому что ВЦИОМ работает с властью и на деньги бюджета. Хотя все намного сложнее, бюджетные организации  придерживаются объективности, а независимые работают под заказчика, и такое может быть.

Доверяю рейтингам организаций, которые уже доказали свою объективность, а если сталкиваюсь с каким-то новым показателем, всегда ищу, где методика расчета. Она обязательно должна быть на сайте или в сноске к статье в печатном СМИ. Если я это могу посмотреть, могу убедиться, как считают, тогда верю. Методики должны обсуждаться с экспертами и обязательно публиковаться. А если методика неизвестна, это уже не объективное знание, а игра в «верю - не верю».