Редакция журнала «Позитивные изменения»
Позитивные изменения. Том 2, № 3 (2022). Positive changes. Volume 2, Issue 3 (2022)
Through training and participation in individual acceleration programs, program participants were able to acquire unique knowledge and skills in the field of social entrepreneurship. This outcome could be considered intermediate to the other outcomes of the project, but focus groups revealed that it was a value in itself to SEs, even if their business was not as successful as anticipated.
Despite the availability of various SE materials online and the existence of formal SE support centers, such as Social Innovation Centers, participants noted that there wasn’t a comprehensive training program available that would provide the necessary and sufficient knowledge to move from theory to practice.
The program participants found personal communication with mentors and acceleration program experts (for contest winners) to be the most valuable. They recognized this format as unique and unavailable elsewhere.
The material outcomes considered in further analysis included the following:
• Growth of professional skills and knowledge;
• Personal well-being;
• Work-life balance;
• Stress related to responsibility;
• Connecting with the social entrepreneur community;
• Income level.
QUANTITATIVE DATA COLLECTION
The following metrics were taken into account in the evaluation:
• Number of jobs, including for people with disabilities;
• Volume of tax deductions and payroll insurance payments;
• Corporate profit dynamics;
• The level of income of entrepreneurs and its change related to the program;
• Funding raised from other sources.
In addition to information about social outcomes, such as changes in the lives of social entrepreneurs, as well as economic outcomes for their employees and local communities, the questionnaires also contained factual information about the work of social enterprises to better represent the products of the activities implemented under the program and information about additional components of the SROI model (program impact, monetization of outcomes, etc.).
Some of the quantitative data used in both the report narrative and the SROI model were gathered from information provided by local city governments and the Social Innovation Centers. In particular, this included data related to the volume of tax deductions and payroll insurance payments from social enterprises that received support under the Start Your Own Business program.
PROGRAM IMPACT EVALUATION
Social projects and programs always take into account the specific regional and local context, so it is very important to consider the influence of other factors when analyzing their outcomes. For example, the program being analyzed may be affected by other projects and organizations, the general socio-economic environment, and, of course, by the specifics of the program participants themselves.
This approach allows us to model a picture of social impact that reflects reality more objectively. The resulting information allows one to manage the impact more effectively.
Typically, the following aspects of impact are considered in SROI analysis:
• Deadweight (based on the data obtained in the control group) – an estimation of the value that would have been created if the program activities did not happen;
• Attribution – to what extent other organizations and projects contribute to the outcome;
• Displacement – to what extent the project does not solve the problem, but transfers it to another area (another geographical area, another group of people, etc.);
• Drop-of – if the outcome continues to exist after the project, how long it will still be connected to the project, and how that connection will weaken with each year. This does not necessarily mean that the outcomes people get will also decrease, but they will be more related to other factors: their own work, new projects in which they will participate, etc.[28]
The focus group discussions did not highlight any opportunities to transfer the outcome to another stakeholder group, and in order to account for deadweight and attribution, the questionnaire included an impact question asking respondents to indicate how much of their achievement of certain outcomes was related to their participation in the Start Your Own Business program. The corresponding program impact metric was included in the SROI calculation as an element of the model, and the model was further tested for sensitivity to the metric (see below).
All outcomes were evaluated retrospectively for five years of program implementation, from 2016 to 2020 inclusive, and forecast calculations were not carried out. Based on discussions with SEs in focus groups and from the experience evaluating similar programs and projects, researchers decided that on average, the correlation of outcomes to the program drops by 20–25 % per year for different localities. This metric was included in the SROI calculation model and the model was also tested for sensitivity to the metric (see below).
VALUE OF OUTCOMES AND MONETIZATION, CALCULATION METHOD USED
An important phase in the analysis of social return on investment is the so-called monetization of outcomes – the search for and identification of financial proxies, which will denote the value of outcomes that do not have a market value for stakeholders. It should be noted that in this case we are not talking about the cost or price of these outcomes, but about their use value: how well they meet the needs and demands of the stakeholders for whom they are achieved.
In SROI practice, it is acceptable to use ready-made proxies that have already been used in other reports, as long as the stakeholder group for which the proxies were defined is similar to the one being analyzed.
It is important to note that financial proxies, denoting the consumer value of different outcomes of one project for one group of people, must be related to the relative importance of these outcomes. For this purpose it is recommended to use the anchor method in proxy calculations, when a proxy of one outcome is taken as a basis, which can be obtained by any of the above methods, and other proxies are calculated on the basis of the anchor proxy value using weights, i.e. indicators of relative importance of different outcomes for stakeholders in percentages or any other units.
This was the approach used in determining the proxy for social outcomes for Start Your Own Business stakeholders. The anchor of the calculation was the change in monthly income of social entrepreneurs.
The weights used to calculate the value of the other outcomes were the average importance of the outcomes and the impact of the program: to what extent the SEs perceived the outcome to be related to their participation in the program.
MODEL DEVELOPMENT AND SROI CALCULATION
Based on the data obtained from the quantitative study, a model was developed and the SROI metric was calculated for each locality (Chusovoy, Blagoveshchensk and Vyksa) and the combined model for the program as a whole.
The model was developed using five years worth of historical data from the Start Your Own Business program to the present moment, without projecting social and economic outcomes for the future, in accordance with the principle “do not over-claim”.
To calculate the value of social outcomes by year, financial proxies adjusted for program impact were multiplied by the number of social enterprises/jobs supported in the respective year.
Since focus groups with social entrepreneurs revealed that even those whose projects received support in the first year still associate the results of their work with the program, the five-years’ program outcomes were taken into account cumulatively. The model was tested for sensitivity to various metrics; the test results are included in the report.
The value of the indicator of social return on investment in the Start Your Own Business program in all cases is positive and exceeds 1, indicating the investment efficiency of this social program. In just five years of implementation, the cumulative value of the program outcomes was more than 144,000,000 rubles, which corresponds to an SROI of 4:1. This means that for every ruble invested in the program it creates about four rubles worth of outcomes.
It should be noted that the longer the program has been going on at a specific locality, the larger a metric becomes: the number of social enterprises is growing, most of them continue to operate after the end of OMK financial and mentor support, but the outcomes of their work remain related to the program.
The Start Your Own Business program is effective from an investment point of view: without taking into account social outcomes, the SROI is positive and is at least 1.6:1 for the whole program; taking into account social outcomes, the SROI for the program is at least 4:1.
Из точки А в точку Б проверенным маршрутом: теория изменений как инструмент планирования и оценки импакта
Иван Смекалин
DOI 10.55140/2782–5817–2022–2–3–46–55
Мейнстримом для международных проектов развития еще в 90-е гг. XX века стала теория изменений. Популярность этого инструмента проектирования и оценки в России постепенно растет. Ее ключевое значение – это смена парадигмы в отношении проектов социальных изменений. Теория изменений рассматривает причинно-следственные связи в достижении социальных результатов посредством выбранных действий. Как благодаря теории изменений сделать проект более обоснованным и понятным для инвесторов и исполнителей – в нашем материале.
Иван Смекалин
Аналитик Фабрики позитивных изменений
КОНЦЕПТУАЛИЗАЦИЯ ПОНЯТИЯ: ЧТО ТАКОЕ ТЕОРИЯ ИЗМЕНЕНИЙ
Теория изменений как концепция появилась в ходе обсуждения теоретически обоснованных практик оценки проектов. Эта методология вдохновляется теорией социальных изменений – как обоснованное критическое вмешательство в реальность на принципах диалога и равноправия. В соответствии с определением Рингхофер и Кохлвег: «Теория изменений – это методология для планирования, управления и оценки проектов развития и позитивных социальных изменений» (Ringhofer & Kohlweg, 2019).
Теория изменений как методология в качестве своих принципов наследует ориентацию на развитие и расширение возможностей в рамках проектов социальных изменений (там же). Ключевые компоненты теории изменений включают в себя описание социального изменения, набора действий для достижения изменения, описание непосредственных и промежуточных эффектов, а также условий и допущений для достижения итогового импакта.
Сформировавшись как самостоятельная методология в 1990-е годы, сейчас теория изменений стала мейнстримом в сфере международных проектов развития. Ее ключевое значение – это смена парадигмы в отношении проектов социальных изменений. Вплоть до конца 1990-х гг. проекты действовали по принципу «черного ящика»: на вход системы подаются ресурсы и действия, а на выходе из нее каким-то неизвестным образом получаются социальные результаты. Теория изменений «распаковывает» этот черный ящик и рассматривает причинно-следственные механизмы достижения социальных результатов посредством выбранных действий. Таким образом, проект становится более обоснованным и явным в своем содержании, а потому – более понятным для инвесторов и исполнителей.
СМЕЖНЫЕ ПОНЯТИЯ: КАКИЕ СУЩЕСТВУЮТ ПОХОЖИЕ ИНСТРУМЕНТЫ
Наряду с теорией изменений существует ряд других инструментов, которые время от времени представляют как теорию изменений.
• Теория изменений – повествовательное описание, обычно сопровождаемое графическим или визуальным описанием того, как и почему ожидается достижение цели или результата в конкретном контексте. Она устанавливает причинно-следственные связи между элементами проекта: если действия выполнены и предпосылки верны, то можно ожидать определенных результатов.
• Логическая модель – графическое или визуальное изображение теории изменений, иллюстрирующее связь между тем, что будет делать проект, и тем, чего он надеется достичь.
• Логическая схема (LogFrame) – тип логической модели, представленный в табличном формате, который обеспечивает упрощенное описание того, как проект должен функционировать в форме линейной цепочки причин и следствий.
Стоит заметить, что теория изменений – это не только таблица или блок-схема, а повествовательный текст с описанием не только причинно-следственных связей от действий до результатов, но и с указанием на предпосылки, выполнение которых необходимо для исполнения предположений о тех или иных связях. Теория изменений отличается нелинейностью структуры и признанием того, что на успех проекта влияют не только его исполнители, но и другие факторы, которые нужно учитывать так же, как и действия в рамках проекта.
РОССИЙСКИЙ ОПЫТ ИСПОЛЬЗОВАНИЯ ТЕОРИИ ИЗМЕНЕНИЙ
Обзор российского опыта, связанного с использованием теории изменений, стоит начать с рассказа об экспертной записке «Применение теории изменений для стратегического аудита и стратегического планирования в России» Центра перспективных управленческих решений и Счетной палаты РФ. В статье, написанной генеральным директором Центра Марией Шклярук и опубликованной в «Российской газете», рассказывается о специфике первых шагов к использованию теории изменений на федеральном уровне – этот инструмент внедряется как способ связать стратегические цели и перечень действий для их достижения с отдельным акцентом на достигаемом социально-экономическом эффекте. В качестве академической ссылки указывается, в частности, Кэрол Вайс, которая считается автором термина «теория изменений», с тезисом о том, что для достижения социально-экономических эффектов требуется обоснованное предположение о механизмах реализации (Шклярук, 2020).
К настоящему времени экспертная записка этого коллектива авторов (Ким, Копыток, 2020) представляется наиболее обоснованной и структурированной адаптацией теории изменений для российского контекста, по меньшей мере – для использования при планировании государственных программ. Она сопровождается примерами из опыта в сфере государственного управления, например, приводится дерево проблем проекта социального контракта в направлении оказания помощи по поиску работы. От проблемы высокого уровня, например высокого уровня бедности, через «ветви» дерева можно спуститься к конкретным источникам причин проблемы – скажем, неэффективность традиционных мер соцподдержки для ряда социальных категорий. Очень важным замечанием является параграф об измерении результативности при отсутствии необходимых данных: здесь авторы проговаривают наиболее сильное преимущество подхода теории изменений в части оценки изменений, которое заключается в том, что наличие обоснованного предположения о причинно-следственных связях восполняет доказательные пробелы.
Теория изменений отличается нелинейностью структуры и признанием того, что на успех проекта влияют не только его исполнители, но и другие факторы.
Примером использования теории изменений в России вне государственного сектора, получившим широкое освещение в связи с упоминанием в первом русскоязычном пособии по Теории изменений, является разработанная в 2010–2011 году теория изменений Благотворительного детского фонда «Виктория» (Кузьмин, Кошелева, 2014). К этому кейсу продолжают обращаться на разнообразных практикумах по разработке теории изменений, например, вебинарах АНО «Эволюция и Филантропия», Московской школы управления «Сколково»: в них делается акцент на структуре теории изменений с указанием на важность формулирования допущений/условий и составления карты результатов в обратном порядке. Стоит отметить, что в российском опыте не происходит подмены теории изменений логической схемой. Также в разных российских интерпретациях этой концепции, которые в качестве референтного примера указывают опыт Благотворительного фонда «Виктория», остается один и тот же набор элементов теории изменений: ресурсы (inputs), действия (activities), результаты (outputs), эффекты (outcomes), воздействие (impact).
Также принципы теории изменений используются в Стандарте доказательности социальных практик в сфере детства, разработанном при поддержке Фонда Тимченко, Центра доказательного социального проектирования Московского государственного психолого-педагогического университета и Фонда президентских грантов. Важность этих принципов состоит в том, что они показывают неотъемлемость теории изменений для оценки социального импакта. Для оценки проекта необходимо иметь прописанную теорию изменений с тем, чтобы сформулировать предмет измерения. В социологической статье об изменении субъективного благополучия указывается, что для определения понятия «благополучие» используется теория изменений, в рамках которой указываются деятельность и цепочка социальных результатов (Archakova & Garifulina, 2020). Ранее отмечалось, что концепт благополучия является ключевым для измерения, потому что позволяет вовлекать целевые группы и именно на позитивные изменения благополучия в итоге направлены социальные проекты.
Некоторые грантодающие организации внедряют практику представления грантовых заявок в формате описания теории изменений, сопровождая это образовательными программами.
Более того, описанные в стандарте инструменты мониторинга и оценки с вовлечением разнообразных данных из разных источников могут быть включены в проект на этапе планирования, и наиболее простой способ сделать это – соотнести пункты из теории изменений с соответствующими им индикаторам и методами исследования. Как пишут ранее упомянутые авторы, при помощи теории изменений происходит операционализация измеряемого концепта, что позволяет сформулировать средства оценки.
Популярность теории изменений как инструмента проектирования и оценки в России растет постепенно. Некоторые грантодающие организации, например, фонд «Навстречу переменам», фонд «Дорога к дому» внедряют практику представления грантовых заявок в формате описания теории изменений, сопровождая это образовательными программами, позволяющими заявителям познакомиться с данным инструментом проектной работы.
Хотя говорить о широкой практике внедрения пока не приходится. В частности, как показывает исследование зарубежного и российского опыта проведения оценки проектной деятельности НКО[29], Фонд президентских грантов, являющийся на сегодняшний день самой крупной структурой, финансирующей социальные проекты в стране, не видит пока перспектив и возможностей для внедрения теории изменений, как и требований по оценке социальных эффектов и импакта для своих грантополучателей, считая, что это значительно усложнит процедуру выдачи и получения грантов. В целом, применение теории изменений в России на данном этапе является скорее исключением, чем общим стандартом и правилом. Во многом это обусловлено трудоемкостью реализации данного метода, в том числе отсутствием соответствующих цифровых инструментов, упрощающих задачу, а также, в целом, информации о порядке и процедурах разработки теории изменений. Стоит отметить, что первое методическое пособие по разработке теории изменений на русском языке было опубликовано только в 2021 году.
В целом, применение теории изменений в России на данном этапе является скорее исключением, чем общим стандартом и правилом. Во многом это обусловлено трудоемкостью реализации.
Интересно при этом, что в сборнике англоязычных статей, посвященных использованию теории изменений в мировой практике, этот подход характеризуется как модный и чрезмерно используемый («trendy, over-used … methodology») (Vun, 2021). Это ярко демонстрирует разрыв в используемых подходах в проектах, предполагающих социальные изменения. С одной стороны, догоняющее развитие позволяет избежать проблем роста: позднее внедрение технологии позволяет избежать ошибок ранней версии. К таким ошибкам в контексте теории изменений можно отнести недостаточный уровень внедрения практик мониторинга и оценки, а также отсутствие вовлеченности затронутых игроков. С другой стороны, с момента рефлексии об этих слабых местах методологии прошли годы и даже десятилетия, а использование методологии в России остается на начальном уровне без наличия какого-либо аналога.
СТРУКТУРА ТЕОРИИ ИЗМЕНЕНИЙ: ПРИМЕР ТЕОРИИ ПОЗИТИВНЫХ ИЗМЕНЕНИЙ
На основании рассмотренных источников можно вычленить неизменные элементы теории изменений и добавить к ним элементы оценки и вовлечения, адаптированные для российского контекста. Так получилась разработанная Фабрикой[30] «Теория позитивных изменений», которую можно выделить среди других подходов к созданию теории изменений. Преимуществами данного подхода является то, что за счет акцента на условиях и допущениях в результате получается именно теория изменений, а не логическая модель. Обязательным элементом Теории позитивных изменений являются индикаторы элементов в карте результатов: индикаторы не только позволяют уточнить предмет социальных изменений, но и выстроить необходимые каналы коммуникаций с целевыми аудиториями, что необходимо для их вовлечения. Особенностью Теории позитивных изменений, дополняющей традиционный подход, является наличие двух дополнительных блоков для расчетов индекса доказательности и индекса обоснованности. Первый указывает на характеристики модели мониторинга и оценки, второй – характеризует источники обоснований суждений о запланированных изменениях. Кроме того, модель дополнена экономическими расчетами – текущей ликвидностью, финансовой устойчивостью и рентабельностью продаж для проектов, предполагающих наличие механизма финансовой устойчивости посредством реализации товаров/услуг (т. е. социального предпринимательства).
Словосочетание «позитивные изменения» в названии подхода отсылает к понятию импакта как социальных изменений в результате проекта развития. Теория позитивных изменений использует принятую в России лексику (например, из правил подачи заявок на грант Фонда президентских грантов[31] и упомянутого Стандарта доказательности социальных практик) и выстраивает ее в качестве элементов теории изменений, которые взяты, в частности, из пособия «Теория изменений за десять шагов» Джеймса Ноубла (2019) и публикаций Джона Мэйна (2006). В настоящий момент Теория позитивных изменений включена в модель оценки проектов социального предпринимательства, планируемой к внедрению Фондом поддержки социальных проектов – федеральной структуры, которая занимается развитием среды социальных проектов и социального предпринимательства в России.
Теория позитивных изменений состоит из двух блоков. Первый – это дерево проблем с описанием текущей ситуации, целевой аудитории и проблемы целевой аудитории в контексте ситуации, которая подлежит позитивному изменению. Второй блок – это карта позитивных изменений – карта результатов проекта, выстроенных в соответствии с цепочкой социальных результатов от деятельности через результаты и эффекты в сторону социального импакта как финальной точки назначения.
ДЕРЕВО ПРОБЛЕМ
• Ситуация характеризуется объективными показателями на основании проверенных источников данных, с конкретизацией географического и временного измерений.
• Целевые аудитории описываются аналогично с указанием конкретных характеристик и качеств, которую делают эту аудиторию особенной. В качестве практик вовлечения заинтересованных сторон, для каждой аудитории необходимо прописать канал коммуникации для сбора обратной связи – это важно для определения целей проекта, образа импакта и индикаторов социальных изменений.
• Проблема – это часть реальности, которая подлежит изменению в рамках проекта и формулировка которой представляет собой конкретизацию рамок проекта (временных, географических и социально-демографических).
• Причины проблемы – это связующее звено между проблемой и социальными эффектами, которые предполагается осуществлять в рамках проекта. Предполагается, что проблема является достаточно абстрактной категорией, которую можно сделать более конкретной через рассмотрение ее причин, подлежащих решению.
КАРТА ПОЗИТИВНЫХ ИЗМЕНЕНИЙ
Карта позитивных изменений состоит из восходящей цепочки результатов, которые позволят позитивно изменить проблемную ситуацию и конкретную часть жизни целевой аудитории.
Каждое звено в цепочке результатов, как того требует стандарт доказательности социальных практик, сопровождается индикаторами – объективным показателем степени достижения заявленной задачи. Для переходов от результатов к социальным эффектам и от социальных эффектов к социальному импакту требуется обоснование – на каких именно материалах основывается предположение, что причинно-следственная связь работает именно таким образом. Условия и допущения – это также обязательный пункт для каждого элемента карты позитивных изменений. Они описывают, при каких обстоятельствах предполагается указанная причинно-следственная связь.
• Деятельность – это самый начальный этап цепочки социального воздействия, то, что непосредственно делает проект, его мероприятия.
• Непосредственные результаты – это то, на что направлена деятельность. Стоит отметить, что выполнение деятельности – это не результат. Проведение мероприятия не является результатом мероприятия, но просто индикатором деятельности. Результаты – это те новые качества, которые приобрели люди из целевой аудитории в результате деятельности.
• Социальные эффекты – это кратко- и среднесрочные последствия результатов при соблюдении условий и предпосылок, продолжительные изменения в жизни целевых аудиторий.
• Импакт – это долгосрочные последствия социальных эффектов при соблюдении условий и предпосылок. Это связь проекта и поставленной проблемы – какой именно вклад вносит проект в ее решения, как этот вклад измеряется и чем доказывается то, что он может произойти.
В качестве итога Теории позитивных изменений получается последовательная карта результатов, направленных на решение проблем и их причин из дерева проблем, с соответствующими индикаторами, обоснованиями логических связей и допущениями причинно-следственных связей. Логическая схема для методологии Теории позитивных изменений представлена ниже.
До конца 2022 года Теория позитивных изменений, разработанная Фабрикой, будет представлена в формате открытого онлайн инструмента, что позволит большему числу проектов получить возможность планировать и оценивать социальное воздействие с помощью этого инструмента.
ЗАКЛЮЧЕНИЕ
Теория изменений – это инструмент разработки и менеджмента проектов позитивных социальных изменений. Методология, впервые упомянутая в 1997 году, в соответствии со своими собственными принципами, находится в процессе непрерывного становления. За последние 20 лет наличие проектной документации по модели теории изменений стало обязательным критерием как для импакт-инвестиций, так и для проведения системной оценки достигнутых социальных результатов. В России теория изменений только начинает внедряться и использоваться в качестве основы для социального импакта. Теория позитивных изменений представляется как один из шагов в сторону внедрения методологии теории изменений в России. Важным фактором распространения данного инструмента, на наш взгляд, станет создание доступного и удобного онлайн-инструмента для заполнения и визуализации пути движения из точки А в точку Б – в направлении достижения импакта проекта.
СПИСОК ИСТОЧНИКОВ
1. Ringhofer, L., Kohlweg, K. (2019). Has the Theory of Change established itself as the better alternative to the Logical Framework Approach in development cooperation programmes? Progress in Development Studies, 19(2), 112–122. https://doi.org/10.1177/1464993418822882.
2. Archakova, T, Garifulina, E. (2020). Measuring Children’s Subjective Well-Being in Russia: Local Practices and Federal Strategies. Monitoring of Public Opinion: Economic and Social Changes, 1, 276–295. https://doi.org/10.14515/monitoring.2020.1.11.
3. Vun, G. (2021). Analysing the Credibility of Theories of Change. In Theories of Change, 41–49. Springer, Cham. https://doi.org/10.1007/978–3–030–52275–9_3.
4. Noble, J. (2019). Theory of change in ten steps. London: New Philanthropy Capital. Retrieved from https://www.thinknpc. org/resource-hub/ten-steps (accessed: 21.09.2022).
5. Ноубл, Дж. (2021). Теория изменений за десять шагов. Фонд развития медиапроектов и социальных программ «Глэдвэй». Режим доступа: https://impact.ngo.ru/library/view/51 (дата доступа: 21.09.2022).
6. Mayne, J., Rist, R. (2006). Studies are not enough: the necessary transformation of evaluation. the Canadian Journal of Program Evaluation, 21(3), 93.
7. Шклярук, М. (2020). Применение теории изменений ускорит реализацию стратегий РФ. Российская Газета. Режим доступа: https://rg.ru/2020/06/11/primenenie-teorii-izmenenij-uskorit-realizaciiu-strategij.html (дата доступа: 21.09.2022)
8. Ким, А., Копыток, В., Филиппова, Ю., Цыганков, М. (2020) Применение теории изменений для стратегического аудита и стратегического планирования в России. Москва: Счетная палата Российской Федерации, Центр перспективных управленческих решений. Режим доступа: https://ach.gov.ru/news/kak-ispolzovat-teoriyu-izmeneniy-dlya-strategicheskogo-audita (дата доступа: 21.09.2022).
9. Кузьмин, А., Кошелева, Н. (2014). Теория изменений: общие рекомендации к применению (из опыта БДФ «Виктория»). Проспект. Режим доступа: https://victoriacf.ru/wp-content/uploads/2012/12/909.pdf (дата доступа: 21.09.2022).
