Редакция журнала «Позитивные изменения»
Позитивные изменения. Том 2, № 3 (2022). Positive changes. Volume 2, Issue 3 (2022)
From A to B by a Proven Route: Theory of Change as a Tool for Impact Planning and Evaluation
Ivan Smekalin
DOI 10.55140/2782–5817–2022–2–3–46–55
The theory of change became the mainstream for international development projects in the 1990s. The popularity of this design and evaluation tool in Russia is gradually growing. Its key value is a paradigm shift with respect to social change projects. Theory of change looks at causal mechanisms in achieving social outcomes through chosen actions. Read our article to find out how to make a project more reasonable and understandable for investors and implementers thanks to the theory of change.
Ivan Smekalin
Analyst, Positive Changes Factory
CONCEPTUALIZING THE CONCEPT: WHAT EXACTLY IS A THEORY OF CHANGE?
The theory of change as a concept emerged from the discussion of theoretically grounded practices of project evaluation. This methodology is inspired by the theory of social change as a grounded critical intervention in reality based on the principles of dialogue and equality. As defined by Ringhofer and Kohlweg: “Theory of change is a methodology for planning, management and evaluation of development projects and positive social change.” (Ringhofer & Kohlweg, 2019)
Theory of change as a methodology inherits as its principles a focus on development and empowerment in social change projects (Ibid). Key components of a theory of change include a description of social change, a set of activities to achieve the change, a description of immediate and intermediate effects, and conditions and assumptions for achieving the final impact.
Developed as a standalone methodology in the 1990s, theory of change has now become mainstream in the field of international development projects. Its key value is a paradigm shift with respect to social change projects. Up until the late 1990s, projects used to operate following the “black box” principle: resources and activities are fed into the system as inputs, and social results are achieved at the output in an unknown manner. The theory of change “unpacks” the black box and looks at causal mechanisms in achieving social outcomes through chosen actions. This makes the project more substantiated and more explicit in its content, and therefore more understandable to investors and implementers.
RELATED CONCEPTS: WHAT SIMILAR TOOLS EXIST
Along with the theory of change, there are a number of other tools that are occasionally presented as theory of change.
• A theory of change is a narrative description, usually accompanied by a graphic or visual breakdown of how and why a goal or result is expected to be achieved in a particular context. It establishes causal relationships between the elements of the project: what specific results can be expected if the activities are performed and the assumptions are correct.
• A logic model is a graphical or visual representation of a theory of change that illustrates the relationship between what a project will do and what it hopes to achieve.
• Logical framework (LogFrame) is a type of logic model presented in a table format that provides a simplified description of how the project should function, following the format of a linear chain of causes and effects.
It is worth noting that the theory of change is not just a table or a flowchart, but a narrative text describing not only causal relationships from activities to results, but also indicating the prerequisites that need to be met in order to meet the assumptions about these or those relationships. The theory of change is characterized by a non-linear structure and the recognition that the success of a project depends not only on its implementers, but is also determined by other factors that need to be considered as well as the activities within the project.
RUSSIAN EXPERIENCE IN THE USE OF THEORY OF CHANGE
An overview of the Russian experience related to the use of theory of change should begin with a story about the expert note “Application of the Theory of Change for Strategic Audit and Strategic Planning in Russia” by the Center for Advanced Management Solutions and the Accounts Chamber of the Russian Federation. An article by Maria Shklyaruk, General Director of the Center, published in Rossiyskaya Gazeta, describes the specifics of the first steps towards the use of theory of change at the federal level – this tool is being introduced as a way to link strategic goals and a list of activities needed to achieve those goals, with a separate focus on the socio-economic effect being achieved. The work cites, among others, an academic article by Carol Weiss, who is considered the author of the term “theory of change”, with a thesis that achieving social and economic effects requires a reasonable assumption about the implementation mechanisms (Shklyaruk, 2020).
By now the expert note of this collective of authors (Kim, Kopytok, 2020) seems to be the most reasonable and structured adaptation of the theory of change for the Russian context – at least for use in planning state programs. It is accompanied by practical examples of public administration, for example, the problem tree of a social contract project aimed at assisting job seekers. The tree “branches” go from a high-level problem, such as a high level of poverty, down to the specific causes of the problem – say, ineffectiveness of the traditional social support measures for a number of social groups. A very important observation is made in the paragraph on measuring performance in the absence of the necessary data: here the authors spell out the strongest advantage of the theory of change approach to assessing change, which is that having a reasonable assumption about cause-and-effect relationships fills evidentiary gaps.
The theory of change is characterized by a non-linear structure and the recognition that the success of a project depends not only on its implementers, but is also determined by other factors.
An example of the use of theory of change in Russia outside the public sector, which received wide coverage due to its mention in the first Russian-language manual on the topic, is the theory of change developed in 2010–2011 by the Victoria Children Foundation (Kuzmin, Kosheleva, 2014). The case is often referred to in a variety of workshops on developing a theory of change, such as webinars by Evolution and Philanthropy, Skolkovo Moscow School of Management: they emphasize the structure of the theory of change, pointing out the importance of formulating assumptions/ conditions and mapping results in reverse order. It is worth noting that in the Russian experience the theory of change is not substituted with a logical framework. Also, various Russian interpretations of this concept, which quote the Victoria Children Foundation as reference, contain the same set of elements of the theory of change: inputs, activities, outputs, outcomes, impact.
The principles of theory of change are also used in the Standard for Evidence-Based Social Practices in Childhood, developed with support from the Timchenko Foundation, the Center for Evidence-Based Social Design at Moscow State University of Psychology and Pedagogy, and the Presidential Grants Fund. The importance of these principles is that they show the indispensability of the theory of change for assessing social impact. In order to evaluate a project, it is necessary to have a prescribed theory of change in order to formulate the subject of measurement. A sociological article on subjective well-being change points out that the theory of change, which specifies activities and a chain of social outcomes (Archakova & Garifulina, 2020), is used to define “well-being.” It was noted earlier that the concept of well-being is key to measurement because it allows the involvement of target groups and positive changes in well-being are the ultimate goal of any social projects.
Some grantmaking organizations are implementing the theory of change into their practice of submitting grant proposals, accompanied by educational programs.
Moreover, the monitoring and evaluation tools described in the standard, which involve a variety of data from different sources, can be included in the project at the planning stage, and the easiest way to do this is to correlate elements of the theory of change to their corresponding indicators and research methods. As the aforementioned authors write, theory of change helps operationalize the concept being measured, which allows us to formulate the means of evaluation.
The popularity of the theory of change as a design and evaluation tool in Russia is growing gradually. Some grantmaking organizations, such as the Toward Change Foundation and The Way Home Foundation, are implementing the theory of change into their practice of submitting grant proposals, accompanied by educational programs that allow applicants to become familiar with this tool of project work.
However, there is no widespread practice of implementation yet. In particular, as a study of foreign and Russian experience in evaluating NGO project activities shows[32], the Presidential Grants Fund, which is currently the largest entity financing social projects in the country, does not yet see the prospects and opportunities for introducing the theory of change, as well as requirements to evaluate social effects and impact for its grantees, believing that it would significantly complicate the procedure for issuing and receiving grants. In general, the application of the theory of change in Russia at this stage is an exception, rather than a general standard or rule. This is largely due to the labor intensity of its implementation, including the lack of appropriate digital tools to simplify the task, as well as the general lack of information on the terms and procedures for developing a theory of change. It is worth noting that the first methodological handbook on developing a theory of change in Russian was not published until 2021.
In general, the application of the theory of change in Russia at this stage is an exception, rather than a general standard or rule. This is largely due to the labor intensity of its implementation.
Interestingly, in a collection of English-language articles on the use of the theory of change in world practice, this approach is characterized as “trendy, over-used… methodology” (Vun, 2021). This vividly demonstrates the gap in approaches used in social change projects. On the one hand, catch-up development makes it possible to avoid the problems of growth: late introduction of the technology makes it possible to avoid the mistakes of an earlier version. Such errors in the context of the theory of change include the lack of implementation of monitoring and evaluation practices, as well as the lack of involvement of the affected players. On the other hand, years and even decades have passed since the weaknesses of the methodology have been addressed, and the use of the methodology in Russia remains at an initial level without any counterpart being present.
STRUCTURE OF THE THEORY OF CHANGE: AN EXAMPLE OF THE THEORY OF POSITIVE CHANGE
Based on the reviewed sources, it is possible to isolate the unchangeable elements of the theory of change and add to them the elements of assessment and involvement, adapted to the Russian context. This is how the “Theory of Positive Change” developed by the Factory[33] came about, which can be distinguished from other approaches to creating a theory of change. The advantage of this approach is that it emphasizes the conditions and assumptions, which results in a theory of change rather than a logical model. Indicators of elements in the results map are an indispensable element of the Theory of Positive Change: not only do they allow you to clarify the subject of social change, but also to build the necessary channels of communication with target audiences, which is necessary for their involvement. Complementing the traditional approach, the Theory of Positive Change includes two additional blocks for calculating the index of evidence and the index of validity. The first indicates the properties of the monitoring and evaluation model, the second describes the sources of justification for judgments about the planned changes. In addition, the model is supplemented by economic calculations – current liquidity, financial stability and profitability of sales for projects that involve a mechanism of financial sustainability through the sale of goods/services (i.e. social entrepreneurship).
The phrase “positive change” in the name of the approach refers to the notion of impact as a social change resulting from a development project. The Theory of Positive Change uses accepted vocabulary in Russia (for example, from the Presidential Grants Fund’s Grant Application Rules[34] and the aforementioned Standard for Evidence-Based Social Practices) and constructs it as elements of Theory of Positive Change, which are taken in particular from the manual “Theory of Change in Ten Steps” by James Noble (2019) and publications by John Mayne (2006). Currently, the Theory of Positive Change is included in the model for evaluating social enterprise projects, which is planned for implementation by the Social Projects Support Fund, a federal structure that develops the environment for social projects and social entrepreneurship in Russia.
The Theory of Positive Change consists of two blocks. The first is a problem tree describing the current situation, the target audience, and the target audience’s problem in the context of the situation that requires positive change. The second block is a positive change map – an outline of project results, aligned with the chain of social results from activities through outcomes and effects toward the social impact as the final destination point.
PROBLEM TREE
• The situation is characterized by objective indicators based on verified data sources, specifying geographic and temporal dimensions.
• Target audiences are described similarly, with specific characteristics and qualities that make that audience special. As stakeholder engagement practices, a communication channel should be prescribed to gather feedback for each target audience – this is important for defining project goals, visualize impact, and social change indicators.
• A problem is a part of reality that is to be changed by the project, which is formulated as detailed definition of the project framework (temporal, geographical and socio-demographic).
• The causes of the problem are the link between the problem and the social effects that the project is supposed to achieve. The problem is assumed to be a sufficiently abstract category, which can be detailed through the consideration of its causes to be addressed.
POSITIVE CHANGE MAP
The Positive Change Map consists of a bottom-up chain of results that will positively change the problem situation and a specific part of the target audience’s life.
Each link in the chain of results, as required by the standard for evidence-based social practices, is accompanied by indicators – an objective indicator of the degree of achievement of the stated goal. Transitions from outcomes to social effects and from social effects to social impact require justification – what specific materials justify the assumption that causality works in this specific way. Conditions and assumptions are also a must for every element of the positive change map. They describe under what circumstances the specified causal relationship is assumed.
• An activity is the very beginning of the social impact chain, what the project does, its activities.
• Immediate results are what the activity is aimed at. It is worth noting that performing an activity is not in itself a result. Conducting an event is not the result of the event, but simply an indicator of the activity. The results are the new qualities acquired by the target audience as a result of the activity.
• Social effects are the short- and medium-term effects of results given the conditions and prerequisites are met, lasting changes in the lives of target audiences.
• Impact is the long-term effects of social effects given the conditions and prerequisites are met. It is the connection between the project and the problem posed – what exactly the project contributes to solving it, how that contribution is measured, and what proves that it can happen.
The outcome of the Theory of Positive Change is a coherent map of results aimed at solving problems and their causes from the problem tree, with the respective indicators, rationales for logical relationships, and causal assumptions. A logical framework for the Theory of Positive Change methodology is presented below.
By the end of 2022, the Theory of Positive Change developed by the Factory will be available as an open online tool, enabling more projects to plan and evaluate social impact.
CONCLUSION
The theory of change is a tool for developing and managing positive social change projects. The methodology, first mentioned in 1997, according to its own principles, is in the process of continuous development. Over the past 20 years, the project documentation on the theory of change model has become a mandatory requirement for both impact investment and systematic evaluation of the social results achieved. In Russia, theory of change is just starting to be implemented and used as a basis for social impact. The Theory of Positive Change is presented as one of the steps toward the implementation of the theory of change methodology in Russia. An important factor in the dissemination of this tool, in our opinion, will be the creation of an easily accessible and convenient online tool for completing and visualizing the path from A to B – towards achieving greater impact of the project.
REFERENCES
1. Ringhofer, L., Kohlweg, K. (2019). Has the Theory of Change established itself as the better alternative to the Logical Framework Approach in development cooperation programmes? Progress in Development Studies, 19(2), 112–122. https://doi.org/10.1177/1464993418822882.
2. Archakova, T, Garifulina, E. (2020). Measuring Children’s Subjective Well-Being in Russia: Local Practices and Federal Strategies. Monitoring of Public Opinion: Economic and Social Changes, 1, 276–295. https://doi.org/10.14515/monitoring.2020.1.11.
3. Vun, G. (2021). Analysing the Credibility of Theories of Change. In Theories of Change, 41–49. Springer, Cham. https://doi.org/10.1007/978–3–030–52275–9_3.
4. Noble, J. (2019). Theory of change in ten steps. London: New Philanthropy Capital. Retrieved from https://www.thinknpc.org/resource-hub/ten-steps (accessed: 21.09.2022).
5. Noble, J. (2021). Theory of Change in Ten Steps. Gladway Foundation. Retrieved from: https://impact.ngo.ru/library/view/51 (accessed: 21.09.2022).
6. Mayne, J., Rist, R. (2006). Studies are not enough: The necessary transformation of evaluation. The Canadian Journal of Program Evaluation, 21(3), 93.
7. Shklyaruk, M. (2020). Application of Theory of Change to Accelerate the Implementation of Development Strategies in the Russian Federation. Rossiyskaya Gazeta. Retrieved from: https://rg.ru/2020/06/11/primenenie-teorii-izmenenij-uskorit-realizaciiu-strategij.html (accessed: 21.09.2022). (In Russian).
8. Kim, A., Kopytok, V., Filippova, Yu., Tsygankov, M. (2020) Application of Theory of Change to Strategic Audit and Strategic Planning in Russia. Moscow: Accounts Chamber of the Russian Federation, Center for Advanced Management Solutions. Retrieved from: https://ach.gov.ru/news/kak-ispolzovat-teoriyu-izmeneniy-dlya-strategicheskogo-audita (accessed: 21.09.2022) (In Russian).
9. Kuzmin, A., Kosheleva, N. (2014). Theory of Change: General Recommendations for Application (from the experience of the Victoria Children Foundation). Prospekt. Retrieved from: https://victoriacf.ru/wp-content/uploads/2012/12/909.pdf (accessed: 21.09.2022).
Исследования / Research Studies
«Одинокий волк» или эффективный бизнесмен? Сравнительный анализ образов социального предпринимателя в России, Казахстане и Беларуси
Наталья Гладких, Ольга Митина
DOI 10.55140/2782–5817–2022–2–3–56–69
Любое новое явление, приходя в нашу жизнь, проходит несколько стадий его принятия, понимания и интерпретации, постепенно обрастая операциональными смыслами – такими, которые отражают их применение в реальной жизни, в отличие от тех, которые указаны в словаре. Тем более сложно, когда эти явления относятся сразу к нескольким областям жизни и их множественным аудиториям – например, продавцы и покупатели, учителя и ученики, государство и бизнес, бизнес и НКО. Такая сложная судьба досталась и термину «социальное предпринимательство», в связи с чем поиск его операционального значения кажется важной и интересной задачей.
Наталья Гладких
Кандидат психологических наук, ведущий эксперт Центра технологических инноваций Института социально-экономического проектирования НИУ ВШЭ
Ольга Митина
Кандидат психологических наук, ведущий научный сотрудник Лаборатории «Психология общения» факультета психологии МГУ им. Ломоносова
В данной статье мы приводим результаты и методику исследования, которое было проведено еще в 2017 году. Оно было опубликовано в сокращенном виде на английском языке в сборнике, посвященном социальному предпринимательству в ряде регионов мира[35], но не публиковалось ранее в полном виде, с описанием всей методологии. Пойти на этот шаг мы решили после того, как обнаружили, что предыдущее наше исследование восприятия социальных предпринимателей, гораздо менее масштабное и выполненное по упрощенной методологии, включавшее только два региона (Россию и Казахстан), послужило началом плеяды других исследований, сделанных по данной методологии, с возможностью сравнения регионов между собой, образов в динамике и т. п.[36]
Таким образом, мы, во-первых, хотели бы показать возможности применения расширенной методологии в исследованиях образа социального предпринимательства, основанной на психосемантике. Во-вторых, нам кажется важным дать современным исследователям возможность проведения ретроспективных сравнений, опираясь на эти данные из прошлого, изменений в текущем и будущих образах социальных предпринимателей в указанных регионах. И последнее, кажется, что пытливый исследователь может увидеть в полученных результатах и предикторы текущей ситуации, связанной с развитием социального предпринимательства в странах СНГ, что дает возможность и некоторого прогнозирования.
Актуальность дискуссии, связанной с образом социального предпринимателя, стала особенно высока в России в связи с недавним законодательным закреплением термина социального предпринимательства. Теперь к социальным предприятиям по закону нельзя отнести, например, некоммерческие организации, которым, при этом, другим законом не запрещена продажа товаров или услуг (например, в случае АНО).
Все эти изменения, безусловно, оказывают влияние и на то, что остается в итоге в сознании разных аудиторий, представителей разных стран, когда они слышат это загадочное (и для некоторых противоречивое по своей сути) словосочетание «социальное предпринимательство».
ОБРАЗ СОЦИАЛЬНОГО ПРЕДПРИНИМАТЕЛЯ КАК ОБЪЕКТ ИССЛЕДОВАНИЯ
Мы можем определить образ социального предпринимателя как сложный набор характеристик, который включает его ценности, стиль мышления, конкретные действия, а также характер этих действий (Брунер, Дж. & Тагиури, Р., 1954). В отличие от авторитета или репутации, которые в большей степени формируются на когнитивном уровне, образ складывается скорее на основе эмоционального восприятия, а не на анализе. Это восприятие может даже не подчиняться законам логики, а формироваться, скорее, на бессознательном уровне.
Понимание образа как социального представления (Московичи, 1981) позволяет нам разработать адекватную методологию для изучения формирования и динамики его характеристик, которые являются результатом долговременного воздействия, значительных преобразований. Этот набор характеристик, с одной стороны, является очень стабильным, но с другой – постоянно усиливается и изменяется в процессе социальных взаимодействий, адаптируясь к требованиям конкретной ситуации.
Компаративный анализ ментальных моделей восприятия социального предпринимательства в России и Казахстане. Экономические отношения, 9(1), 107–122.
Образ социального предпринимателя является многомерной характеристикой. Мы можем его охарактеризовать, как минимум, в призме двух измерений: социального вклада, способности решать социальные проблемы, а также его предпринимательского потенциала – финансовой устойчивости его предприятия, профессионализма как лидера, конкурентоспособности, вклада в экономическое развитие. Другой шкалой может быть зависимость от внешних ресурсов – необходимость в государственной поддержке и других видах источников. Еще одним важным аспектом является инновация, поскольку эта характеристика является одной из самых значимых в словаре определений социального предпринимательства. Соответствует ли эта характеристика образу социального предпринимателя в жизненных реалиях? Важно отметить, что образ социального предпринимателя не должен быть усложнен и перегружен характеристиками или параметрами. Он должен быть легким для понимания, в соответствии с преобладающими взглядами населения.
Данное исследование направлено на выявление ключевых характеристик образа социального предпринимателя в России, Казахстане и Беларуси, а также на определение различий между ними в каждой из этих стран.
Чтобы провести сравнительный анализ образов, мы используем психосемантический подход. Психосемантические методы эффективны при исследовании представления людей в отношении какого-либо объекта. В частности, для воссоздания системы категорий, которые используются в общественном сознании, для определения восприятия социальных предпринимателей. Методы многомерной оценки, разработанные в рамках психосемантики, позволяют дифференцировать картину восприятия образа социального предпринимателя как в собственной стране, так и в других странах. Образы оцениваются респондентами по основным факторам, которые отражают диапазон наиболее важных характеристик, включая социальный эффект, финансовую стабильность, мотивационные характеристики, зависимость от внешних ресурсов и другие.
Этот подход имеет долгую историю внедрения в область исследования политической психологии (в частности, для описания образов политических лидеров, стран, исследователей по гендерным вопросам и многих других). Он также активно используется в этнопсихологии, психологии общественного общения, психологии искусств (Петренко, Митина & Бердников, 2002; Петренко & Митина, 2000; Петренко, 2005).
МЕТОДОЛОГИЯ ИССЛЕДОВАНИЯ
Экспериментальная психосемантика – относительно новая область российской психологии. Этот подход использует методологию построения субъективных семантических пространств в качестве операционных моделей категориальных структур индивидуального и общественного сознания и намерен воссоздать образ мира в различных областях человеческой жизни. Задача психосемантики включает в себя воссоздание индивидуальной системы значений, через которую субъект воспринимает мир, других людей, себя, генезис, а также системное функционирование всех этих объектов.
Экспериментальная парадигма психосемантики происходит от метода построения семантических пространств Ч. Осгуда (Osgood, C. E., Suci, G. J., & Tannenbaum, P. H., 1957) (семантический дифференциал) и психологии личных конструктов Келли (техника репертуарных решеток) (Kelly, G. 1955). Она включает в себя многомерные статистические методы для выявления категориальной структуры сознания субъекта. Русская психосемантика основана на методологической основе школ Л. Выготского, А. Леонтьева, А. Лурии, С. Рубинштейна и связана с проблемой формирования повседневного общественного сознания. Психосемантика, будучи психологической дисциплиной, тем не менее, имеет четкий междисциплинарный характер, связанный с философией и социологией.
Специфика психосемантического подхода заключается в том, что в его основе лежит анализ категориальных структур сознания, а также формирование системы смыслов, через которые субъект воспринимает мир. Субъект классифицирует что-либо, оценивает или масштабирует вещи, выносит суждения о сходстве и различии объектов и т. д. Выявленные структуры, присущие матрице данных, интерпретируются как категориальные структуры сознания субъекта. Применение методов многомерной статистики позволяет выявлять эти структуры и способствует их дальнейшей интерпретации. Например, факторный анализ позволяет выявить «пучки» взаимосвязанных признаков, конструкций и, таким образом, свести исходную основу дескриптивных признаков к определенным обобщенным категориям – факторам, составляющим координатные оси семантического пространства. Факторные нагрузки каждой описательной характеристики показывают степень, в которой данный входящий в него аспект выражается в этом признаке и геометрически соответствует его проекции на ось факторов. С математической точки зрения построение семантического пространства означает сокращение больших размеров (черты, масштабы, дескрипторы) до более мелких, сформированных по категориям факторов. Семантически факторные категории представляют собой определенный мета язык, который необходим для описания значений, поэтому семантические пространства позволяют распределять значения на фиксированный алфавит факторных категорий, выполнять семантический анализ этих значений, делать суждения об их сходстве или различии, а также проводить расчет семантической близости между различными значениями путем вычисления расстояния между соответствующими координатными точками в n-мерном пространстве.
Чтобы использовать психосемантический подход к формированию образа социального предпринимателя, мы разработали список из 38 характеристик[37]. Эти характеристики были представлены в качестве высказываний. Например, «Полагает, что в развитии стоит ориентироваться на помощь своего государства», «Конкурентоспособен», «Предлагает инновационное решение социальной проблемы», «Его сложно назвать счастливым человеком» и т. д. Респондентам было предложено оценить список объектов по каждому утверждению по шкале от 1 до 5. В список объектов для оценки включены 4 пункта для каждой страны:
