How can we measure the impact of citizen media? / ¿Cómo podemos medir el impacto de los medios ciudadanos?

Cliquee acá para acceder al texto en español

Lova RakotomalalaLova Rakotomalala will be speaking at the Summit in a session on Measuring the Impacts of Grassroots Citizen Media in Developing Countries. These are his preliminary notes.

Grassroots citizen media is often identified as an instrument of social change, but there are also many examples of citizen media failing to meet promises.

Can we confidently say where and whom citizen media really impacts?

In the following post, I will present thoughts from my personal experience with a project in Madagascar and a few suggestions for how one could go about evaluating individual citizen media projects:

Defining the goals of a participatory media project:

The Foko-Madagascar group blogging project was set up to highlight and share on the world wide web, what associations in Madagascar were doing to affect positive social and environmental change in many Malagasy disenfranchised communities. Unfortunately, a political crisis changed the context of our work and many of the trained bloggers turned their focus to documenting the violence and political evolution of the country. Especially because mainstream media was somewhat restrained by the political context.

My  point is that participatory media projects should have a clearly defined mission, even if it is tweaked later. Here are a few examples of objectives that citizen media projects have advocated for:

- Election monitoring (Sudan)
-Health (Kenya)
-Democracy (Zimbabwe)
-Womens Empowerment (Yemen)
-Cultural Identity (Bolivia)
-Monitoring governance (India) and transparency (Brazil).
- Environment (Mongolia)

As it was the case for Foko, the objective might temporarily change (because, well, coup d'états happen) but the objective will ultimately drive the evaluation of the project by the both project leaders and funders. The objective also helps determine who the project will reach out to for contributions and readership.

Target audience:

The impact of all grassroots citizen media is highly dependent on how large of an audience it can reach. This is especially salient when it comes to projects that advocate for democracy, transparency or human rights. Having a voice in the court of international opinion is still the simplest way to oppose or denounce an authoritarian regime that strives to control the information originating from a country. Accordingly, it is usually beneficial to make content available in different languages and reaching out to international media outlets. Citizen media are by definition participatory so it is also critical to grow an audience and engage with 1) local citizens so that they can validate the published content as well as 2) experts in the projects’ fields of interest so  they can provide insights and critiques.

Context and baseline:

The context in which a project takes place is critical for evaluating true impact. Whether the contributions stem from the heart of Silicon Valley or from the depth of a tropical forest will be a determining factor in whether a project will generate a multitude of updates and comments. Therefore it is important to establish a baseline with respect to internet access, usage and data flow rate (including possible censorship and cultural acceptance of individual expression).

Monitoring and outcome measurements:

In a previous post on my own blog, I proposed a few ideas for evaluating a blogging outreach project. Those suggestions were mostly intuitive, but a more rigorous approach to evaluation might be required for academic or funding purposes.

Random assignment is a gold standard study design for impact evaluation. With random assignment, the evaluators select randomly from a group of communities who are exposed to the effect of citizen media. Another group is used as control (no exposure to citizen media). By establishing two groups that are basically equivalent except for exposure to citizen media, the evaluators can begin to identify the effect and eliminate any other factors that could influence the evaluation (socio-economic status, access to telecommunication etc.). The randomization process would have to be applied to communities rather than individuals because media training cannot be selectively provided within a community.

An alternative idea for a study would be to conduct a “pre-post study” with the beginning of the project as the first point of measurement. This would require collecting data on the use of blogging and ICTs in a region before a project and contrasting it with data collected later. This method might not be as rigorous as random assignment because other factors could affect the data.

Measurable outcomes could  be: 1) quantitative or qualitative data; 2) direct impact on internet traffic or indirect societal impact; 3) Internal and external effects.

Quantitative data:

1) Contributors’ satisfaction and internal dynamism: blogging rate, number of internal commenting/trackbacks, back links from other members, sustained blogging activity.
2) External audience/exposure: Number of outside clicks and links.
3) Societal impact: Various depending on objective: legislative change because of advocacy, quantifiable behavioral change for environmental or health advocacy (slash and burn reduction, less smoking, less censorship etc..), number of fraud reports in elections, number of human rights violations reports etc.

Qualitative data:

1) interviews with bloggers about their experience,
2) reviews of the project by other media outlets
3) quality/relevance of content on the platform.
4) authenticity of the articles.
5) civic engagement

How often should monitoring and evaluation be conducted:

One of the appeals of participatory media for citizens is that it is solely driven by their own motivation. Therefore, I believe it would be nonconstructive to impose strict deadlines on publication of content. However, project leaders can encourage regular content production by reacting often to new postings.

Final thoughts for discussion:

1) Although the political crisis is still ongoing in Madagascar, the Foko project has mostly returned to its initial purpose. Children tree-planting activities led by renown Malagasy artist Razia Said have recently been documented in Alasoara; reinsertion programs for HIV + people and disenfranchised adolescents in Fianaratsoa have resumed; and ICT for development workshops have taken place in the capital city. However the seeds of civic engagement and participation have been planted and the Malagasy citizen media is getting ready to help oversee the scheduled national elections in May with the local Ushahidi platform.

2) An interesting conference called Failfare will discuss lessons learned from failed experiences in the field of mobile information technology. An intriguing experiment in the evaluation of citizen media initiatives.

3) In the book Making Democracy Work: Civic Traditions in Modern Italy, Robert D. Putnam argues that the success of democracies depends in large part on the horizontal bonds that make up social capital. I would argue that grassroots citizen media is a quintessential facilitator of bonds and social capital.

¿Cómo podemos medir el impacto de los medios ciudadanos?

Lova RakotomalalaLova Rakotomalala estará hablando en la Cumbre en la sesión Midiendo el Impacto de los Medios Ciudadanos de Base en los Países en Vías de Desarrollo. Estas son las notas preliminares.

Los medios ciudadanos de base son usualmente identificados como instrumentos para el cambio social, pero existen muchos ejemplos de periodismo ciudadano fallando a sus promesas.

¿Podemos decir con confianza dónde y en quienes impacta el periodismo ciudadano?

En el siguiente post, presentaré pensamientos de mi propia experiencia con un proyecto en Madagascar y unas pocas sugerencias sobre cómo uno puede evaluar los proyectos individuales de periodismo ciudadano:

Definiendo las metas de un proyecto de periodismo ciudadano participativo:

El proyecto de grupo de blogging Foko-Madagascar fue iniciado para destacar y compartir en la world wide web, qué estaban haciendo las asociaciones en Madagascar para afectar positivamente la sociedad y el cambio ambiental en muchas de las comunidades malagaches privadas de su derecho al voto.

Desafortunadamente, una crisis política cambió el contexto de nuestro trabajo y muchos de los bloggers entrenados pusieron el foco en documentar la evolución de la violencia y la política en el país. Especialmente porque los medios masivos estaban constreñidos por el contexto político.

Mi punto es que los proyectos de periodismo participativo deberían tener una misión clara y definida, aún si esta es corregida más tarde. Aquí hay algunos ejemplos de los objetivos que el periodismo ciudadano ha defendido:

- Monitoreo de Elecciones (Sudan)

-Salud (Kenia)

-Democracia (Zimbabwe)

-Empoderamiento de Mujeres (Yemen)

-Identidad Cultural (Bolivia)

-Monitoreo del Gobierno (India) y transparencia (Brasil)

-Medioambiente (Mongolia)

Como sucedió con Foko, el objetivo puede cambiar temporalmente (porque, bueno, los coup d'états suceden) pero el objetivo conducirá a la evaluación del proyecto por parte de sus líderes y donantes. El objetivo también ayuda a determinar a quienes alcanzará el proyecto en contribuciones y lectores.

Audiencia objetivo:

El impacto del periodismo ciudadano de base dependerá en gran medida de cuán larga sea la audiencia que puede alcanzar. Esto es especialmente verdadero cuando se refieren a proyectos que abogan por la democracia, transparencia o los derechos humanos. Tener una voz en la corte de la opinión internacional sigue siendo la manera más simple de oponerse o denunciar un régimen autoritario que se esfuerza por controlar la información que se origina en el país. En consecuencia, suele resultar beneficioso traducir el contenido para que esté disponible en varios idiomas y que alcance los medios de comunicación internacionales. Los medios ciudadanos son, por definición, participativos, por lo que es crítico construir una audiencia y comprometerse con 1) ciudadanos locales para que puedan validar el contenido publicado, así como también con 2) expertos en las áreas de los proyectos de interés, para que puedan proveer ideas y críticas.

Contexto e hipótesis de partida:

El contexto en el que un proyecto se desarrolla es crítico para evaluar su impacto verdadero. Tanto si las contribuciones provienen del corazón de Silicon Valley o de la profundidad de un bosque tropical, será un factor determinante en si el proyecto generará una multitud de actualizaciones y comentarios. Por lo tanto, es importante establecer una hipótesis de partida respecto al acceso a Internet, usos y tasa de flujo de información (incluyendo posibles censuras y aceptación cultural de la expresión individual).

Monitoreo y mediciones de los resultados:

En un post previo de mi blog, propuse algunas ideas para evaluar los alcances de un proyecto de blogging. Esas sugerencias eran mayoritariamente intuitivas, pero un acercamiento más riguroso podría ser requerido para fines académicos o de donaciones.

La asignación aleatoria es un criterio de referencia para la evaluación de impacto. Con la asignación aleatoria, los evaluadores seleccionan aleatoriamente entre un grupo de comunidades que han estado expuestas a los efectos de los medios ciudadanos. Otro grupo es usado como control (sin exposición a los medios ciudadanos). Estableciendo que los dos grupos son básicamente iguales, excepto por su exposición a los medios ciudadanos, los evaluadores pueden comenzar a identificar los efectos y eliminar cualquier otro factor que pueda influir en la evaluación (status socioeconómico, acceso a las telecomunicaciones, etc). El proceso aleatorio debe ser aplicado a comunidades más que a individuos ya que el entrenamiento en medios no puede ser proveído selectivamente dentro de una comunidad.

Una idea alternativa para el estudio podría ser conducir un “estudio pre-post”, con el principio del proyecto como punto de referencia. Esto requeriría recoger información sobre el uso del blogging y las TICs en una región antes del proyecto, y constrastarla con la información recolectada posteriormente. Este método puede no ser tan riguroso como la asignación aleatoria porque otros factores pueden alterar la información

Los resultados medibles pueden ser: 1) Información cualitativa o cuantitativa; 2) impacto directo en el tráfico de Internet o impacto social indirecto; 3) Efectos internos y externos.

Información Cuantitativa:

1) Satisfacción de los contribuidores y dinamismo interno: tasa de blogging, numero de comentarios internos/trackback, back links de otros miembros, actividad de blogs sostenida.

2) Audiencia externa/exposición: Cantidad de clics y links provenientes de afuera.

3) Impacto Social: Varios, dependiendo del objetivo: cambio legislativo a causa de la defensoría, cambio comportamental cuantificable sobre defensoría en medioambiente o salud (reducción en la quema y tala, reducción de fumadores, menor censura, etc) número de fraudes reportados en elecciones, número de reportes de las violaciones de derechos humanos, etc.

Información Cualitativa:

1)      entrevistas con bloggers sobre sus experiencias

2)      críticas de los proyectos de otros medios de comunicación

3)      calidad/relevancia del contenido en la plataforma

4)      autenticidad de los artículos

5)      compromiso cívico

¿Cada cuánto se debe realizar el monitoreo y la evaluación?

Uno de los atractivos de los medios participativos para los ciudadanos es que están completamente conducidos por sus propias motivaciones. Por lo tanto, creo que no sería constructivo imponer fechas límites estrictas para la publicación de contenido. De todos modos los líderes del proyecto pueden promover la producción regular de contenido reaccionando ante los nuevos posteos.

Ideas finales para la discusión:

1) A pesar que la crisis política aún continúa en Madagascar, el proyecto Foko ha vuelto mayoritariamente a su propósito inicial. Actividades donde los niños plantan árboles, dirigidas por el renombrado artista malayo Razia Said fueron recientemente documentadas en Alasoara; los programas de reinserción para personas HIV+ y adolescentes privados del derecho a voto en Fianaratsoa han sido reiniciados y se han llevado a cabo talleres de TIC para el desarrollo en la ciudad capital.

De todos modos, las semillas del compromiso cívico y la participación han sido plantadas y los medios ciudadanos malgaches están listos para ayudar a supervisar las elecciones planificadas para Mayo, con la plataforma local Ushahidi.

2) Una interesante conferencia llamada Failfare discutirá las lecciones aprendidas de las experiencias fallidas en el terreno de la tecnología móvil de información. Un experimento fascinante de evaluación de iniciativas de medios ciudadanos.

3) En el libro Haciendo Trabajar a la Democracia: Tradiciones en la Italia Moderna, Robert D. Putnam argumenta que el éxito de las democracias dependerá en gran parte de los lazos horizontales que componen el capital social. Yo podría argumentar que los medios ciudadanos de base son la quintaesencia que facilita la unión de los lazos y el capital social.

Post traducido por Juan Pablo Schneider.

3 comments

  • Lova,

    Great post, I’m really looking forward to this session.

    I think #3 under quantitative data is a HUGE topic (both in scope and importance). It also raises important measurement questions for citizen media proponents: is it enough for a project to get more people expressing themselves, or does success really mean influencing tangible policy change? Does participation in a social media project automatically lead to greater civic engagement? What actual influence do citizen media projects have on decision makers?

    See you next month!

    See

  • Hi Catherine,

    Thank you. You hit the nail on the head because this is part that I hope to develop with more details and numbers at the session ( at least from the data I have access to). I tend to believe that one of the difference between citizen media and professional media is that the ultimate goal of a grassroots project is to eventually initiate some kind of social change (as narrow or minute as it may be). That is why they usually don’t have to worry as much about absolute traffic or keeping up with the news cycle. However, other variables like the type of back links and authenticity of content would carry a larger significance.
    Looking forward to meeting you at the Summit.

  • […] This is where the “impact evaluation” rubber hits the road. For any projects that participate in a commercial sphere, the metrics are taking shape, logically enough, around the principles of commerce. It's now easy to measure web traffic, clicks, and sales.  It's hard — if not impossible — to measure “democratization.” I think Lova Rakatomalala has made some terrific points about qualitative and quantitative approaches to impact evaluation in his post. […]

Join the conversation

Authors, please log in »

Guidelines

  • Please treat others with respect. Comments containing hate speech, obscenity, and personal attacks will not be approved.