Mtro. y C.P. Fernando Vera Smith
Vocal de la Academia Mexicana de Auditoría Integral y al Desempeño, A.C.

El propósito de este artículo es presentar las principales características, utilidades y limitaciones de los indicadores de impacto en cualquier programa, proceso, institución o política, para que nuestros directivos o gobernantes los utilicen, tanto en la planeación como en el control y en la rendición de cuentas de las responsabilidades que han asumido.

Un elemento de inestimable valor para la toma de decisiones, lo constituye, sin duda, la evaluación de los resultados de los programas o proyectos sobre la base de indicadores capaces de reflejar su impacto en la economía y la sociedad.

Hoy más que nunca, los accionistas, clientes, usuarios, patrocinadores, y público en general reclaman a sus gobernantes, administradores o representantes una adecuada rendición de cuentas que no se limite a informar sólo acerca de los recursos consumidos, actividades realizadas o bienes y servicios producidos, sino que permita conocer los beneficios que se proporcionan a todas las partes interesadas.

Nuestro país requiere de un sistema capaz de brindar información cualitativa y cuantitativa para tomar decisiones estratégicas, orientar los escasos recursos existentes, dar seguimiento a los compromisos contraídos y rendir cuentas.

En la rendición de cuentas de las organizaciones, tanto públicas como privadas, uno de los problemas que se presentan es que los directivos o gobernantes consideran que basta con proporcionar bienes y servicios para cumplir con su responsabilidad.

En cambio, otros consideran que los programas o proyectos que les han sido confiados tienen consecuencias a corto, mediano y largo plazo, como los esfuerzos en investigación y desarrollo, capacitación y clima laboral, por citar sólo algunos ejemplos, pero la medición de ese impacto reviste un alto grado de dificultad, por lo que no se abocan a enfrentar esta problemática.

En las empresas del sector privado, se han venido tratando temas como: la retención de clientes, la participación de mercado y las razones financieras; sin embargo, faltan otros como los relativos al desarrollo sustentable, responsabilidad social y capital intelectual.

Por su parte, en el sector público, los informes “de rendición de cuentas”, tradicionalmente, han consistido en la descripción de actividades realizadas y recursos consumidos, refiriéndose en contadas ocasiones a los efectos logrados, al mencionar casos de atención específica, por ejemplo, el de maestros capacitados o alumnos atendidos, pero sin señalar la cobertura de la población atendida y el impacto de esas acciones en las condiciones generales de la sociedad.

El impacto es crítico en la ejecución de cualquier programa o proyecto. De nada sirve hacer un libro con recursos y tiempo reducido (eficiencia), si no es de calidad en su contenido y, aun así, de no existir gente interesada en su lectura, su utilidad se torna muy reducida. Situación similar que se presenta si su difusión (cobertura) es escasa.

El conocimiento del impacto lleva implícito el concepto de su medición, lo que conduce a determinar los indicadores más apropiados, ya sean cuantitativos o cualitativos.

Impactos, indicadores e indicadores de impacto

Para una mejor comprensión del concepto de impacto, a continuación se describen los términos relacionados con este concepto:

-* Impactos. Describen nuestro éxito, los resultados de nuestro programa y cómo se benefician los participantes, tanto en cantidad (cobertura) como en calidad (cambios logrados). El impacto se refleja en cambios en conocimientos, habilidades, actitudes, valores, conductas, condiciones o estatus de las personas o comunidades con las que trabajamos.
-* Indicadores. Por cada impacto, describen cómo se reconoce o mide el avance hacia las metas.
-* Indicadores de impacto. Las partidas específicas de información que rastrea el éxito o fracaso de un programa en un impacto:
-** Identifica la característica o cambio, el cual muestra que se ha alcanzado un impacto.
-** Es observable y medible.
-** De manera usual se expresa como una cantidad o porcentaje de participantes que logran el impacto.

Factores comunes que influyen en los impactos

La determinación de los impactos se ve afectada por algunos factores, ya sea por parte de los participantes como de otras circunstancias, siendo los más comunes:

-* Edad
-* Género
-* Raza/etnia
-* Ingreso/nivel socioeconómico
-* Tamaño o composición de la familia
-* Salud, incapacidades
-* Dificultades de la situación de los participantes
-* Localización geográfica
-* Cantidad de servicios proporcionados
-* Tiempo de duración del programa
-* Grupos o individuos a quienes se atienden

Dificultades en la medición de impactos

Como se puede observar, la medición de los impactos presenta algunas dificultades:

-* Participantes anónimos: servicios por teléfono o Internet.
-* Asistencia de corto plazo: cursos de capacitación.
-* Impactos a muy largo plazo: cambios culturales.
-* Respuestas no confiables de los participantes por diversos sesgos.
-* Impactos intangibles: capacitación en relaciones humanas o administración general.
-* Programas de mediación: intermediaciones, enlaces.
-* Actividades orientadas a toda la comunidad: actividades culturales.
-* Programas de prevención: salud, rechazo de drogas.

Impactos en el tiempo

Los impactos de un programa se reflejan en distintos momentos, a saber:

-* Impactos iniciales. Son los primeros beneficios o cambios que experimentan los participantes. A menudo son conocimientos, actitudes o habilidades.
-* Impactos intermedios. Unen los impactos iniciales y los finales, que un programa pretende alcanzar en sus participantes. A menudo representan cambios temporales o parciales en condición o estatus.
-* Impactos a largo plazo. Son los impactos finales que un programa pretende alcanzar en sus participantes. A menudo representan cambios definitivos en condición o estatus.

Etapas clave en la medición de impactos

La medición de impactos consta de tres etapas: el desarrollo de un modelo lógico del programa, la identificación de los impactos deseados y la creación de indicadores medibles de cada impacto.

Desarrollo de un modelo lógico del programa. Un modelo lógico es una forma de mostrar en una página lo que hace el programa (actividades), los productos o servicios generados (componentes o salidas), lo que está tratando de lograr (propósitos y fines impactos), y en qué orden (diferentes niveles de impactos).

Identificación de los impactos deseados. Si utilizamos los términos “Si… entonces”, en forma ascendente, se observa que:

-* Si tenemos los insumos necesarios y suficientes, entonces desarrollaremos las actividades planeadas.
-* Si desarrollamos las actividades planeadas, entonces obtendremos los componentes planeados.
-* Si obtenemos los componentes planeados, entonces lograremos nuestro propósito y coadyuvaremos a alcanzar el fin.

Al utilizar los términos “Si… entonces”, a la sazón, en el propósito, se pueden definir los impactos a corto, mediano y largo plazo, por ejemplo: si logramos que el personal posea ciertas habilidades (corto plazo), entonces lograremos que sean más eficientes; si logramos que el personal sea más eficiente (mediano plazo), entonces lograremos mayores utilidades (largo plazo).

Como se observa en este ejemplo, el único propósito factible de lograr, en forma directa, es el de corto plazo, pues para el de mediano plazo, quizá se requieran otros programas como el de incentivos; por último, para aspirar a uno de largo plazo, será necesario realizar una serie de programas y manejo de riesgos no fáciles de enumerar en su totalidad.

Otro efecto que se da en el mediano y largo plazo es que se va reduciendo el porcentaje de casos de éxito en forma natural.

Creación de indicadores medibles de cada impacto. Para la creación de indicadores de impacto, se debe medir algo específico que esté relacionado con su efecto. Siguiendo el ejemplo anterior podría ser la obtención de habilidades (validadas mediante pruebas) por determinado porcentaje de los participantes en la capacitación, cuyo indicador sería: Porcentaje de participantes con calificación mayor de 80%.

No obstante que, es de vital importancia vigilar el impacto de los programas, proyectos o procesos, el control no se puede ejercer a este nivel, pues se trata de efectos de las acciones que son las que se pueden controlar. Es decir, por los insumos, procesos y salidas es posible establecer controles sobre la calidad, oportunidad, costo y otros atributos. Sin embargo, esto no garantiza que se alcancen los impactos deseados.

La forma de lograr que se alcancen los resultados previstos en nuestros clientes es iniciar el proceso de planeación con la investigación de sus requerimientos y necesidades, a partir de ahí, precisar las características de los bienes y servicios (componentes) y diseñar los procesos necesarios para cumplir con sus expectativas. Con esto, las actividades de control apoyarán para que los atributos de los bienes y servicios coincidan con los que requieran los clientes.

Cobertura, tasa de cobertura y sesgo de cobertura

Uno de los aspectos en los que más se refleja el impacto de cualquier programa es el de su cobertura, por lo que a continuación se presentan algunas precisiones acerca de este concepto.

-* Cobertura. Mide el grado en que el programa o proyecto llega a la población necesitada, que debe ser la beneficiaria. Algunos factores a tomar en cuenta sobre la población son:
-** Área geográfica y localización (accesibilidad).
-** Actividad lucrativa o no.
-** Situación económica.
-** Circunstancias familiares, sociales y culturales (etnias, género, edad, religión, afiliación política).
-* Tasa de cobertura. Parte de la población necesitada que recibe los servicios o beneficios del programa. Los elementos para su cálculo son:
-** Estimación de la población necesitada.
-** Tipos de beneficios que genera el programa (acceso a créditos, capacitación, apoyos alimentarios, becas, etcétera).
-** Distribución en el reparto de beneficios.
-* Sesgo de cobertura. Son errores sistemáticos que se cometen en las investigaciones durante todo el proceso, los cuales requieren determinarse y considerarse para que los resultados sean representativos de la población.

Además, permite descubrir subgrupos dentro de la población beneficiaria y su impacto diferencial, el cual puede provocar discriminación en la población, por la composición o característica de los factores a tomar en cuenta en la determinación de la cobertura.

Indicadores de impacto en la educación superior

Con el propósito de ejemplificar los indicadores de impacto, a continuación se presentan algunos de éstos de la función de docencia, en una institución de educación superior, los cuales pudieran aclarar esta idea.

Cobertura

-*Porcentaje de población atendida en relación con:
-** Capacidad de la universidad
-** Instituciones similares
-** Demanda de los aspirantes
-* Porcentaje de la población que concluyó sus estudios en el tiempo estándar
-* Porcentaje de egresados que continuó estudios de posgrado, obtuvo empleo o emprendió un negocio en el año posterior a su egreso.

Satisfacción de requerimientos del cliente

-* Nivel de satisfacción de estudiantes, egresados y empresarios o funcionarios públicos para con la institución, en aspectos como:
-** Contenido de los programas y materias.
-** Flexibilidad en los planes de estudio.
-** Calidad del personal docente y administrativo.
-** Instalaciones adecuadas (biblioteca, aulas, estacionamiento, espacios libres, jardines, limpieza, seguridad).
-** Justicia en las evaluaciones.
-** Cortesía.
-** Requisitos y tiempo de atención en trámites.
-** Bolsa de trabajo.

Imagen de la Institución

-* Prestigio ético y profesional en la comunidad por:
-** Calidad de la enseñanza.
-** Calidad del personal docente y administrativo.
-** Adecuación de las instalaciones (comodidad, higiene, seguridad).
-** Contribución a la solución de problemas sociales.

Costo/beneficio

-* Costo unitario por alumno egresado.
-* Costo de deserción de alumnos.

Limitaciones en la utilización de los indicadores de impactos

Los indicadores de impacto pueden mostrar que los participantes no experimentaron los beneficios esperados, pero no indican dónde se localiza el problema o cómo arreglarlo.

Los indicadores, tanto de fines (impacto) como de medios (insumos, procesos, salidas), permiten evaluar el desempeño de un programa o proyecto, los que pueden clasificarse también como: de efectos (fines) y causas (medios). Sin embargo, para completar la evaluación es importante considerar el análisis de Fortalezas, Oportunidades, Debilidades y Amenazas (FODA) para conocer:

-* Del entorno, las oportunidades y amenazas (riesgos) a que se enfrenta el programa y que repercuten en la mayor o menor adaptabilidad de dicho programa al entorno.
-* De su propia naturaleza, las fortalezas y debilidades del programa (y de la organización de la que forma parte), tanto en el proceso administrativo como en los recursos que utiliza para la ejecución del programa que, finalmente, explican las causas del éxito o fracaso.

Validación de los indicadores de impacto

Los indicadores de impacto, al igual que el resto de los indicadores, deben validarse tanto en su aspecto formal (autorización, contenido, periodicidad, etc.) como en su utilidad y atributos básicos (confiabilidad, relevancia, coherencia, costo beneficio y otros que se juzguen convenientes).

Para aumentar las probabilidades de éxito en la implantación de los indicadores, es importante que se apliquen pruebas piloto para confirmar que los bienes y servicios entregados producen los impactos deseados, es decir, cambios en sus condiciones.

Una forma de aplicar la prueba experimental de un programa que diferencie el impacto entre la población atendida (grupo experimental), o no atendida por el programa (grupo control), es que en su inicio y como etapa de validación se maneje una prueba piloto y se compare con la población no atendida, o bien, se aplique en primera instancia a la población menos favorecida con la aplicación de la “línea base” (valor de los indicadores al iniciar un programa) como punto de comparación.

Uso de múltiples mediciones

Ninguna medición aislada es suficiente. Conviene establecer varias que sean complementarias en concepto y de diferentes audiencias, lo que le da mayor credibilidad.

No existe una cantidad correcta de impactos de un programa. En algunos programas los impactos iniciales pueden ser más cercanos a las salidas, debido a que, rara vez, representan un cambio importante.

Etapas siguientes

Una vez determinados los indicadores de impacto, al igual que todos los demás, es necesario estructurarlos dentro del sistema de información, para lo cual se requiere:

-* Identificar sus fuentes de información.
-* Desarrollar un plan de recolección de datos.
-* Obtener y registrar los datos.
-* Analizar los resultados.

En conclusión, todo el esfuerzo en la definición y elaboración de los indicadores de impacto no tendría sentido si no se utilizan en la toma de decisiones ni en la rendición de cuentas. En especial, los indicadores de impacto deben utilizarse en el gobierno para cumplir con las obligaciones derivadas de la rendición de cuentas y, en particular, con el Sistema de Evaluación del Desempeño (SED).

fernando_verasmith@yahoo.com