Estabelecer um sistema de monitoramento e avaliação (M&A) é essencial para avaliar uma informação de maneira efetiva, rastrear o progresso e tomar decisões mais assertivas.
O que é um sistema de monitoração e avaliação?
A definição de um sistema de M&A varia entre diferentes organizações. Na maioria dos casos, um sistema de M&A se refere a todos os indicadores e ferramentas que são utilizados para medir um programa que tenha sido implementado de acordo com um plano. M&A é o processo de compilação, sistematização e análise de informação que se baseia em objetivos e resultados; é uma ferramenta de gestão de aprendizagem que proporciona informação crucial sobre o processo e o sucesso do projeto.
Benefícios de utilizar a monitoração e a avaliação
O monitoramento e a avaliação (M&A) ajudam a:
• Contar com um processo de gestão e toma de decisões eficaz para melhorar a execução e resultados do projeto.
• Verificar a efetividade e limitações da metodologia aplicada para executar determinados projetos.
“Monitoração” se refere a um processo contínuo de análise de acordo com o plano operativo do projeto (POP). É concebido como uma atividade interna do projeto que é fundamental para uma boa administração e gestão.
A “Monitoração” se refere ao sistema de observações que é realizado para verificar e analisar as atividades e resultados de cada projeto que já tenha sido executado para comprovar se tem contribuído para atingir os objetivos estabelecidos. O monitoramento consiste em uma análise técnica, uma avaliação dos relatórios (RTF, relatório semestral, relatório final), visitas, reuniões e outras atividades realizadas pela UNIP e / ou URIP.
A avaliação se refere a um exercício mais analítico, realizado para determinar o grau de sucesso do projeto. Além de medir a efetividade, a análise pode incluir outros critérios como relevância, sustentabilidade, etc.
O sistema de M&A será executado em dois níveis: no nível do programa e no nível do projeto. Os elementos são basicamente os mesmos. Uma vez que os projetos são parte de um programa, os sistemas de planificação e monitoração e avaliação estão estreitamente relacionados:
1. O M&A do projeto está diretamente relacionado com os resultados, objetivos e indicadores do Programa. Por isso, o planejamento do programa influi em um plano estratégico do projeto.
2. Os resultados no nível do projeto contribuem diretamente ao progresso e obtenção do sucesso do programa.
Plano operativo do projeto (POP)
O Plano Operativo do Projeto (POP) consiste em planejar as atividades do projeto com o objetivo de se chegar nos resultados. Qualquer alteração econômica entre as atividades ou mudança técnica do plano deve ser solicitada formalmente ao escritório nacional de IICA para a sua avaliação e aprovação.
Exercícios de monitoramento e avaliação e desenvolvimento da linha de base
O sistema de M&A depende das necessidades, capacidades e recursos existentes. O mais importante é que o processo pode proporcionar dados relevantes para medir as alterações, resultados e efetividade.
Métodos de M&A
Alguns métodos de M&A podem ser usados para monitorar os indicadores e o ambiente dos projetos. Por exemplo, se um projeto tenta melhorar a situação econômica ou a produtividade, pode ser útil envolver alguns produtores para ter uma melhor avaliação de todos as mudanças ao longo do tempo, em vez de simplesmente fazer uma pesquisa final do projeto.
Existem diversos tipos de formatos as avaliação. Alguns deles são:
• Avaliações participativas: é um método útil para compreender como o grupo destinatário vê o projeto e descobrir diferenças entre certos grupos (mulheres-homens, jovens, grupos minoritários, etc).
• Monitoramento sistemático (registro em formatos pré desenhados, cadernos de trabalho) das atividades e resultados por parte do pessoal de campo que é a equipe em contato direto com os beneficiários.
• Pesquisas de campo específicas para obter informação específica.
Base de referência
A linha de base é um conjunto de indicadores estratégicos selecionados que serve como ponto de comparação para futuras avaliações com o fim de determinar o sucesso de um projeto durante a sua execução. Se estabelece uma linha de base antes de dar início às ações planificadas e o exercício se repete pelo menos ao final do projeto para poder comparar as mudanças nos valores dos indicadores. Em outras palavras, a linha de base mostra a situação antes de iniciar o projeto e é focada nos aspectos mais relevantes relacionados com o seu objetivo. Portanto, as variáveis devem estar estreitamente relacionadas com os indicadores da estrutura lógica do projeto, especificamente no nível de propósito e resultados para medir seu desempenho.
Estabelecer uma linha de base é mais recomendável para projetos pilotos que buscam melhorar a situação dos beneficiários em termos de acesso sustentável à energia (AEA) e / ou maior lucratividade.
Por meio de uma análise anterior e posterior da execução do projeto, é possível medir as mudanças trazidas. No caso de projetos ou pesquisas de investigação, o estabelecimento de uma linha de base parece menos adequado, mas, para os projetos piloto, os valores base dos indicadores de propósito e resultados são úteis antes da execução da pesquisa ou investigação.
Como estabelecer uma linha de base?
A razão principal para estabelecer uma linha de base de rendimento é poder quantificar as mudanças no rendimento e as mudanças em sua carga ou aplicação. A parte mais difícil de estabelecê-la é determinar quais operações são críticas para o uso efetivo do sistema. Muitos elementos aumentam a quantidade de trabalho necessário para estabelecer linhas de base confiáveis.
As regras básicas que descrevemos a seguir permitem reduzir o número de operações que necessitam de linhas de base a um número gerenciável.
Para gerar a sua lista de operações à linha de base, é necessário:
* Tarefas que são realizadas muitas vezes durante o dia (como a criação de pedidos, o controle de processos e as tarefas de entrada de dados).
* Tarefas que são importantes para o usuário (como consultas da página web, telas de atendimento ao cliente e tarefas de entrada de pedidos)
Métodos de compilação de dados
Às vezes, a informação necessária para estabelecer a linha de base pode ser obtida de fontes secundárias e, na maioria dos casos, é preciso uma pesquisa de campo. Para a sua realização, são utilizados métodos quantitativos e qualitativos com o fim de otimizar a qualidade dos resultados. Os métodos mais utilizados são as pesquisas e entrevistas, assim como grupos focais, avaliação participativa rural (APR) e revisão de documentos (no caso de fontes secundárias).
Para projetos de desenvolvimento, as pesquisas de campo geralmente são baseadas em entrevistas e grupos focais porque permitem uma abordagem mais ampla do tema avaliado e os indivíduos são capazes de entregar informação tanto quantitativa como qualitativa.
Os grupos focais nos permitem conhecer a opinião e os valores coletivos de determinados grupos da população. Outros métodos qualitativos relevantes para uma linha de base são os métodos APR que incluem vários instrumentos, como o mapeamento, classificação de preferências, classificação de riqueza, diagramas periódicos e históricos, diagramas institucionais e outros métodos que facilitam a participação pública na avaliação.
No caso de uma pesquisa de campo, particularmente quando é baseada em entrevistas, é necessário obter uma amostra que garanta a representatividade dos diversos segmentos da população.
Como fazer uma amostra?
Para chegar às conclusões válidas sobre a linha de base e começar a alinhar os resultados, é necessário estabelecer uma amostra representativa da população-alvo.
Seleção de áreas e entrevistados
Para ser uma amostra representativa da população-alvo, os entrevistados devem estar distribuídos em toda a área geográfica do projeto e representar todos os grupos relevantes. É aconselhável selecionar algumas áreas representativas e selecionar um certo número de entrevistados em relação a uma seleção aleatória. Há várias possibilidades e técnicas de estatísticas de amostragem (aleatórias, estratificadas, agrupadas, sistemáticas e de outros tipos) que não podemos analisar detalhadamente neste guia.
No caso de que deseje compreender as diferenças entre certos tipos de beneficiários (por gênero, idade ou outros critérios), é importante incluir suficientes representantes de cada grupo (estrato) em sua amostra em cada área selecionada, por exemplo, proporcionalmente ao tamanho de cada grupo de população. A amostra estratificada requer que o tamanho de cada estrato seja o suficiente grande para poder comparar as diferenças. Na maioria dos projetos, não será necessário nem aplicável uma amostragem estratificada.
Na seleção das áreas e entrevistados, é necessário cuidar de certos critérios prejudiciais. Por exemplo, a logística, o acesso e a preferência de certos grupos sociais são fatores que podem influenciar na representatividade da amostra.
Tamanho da amostra
As considerações mais importantes para calcular o tamanho da amostra estão relacionadas com o orçamento disponível para realizar a pesquisa e os requisitos estatísticos. Uma amostra pequena não permitirá chegar em conclusões estatisticamente válidas. Por outro lado, uma amostra muito grande pode resultar muito custosa e ultrapassar os recursos disponíveis para o projeto. Porém, é recomendável calcular o tamanho da amostra com base em critérios estatísticos e, se necessário, reduzir a margem de erro para se chegar a um tamanho aceitável.
Relatórios
O avanço de um programa depende em grande medida da execução dos projetos. Os atrasos ou problemas na execução dos projetos afetam automaticamente o grau de seu avanço.
O Relatório Técnico Financeiro (RTF) é utilizado para calcular o progresso do projeto e ver a diferença entre o plano e o progresso real.
O relatório final mostra todos os resultados do projeto. É baseado na informação de todos os relatórios semanais anteriores, a análise do último semestre e os resultados da linha de saída. O relatório final é centrado especialmente na análise da eficiência. Também inclui uma análise de sustentabilidade que mede os efeitos ambientais, as externalidades, o financiamento e a economia.
Digitalize Processos de Serviços utilizando um aplicativo inteligente para as tarefas de Instalação e Manutenção.
DataScope é uma plataforma de fácil implementação que digitaliza os Processos de Serviços das empresas. Seja beneficiado através da transformação digital e ganhe tempo: obtenha equipes eficientes em campo, mantenha todos os seus dados centralizados e gere relatórios completos.
