Please enable JavaScript.

Coggle requires JavaScript to display documents.

Avaliação de Impactos de Programas, Quantas pessoa estão recebendo o…

- - - - Identifica a natureza, o alcance e as causas de uma necessidade
        
        A diferença entre os resultados atuais e os resultados desejados
      - Define e descreve a população-alvo a ser atendida
      - Determina a intervenção necessária para solucionar a necessidade
    - - Quais são as possíveis causas
      - Quais são as características da população-alvo?
      - Qual é a natureza e a magnitude do problema ou necessidade?
      - Quais programas são os mais pertinentes para essa população?
      - Quais programas já existem para resolver o problema
  - - - Resultados dos beneficiários depois de participarem do programa MENOS resultados que esses mesmos beneficiários obteria, no caso hipotético de não terem participado do programa
        
        Resultado hipotético é o contrafactual
        
        CHATGPT: A análise contrafactual é uma ferramenta importante para avaliar o impacto de políticas e programas, pois permite medir o efeito real da intervenção isolando-o dos fatores externos que podem influenciar os resultados. Ela ajuda a responder à pergunta "o que teria acontecido se o programa não tivesse sido implementado?".
        
        A análise contrafactual pode ser realizada usando diferentes métodos, como a comparação de grupos (usando um grupo de controle para representar o cenário contrafactual), a modelagem estatística ou a análise de tendências históricas. O método escolhido depende do contexto da intervenção e das informações disponíveis.
    - - O programa teve os efeitos esperados sobre os beneficiários?
        
        Todos os componentes do programa são necessários para obter impacto?
        
        Alguns grupos de beneficiários estão mais afetados pela intervenção do que outros?
        
        Esses efeitos se mantiveram com o tempo?
        
        Existem efeitos adversos não planejados?
  - - - O programa está sendo implementado corretamente?
        
        Cumpre com os padrões relevantes?
        
        Permite alcançar os objetivos?
        
        Segundo o planejado?
  - - - É viável e factível?
      - Atende às necessidade da população-alvo?
    - - Marco Lógico
        
        CHATGPT: Marco lógico é uma ferramenta de gestão de projetos utilizada para planejar, monitorar e avaliar projetos de desenvolvimento. Ele consiste em uma matriz de quatro linhas e quatro colunas que descrevem os principais elementos do projeto, incluindo objetivos, indicadores, meios de verificação e atividades.
        
        Os elementos do marco lógico são inter-relacionados e ajudam a garantir que o projeto seja coerente, mensurável e alcançável. Os exemplos de elementos do marco lógico incluem:
        
        Objetivos: declaração clara e concisa do que o projeto pretende alcançar.
        Exemplo: Reduzir a taxa de mortalidade infantil em 20% na região de X em 3 anos
        Indicadores: são medidas quantitativas ou qualitativas utilizadas para avaliar o progresso do projeto.
        Exemplo: Percentual de crianças imunizadas contra doenças evitáveis por vacinação.
        Meios de verificação: são fontes de informação utilizadas para verificar se os indicadores foram atingidos.
        Exemplo: Registros de vacinação dos postos de saúde e estatísticas oficiais de saúde pública.
        Atividades: são as ações que devem ser executadas para alcançar os objetivos do projeto.
        Exemplo: Realizar campanhas de vacinação, capacitar profissionais de saúde e fortalecer a infraestrutura dos postos de saúde.
      - Teoria da mudança
        
        Ver figura no Keep.Google
        
        Diz como o programa deveria funcionar
        
        CHATGPT:
        
        A teoria da mudança é uma abordagem estratégica para planejar, implementar e avaliar intervenções sociais ou projetos de desenvolvimento. Ela se concentra em como e por que uma determinada intervenção levará a mudanças desejadas em uma população ou sistema-alvo. A teoria da mudança é baseada em uma compreensão das relações causais entre as atividades, resultados e impactos.
        
        Em outras palavras, a teoria da mudança busca identificar como uma série de atividades ou intervenções específicas levarão a mudanças progressivas em direção a um objetivo ou meta mais amplo. Ela pode ser representada visualmente em um diagrama ou modelo lógico que mostra as etapas sequenciais e as conexões entre os elementos da intervenção.
        
        Um exemplo de teoria da mudança pode ser a implementação de um programa de saúde comunitária em uma área carente. Nesse caso, a teoria da mudança poderia incluir as seguintes etapas:
        
        Atividades: Capacitação de agentes de saúde para trabalhar na comunidade e estabelecimento de postos de saúde móveis para atender a população local.
        Resultados: Aumento do acesso aos serviços de saúde e maior conscientização sobre a importância da prevenção de doenças.
        Impactos: Melhoria da saúde geral da população e redução da mortalidade infantil e materna.
        
        Outro exemplo pode ser a implementação de um programa de desenvolvimento econômico em uma região. Nesse caso, a teoria da mudança poderia incluir as seguintes etapas:
        
        Atividades: Capacitação de pequenos empresários locais, fornecimento de acesso a crédito e estabelecimento de um centro de negócios.
        Resultados: Criação de novos negócios e aumento da renda das famílias locais.
        Impactos: Melhoria das condições socioeconômicas da região e redução da pobreza.
        
        A teoria da mudança é uma abordagem valiosa para planejar e avaliar intervenções sociais e de desenvolvimento, pois ajuda a garantir que todas as atividades sejam voltadas para um objetivo comum e que os resultados sejam monitorados e avaliados de forma sistemática.
    - - Painel de especialistas
      - Entrevistas
      - Revisão de literatura
        
        a proposta de intervenção já foi aplicada em outro lugar. Deu certo?
    - - Quais são os resultados finais que são esperados alcançar com o programa?
      - Como se pretende chegar a esses resultados finais? (por meio de quais insumos, atividade, produtos e resultados intermediários?)
      - Que suposições e riscos estão implícitos em nossa teoria da mudança?
        
        Será que algo pode dá errado?
        
        Será que algum insumo pode ser mal aplicado?
      - Quão razoáveis são essas suposições e quão grandes são os riscos?
        
        A intervenção já foi aplicada em outro lugar?
        
        A intervenção vem de alguma teoria específica?
  - - - Análise custo-efetividade
        
        compara a mudança na variável de impacto principal com os custos do programa
        
        permite comparar o impacto relativo de diferentes intervenções
        
        é ralizada geralmente ex-post
      - Análise custo-benefício
        
        compara os benefícios do programa com seus custos
        
        implica monetizar os custos e benefícios
        
        é realizada geralmente ex-ante
    - - O impacto foi alcançado de uma maneira eficiente?
        
        Existem intervenções alternativas que cumpririam os mesmo objetivos a um menor custo?
        
        Os recursos são usados de maneira eficiente?
        
        O custo do programa é razoável em relação à magnitude do impacto?
  - - - O programa está sendo implementado segundo o planejado?
    - - O programa alcançou os objetivos para os quais foi desenhado?
    - - A teoria por trás do programa é factível?
    - - O impacto foi alcançado de maneira eficiente?
    - - O programa está baseado em uma boa conceituação do problema que se busca solucionar?
- - - - Útil para tomar decisões em relação à alocação de recursos, continuidade do programa
      - Interessa aos tomadores de decisão de alto nível
  - - - Produz conhecimento sobre mecanismos e efeito de uma intervenção
      - Serve de base para inovações e novos enfoques, com potencial para replicações e ganhos de escala
  - - - Encontrar soluções concretas e as implementar em curto prazo
      - Permite entender a importância relativa dos componente e processos do programa
- - - - Mede como os participantes do programa mudam ao longo do tempo
        
        Grupo de Controle: Os mesmos participante, antes de entrar no programa
        
        Premissa: não há fatores relevantes no tempo que afetem o resultado além do programa
    - - Mede a diferença entre os participantes e não participantes depois do programa
        
        Grupo de Controle: não participantes sobre os quais os dados são recolhidos depois do programa
        
        Premissa: a única diferença entre os participantes e não participantes é o programa. Os dois grupo têm a mesma probabilidade de participar do programa
  - - - Permite ver a relação entre o fato de participar de um programa e uma variável de interesse, mantendo constante ou controlando por outras variáveis. Ex.: renda dos pais, educação, etc
        
        Grupo de controle: não participantes sobre os quais se coletam ados detalhados sobre variáveis observávis
        
        Premissa: não existe viés devido a variáveis omitidas. Nós conseguimos observar ou controlar por todas as características que a princípio determinam participação
    - - Combina o método do antes de depois com o método de diferenças simples
        Compara a mudança no tempo da variável de resultados entre o grupo que recebe e o grupo que não recebe o programa
        Corrige por diferenças pré-existentes nos dois grupo (observáveis e não observáveis)
        
        Grupo de controle: não participantes sobre os quais os dados são recolhidos antes e depois do programa
        
        Ver exemplo no keep
        
        Premissa: assume que, na ausência do programa, tendência entre participantes e não participantes se manteriam paralelas
    - - Para cada unidade de tratamento, busca-se o melhor "par' de outra população sem tratamento
        
        Grupo de controle: para cada participante, busca-se ao menos um não participante que é idêntico nas características selecionadas
        
        Premissa: as características não selecionadas para o pareamento não influenciam nos resultados
    - - Os indivíduos são classificados com base em critérios mensuráveis. Uma linha de corte determina se uma pessoa é elegível ou não. Compram-se as pessoas que estão logo acima e abaixo do limite
        
        Grupo de controle: as pessoas logo abaixo do limite (e que por isso não recebem o programa)
        
        Premissas: 1) a linha de corte é um limite estrito de entrada ou não do programa e 2) efetivamente não existem diferenças significativas entre as pessoas acima e abaixo do corte
  - - - A definição do grupo que receberá o tratamento é feita por meio de um sorteio. Com isso, encontra-se um grupo de controle válido
        
        Grupo de controle: a parte da população elegível que, de maneira aleatória, é designada ao grupo de controle
        
        Premissa: respeita-se o protocolo de desgnação aleatória, e os dois grupos são estatisticamente idênticos
        Aleatorização bem feita gera grupos estatisticamente idênticos (isso pode ser comprovado com teste de equilíbrio que compara as características dos dois grupos na linha de base)
        
        Objetivo: Selecionar um grupo que seja igual ao grupo de participantes em todas as dimensões, exceto em receber ou não o programa
        
        Em escolha aleatória bem feita elimina o viés de seleção antes que o programa se inicie
        
        Qualquer diferença observável nos indicadores de resultados pode ser atribuída ao programa
        
        Ver keep
      - LIMITAÇÕES
        
        As avaliações aleatorizadas são tecnicamente superiores aos outros métodos apresentados e são mais fáceis de se entender, PORÉM
        
        São éticas?
        
        Há poucas políticas que podem atender a todos de uma vez. Assim, a designação aleatória pode ser o modo mais justos de alocar um recurso escaso
        
        Uma outra opção é fazer uma intervenção em fases, em que todos eventualmente recebem o programa. Assim, não é necessário que o grupo de controle não obtenha nada
        
        Pode ser que o impacto do programa seja negativo. Assim, não é ético desperdiçar o dinheiro em programa que não funcionam
        
        Não é ético "não aprender"
        
        São viáveis por seus custos e sua duração?
        
        O que encarece um bom levantamento de dados é seu rigor (tamanho da amostra)
        
        É possível fazer avaliações aleatorizadas baratas (vantagem de dispor de bons dados administrativos)
        
        Em uma avaliação experimental, não é estritamente necessário levantar uma linha de base
        
        São caras comparadas ao quê? (avaliações não baseadas em evidência podem acabar sendo muito mais caras)
        
        É melhor ter poucos estudos de boa qualidade do que muitos estudos de baixa qualidade
        
        As lições extraídas são um bem público
        
        Sobre a duração
        
        Depende do que queremos medir, e não do tempo de avaliaçao
        
        Ocorre o mesmo com outros métodos de avaliação de impacto: é necessário esperar que a intervenção produza seus resultados
        
        Em muitas avaliações, os resultados são calculados cedo demais (antes que o impacto seja produzido), resultando na atribuição de um impacto diferente do real
        
        São generalizáveis
        
        Crítica comum: avaliações aleatorizadas não tem validade externa.
        Mas essa crítica não é específica para aleatorizações
        Além disso, é possível (e se deve) fazer replicações de políticas efetivas
        Ademais, não é possível ter validade externa, sem ter validade interna
      - Quando aleatorizar?
        
        Quando há excesso ou déficit de demanda
        
        Quando um programa está sendo testado com um piloto
        
        Quando um programa incorpora novos serviços, novos destinatários ou novos lugares
        4.Quando um programa deve ser implementado em etapas
        5.Quando um programa tem um critério de admissão numérico
        
        e quando não aleatorizar?
        
        1) Muitas perguntas relevantes não exigem uma avaliação de impacto (Ex.: temos um programa de entrega de alimentos a pessoas da terceira idade, mas elas não estão recebendo ou utilizando o benefício)
        2)
      - VANTAGENS
        
        Elimina qualquer viés que poderia vir a ocorrer em uma avaliação não experimental
        
        A aleatorização faz com que os grupos sejam comparáveis em variáveis observáveis e não observáveis
        
        Não é necessário fazer muitas premissas, como nas avaliações não experimentais
        
        Os resultados são fáceis de interpretar
- - - - A Teoria da Mudança é uma ferramenta muito útil para desenhar esse tipo de Avaliação de Impacto
  - - - Detalha todas as mudanças implícitas que têm que ocorrer entre as atividade de um programa e seus objetivos de longo prazo