Please enable JavaScript.
Coggle requires JavaScript to display documents.
EVALUATION SID (Indicateurs (5 types d'indicateurs (Financiers
…
EVALUATION SID
Indicateurs
- Mesure chiffrée d'une activité ou processus, associée à une variable qu'on cherche à analyser
-
5 types d'indicateurs
Financiers
- Permettent une évaluation relative de coûts de fonctionnement du SID
- Concernent
- Evaluation des coûts defonctionnement
- Evaluation des co'uts par usager/prestation
- Poids financier des activités
De qualité
- Permettent d'évaluer la conformité des services rends par la SID à un niveau souhaité de satisfaction du public
- Concernent
- Qualité de l'information
- Qualité du traitement documentaire
- Adéquation produits et services/besoins
- Respect des délais
- Fiabilité
- Disponiblité/Réactivité
- Qualité de la médiation documentaire
- Qualité relation de service
- Satisfaction globale des utilisateurs
D'impact
- Permettent d'évaluer niveau et nature de l'effet du SID sur environnement et public
- Concernent:
- Place du SID dans les pratiques du public potentiel
- Niveau de satisfaction du public
- Place et poids du SID dans son environnement
- Impact du SID sur les pratiques documentaires/culturelles/professionnels du public
De performance ou de gestion
- Mettent en relation objectifs et résultats
- Permettent d'évaluer de façon critique le niveau de résultats atteints
- Il y en a 3 types:
- Indicateurs d'efficacité
- Indicateurs d'efficience
- Indicateurs de pertinence
D'activité
- Mesure chiffrée du niveau d'activité du SID
- Concernent:
- Ressource matérielles et humaines-->indicateurs de moyens
- Demandes
- Traitement de l'information et demandes
- Production et services aux public
- Organisation générale
Qualités
Contenu informatif
- Information qui donne la mesure d'une activité
- Permet de déceler appréciation et/ou problèmes
Fiabilité
- Doit produire le même résultat si utilisé de manière répétée dans les mêmes circonstances
Validité
- Doit mesurer ce qu'il est censé mesurer
Précision
- Le mode de mesure et le résultat ne doivent pas être ambïgues
Applicabilité
- Il doit se baser sur des données que l'on peut obtenir par un effort raisonnable
Formes
Comptage simple
- L'indicateur est un nombre avec une unité
Taux
- L'indicateur est comptage rapporté à un ensemble
- C'est un pourcentage
Ratio composite
- Rapport entre 2 quantités d'unités différentes
Moyenne/médiane
- Préférer la médiate quand la dispersion des résultats est importante
Notation
- Appréciation globale selon une échelle définie
- Souvent utilisés pour représenter le degré de satisfaction des utilisateur
Méthodes de construction
- Définir l'objectif de l'indicateur
- Définir contenu exact et caractéristiques de l'indicateur
- Vérifier sa faisabilité
- Mettre en place l'outil d'enregistrement des données
- Calculer l'indicateur régulièrement
- Analyser l'indicateur
Sources
Production indirecte
- Documents qui existent déjà mais qui ont un autre but à la base (registre du personnel, budget,...)
Production directe
- 2 manières de les réaliser
- Comptage manuel
-->Utiliser une seule unité de comptage pour le temps
-->Utiliser un coefficient multiplicateur pour les opérations itératives
- Définir des typologies pour la même activité avec des réalités différentes
- Faire des semaines test (semaine représentative de l'année)
- Formulaires
-->Doivent être testés
-->Simples
-->Codes couleurs pour les distinguer s'il y en a plusieurs
-->Facilement accessibles
-->Y intégrer une note technique d'explication
Production automatique
- Module SIGB
- Fichiers logs
- Statistiques de producteurs et aggrégateurs
- Cellules de comptage de passage (diviser par 2!)
Impact
- Effets d'un service, produit ou événement sur un utilisateur
- Positif ou négatif
- Prévu ou imprévu
- A court ou long terme
- Critique ou pas trop important
Provoque des changements dans:
- Compétences/attitudes
- Connaissances
- Comportement
- Résultats de travail
d'un ou plusieurs usagers
- Son évaluation doit être holistique (globale)
- Est utile pour rendre le SID plus efficace et lui permettre de répondre à des objectifs sociaux
-->Apprentissage tout au long de la vie
-->Intégration du numérique auprès des usagers
- On évalue
- Bénéfices directs
- Bénéfices potentiels
- Bénéfices indirects de la présence de la bibliothèque
- Valeurs éventuelles pour des utilisateurs potentiels
- Important de tester les connaissances des utilisateurs
- Evaluation financière se fait par
- La méthode ROI Return On Investment
-->La valeur d'un prêt est d'environ 8% de son prix d'achat
- La demande au lecteur (combien ils sont disposés à payer pour la biblio?)
Effets visibles dans:
- Connaissance
- Littératie (maîtrise de l'information-->pour l'unesco est la capacité à reconnaître le besoins, localise, extraire et utiliser l'information. Selon l'ALA la population qui maîtrise l'information a appris à apprendre et est prête à apprendre encore)
- Démocratie
- Réussite académique/professionnelle
- Intégration sociale
- Education
- Bien-être
- Changements à court terme:
-->Trouver une information
-->Résoudre un problème
-->Gagner du temps au travail
-->Gagner des compétences
-->Améliorer l'autonomie dans l'utilisation de l'info
- Effets à long terme
-->Plus grande littératie
-->Réussite
-->Changements comportementaux
- Impacts cognitifs
-->Motivation à lire et chercher plus
-->Utilisation de ressources plus variées
- Différents rôles de la bibliothèque publique:
- Social
- Educatif
- Economique
- Encouragement à lecture et littératie
- Développement de la confiance en soi
- Créer équité
Tableau de bord de gestion
- Ensemble sélectif d'indicateurs
- Est édité régulièrement
- Outil collectif-->concerne l'ensemble du service
- Peut être unique ou multiple (plusieurs tableaux qui s'emboîtent)
- 3 buts:
- Avoir une représentation globale des activités du SID
- Suivre la réalisation/évolution des objectifs
- Surveiller (alerte contre les risques de dérive)
Contient/permet de suivres 4 dimensions de l'activité d'un SID:
- Réalisations sur les activités clés
- Principaux objectifs stratégiques
- Niveau de performance atteint
- Points critiques
Fonctionnement
- Taille sélective-->entre 5 et 20 indicateurs pour un très petit ou très grand SID
- 1-5 indicateurs d'activité et 4-15 indicateurs de gestion
- L'adapter une fois par mois ou tous les 3 mois, au déla, est inefficace en termes de alerte
- Sa synthèse annuelle doit être intégrée dans le rapport d'activité
- Méthode du tableau de bord utilisé aussi pour une récolte et analyse de données particulières
-
Exploitation
- Edition des résultats
- Identification des problèmes
- Diagnostique pour les problèmes (+ identification de solutions pour corriger)
- Edition des tableaux avec commentaires
- Analyse des commentaires par l'équipe
- Information de la tutelle (évtl)
Mise en place
- Détermination des dimensions du SID et choix des indicateurs
-->le SID a un plan ou des objectifs explicites: le tableau aide à mesurer la réalisation des objectifs. On définir alors les indicateurs pertinents
-->le SID ne l'a pas: le tableau aide à garantir une visibilité sur le fonctionnement du sid
- Organisation du tableau
-->Structure (niveaux/logique/périodicité)
-->Mode de présentation (préparer une maquette)
-->Collecte de données (unité de mesure, support de collectes, personnes concernées, outils,...)
-->Modes d'exploitation du tableau (modes d'édition, de comunication externes, intégration dans le rapport d'activité,...)
- Test et validation du tableau
-->Sur une épriode de 3-6 mois et ajuster si nécessaire
- Indicateurs retenus à partir de:
-->Analyse des activités/fonctionnement du SID
-->Orientation et enjeux du SID
-->Problématique du SID
-->Travaux déjà existants
- Méthodes de choix des indicateurs
- Déductive: on choisi les indicateurs pertinents en partant des objectifs
- Inductive: on identifie tous les indicateurs et on choisi les plus intéressants
Management stratégique
- Organise ressources et moyens pour réaliser une mission
- Repose sur 4 leviers:
- Mission
- Objectifs
- Moyens
- Résultats
- Stratégiques : engagent dans l'ensemble le futur du SID (p. ex: cibler un nouveau public)
- Tactiques: modifient le fonctionnement de manière importante (p. ex: réorganiser l'accueil au public)
- Opérationnelles: concernent le fonctionnement quotidien du SID (p. ex: réorganiser le travail en l'absence d'une personne)
Objectifs du SID:
- Peuvent être généraux pour le SID ou spécifiques pour chaque activité
- Démarche stratégique idéale:
- Définition d'un projet global
- Déclinaison de ce projet en objectifs généraux
- Concrétisation dans des objectifs plus opérationnels
3.1 Objectifs de réalisation (nb d'animations dans l'année?)
3.2 Objectifs de développement (création d'un service de références?)
3.3. Objectifs de fonctionnement (détermination des délais de traitement des documents?)
3.4 Objectifs d'amélioration (réduction du temps d'attente au prêt?)
- Dispositif de suivi et dévaluation
- Planification stratégique comprend
- Plan de développement: fixe les grandes orientations et objectifs globaux (triennal)
- Plan opérationnel: programme pour ala mise en oeuvre de ces objectif (annuel)
- La performance se définie par rapport à:
- Objectifs
- Moyens
- Résultats
Et se décline autour de
- Efficacité: rapport objectifs/résultats-->le sid est efficace si les résultats sont conformes aux objectifs
- Efficience (productivité): rapport moyens/résultats-->le sid est efficient s'il atteint un niveau satisfaisant de résultats avec les moyens qu'il a
- Pertinence: rapport moyens/objectifs-->les sid est pertinent si les moyens qu'il a permettent de garantir l'atteinte des objectifs
3 cas de figure:
- Sid satisfaisant sur les 3 plans: il est donc globalement performant
- Sid non satisfaisant sur les 3 plans: il est donc globalement non performant
- Sid non satisfaisant sur 1/3, mais correct pour les autres. Il peut donc être
3.1 Efficace mais pas efficiente (on atteint les résultats mais de façon pas productive)
3.2 Efficace mais avec des moyens non pertinents (il utilise trop/pas assez bons moyens par rapport aux vrais besoins)
3..3 Econome en moyens et productif mais en dépit de la qualité. L'efficacité est donc limitée
Graphiques
Secteur
- Met en valeur une répartition
Histogrammes/barres
- Facilite les comparaisons
Courbes
- Met en valeur une évolution
Radar
- Met en valeur équilibre entre différents éléments
- Utilisés pour les notations
Evaluation
- Confrontation entre la réalité du sid et une référence (objectif, prévision, situation idéale,...)
Finalités
- Suivi de l'activité du SID
- Pilotage/Aide à la décision
- Communication sur actvitiés et résultats
Axes d'évaluation
- Activité
Concerne
1.1 Moyens
1.2 Réalisations effectives
-->On évalue les résultats du SID en termes quantitatifs et descriptifs
- Performance
2.1 Efficacité
2.2 Efficience
2.3 Pertinence
3.Impact
- Evaluation de l'activité est plutôt de gestion, alors que l'évaluation de l'impact est plutôt politique
Rythmes
- Diagnostique (évaluation préalable): Etat de l'art de la situation
- Bilan (évaluation postérieure): évaluation de conformité de résultats obtenus aux prévisons/objectifs visés
- Contrôle (évaluation en cours de route): évaluation menée en même temps que l'activité pour corriger ou réorienter l'activité
Outils
- Schéma général d'un dispositif d'évaluation
Voir p. 3 du Résumé du cours n° 1
-->!!2 sens de quantitatif dans la littérature: 1. Non mesurable statistiquement 2. Analyse précise et argumentée (les chiffres ne sont pas brutes mais traitées)
- Enregistrement des résultats
-->Statistiques manuelles
-->Statistiques atuomatiques
-->Enquêtes
-->Recueils de données
- Analyse
- Tableau de bord
- Rapport d'activité
- Evaluations spécifiques
- Qualitatives (caractérisent et qualifient)
- Quantitatives (mesurent un volume)
Normes ISO + Standard
Travaux des organisations professionnelles
- Démarrent en 1985-1995
- Faits par l'ALA, par l'Unesco, par la King Research Ltd, par l'IFLA
- Projet EQUINOX
2 normes existantes
ISO 2789
- Propose des indicateurs de moyens et d'activité
ISO 11620
- Ensemble de 45 indicateurs de performance concernant les activités de base des SID
- Présentent les indicateurs en 4 axes
- Ressources, accès, infrastructures
- Utilisation
- Efficience
- Potentialités et développement
- Pour chaque indicateur il y a
- Nom
- Objectif
- Domaine d'application
- Définition
- Méthode d'élaboration
- Commentaires sur l'interprétation des résultats
- Source
-->Grille détaillée pp. 9-10 Résumé de cours n°2 - Les indicateurs
-
-