Please enable JavaScript.

Coggle requires JavaScript to display documents.

Data Science (01-Data librarian (01-1-S'assurer de la structuration…

- - - - 01-2-Utiliser la taxonomie: permet au data analyst de trouver l'information beaucoup plus rapidement. Classes identifiées par des clés. Classer toutes les informations se trouvant dans les différentes structures.
        
        01-3-Décrire les données: description sur les taxons pour aider le data analyst à comprendre les attributs qu'il a trouvés lors de ses fouilles. Mais le data analyst ne travaille pas que sur des bases de données mais aussi sur des documents (text mining).
        
        01-4-Nettoyage des données: Le nettoyage de données n'est normalement pas dans le cahier des charges du data analyst mais dans celui du data librarian. Si notre organisation, notre employeur a respecté les règles de cohérence de données, il n'y a presque rien à nettoyer, à part d'éventuelles fautes de frappes or d'orthographe ou de valeurs manquantes. Par contre, s'il n'y a pas de système de saisie avec des masques de données et des structures logistiques, alors le travail peut être immense. Comme par exemple : compléter les données manquantes, enlever les doublons, mettre les dates et les heures au format international, mettre les attributs catégoriels dans une langue identique, forcer les minuscules ou majuscules, sur certains caractères, ajouter ou retirer des préfixes à des codes d'articles, ou également rechercher/remplacer des caractères par d'autres. Le cas le plus connu étant de remplacer les points par des points-virgules, ou l'inverse, et ainsi de suite.
        
        01-5-Faciliter le stockage et l'accès
        
        Le data librarian doit s'assurer que la fouille de données, par le data analyst, soit facilitée au mieux afin qu'un contact humain ne soit pas forcément nécessaire à chaque requête spéciale entre lui et le data analyst. Il faut aussi que les technologies de stockage et de redondance soient robustes. Eh oui, en fait, c'est comme l'archiviste à l'époque du papier. Par contre, il n'est pas du rôle du data librarian de choisir les technologies ou lieux en question, mais juste de faire des audits afin de vérifier qu'elles répondent soit aux critères du comité de direction, soit à des normes nationales ou internationales, soit à la législation en vigueur, soit, simplement, au bon sens.
        
        Par ailleurs, il convient de préciser aussi que selon les pays, les données devront être cryptées et le data librarian devra s'assurer que ce soit bien le cas et que la clé de cryptage ne soit pas donnée à n'importe qui. Pour faire une analogie, pas tout le monde a la clé du bureau des archives, par exemple, donc les archives papier. De plus, il convient de s'assurer que cette même clé soit changée avec régularité et que le système de cryptage ne soit pas devenu complètement obsolète.
        
        Par contre, ce n'est pas le rôle du data librarian de mettre en place la technologie pour faire cela, mais juste de s'assurer, via des audits périodiques, que la technologie soit existante, installée et utilisée.
        
        01-6- Prévenir la perte de données
        
        Au même titre qu'à l'époque du papier, l'archiviste devait faire attention à la protection contre le feu et les inondations et autres, pour des documents archivés. Le data librarian, lui, doit s'assurer que les moyens mis en oeuvre pour prévenir la perte de données numériques soient bien implémentés au sein de l'entreprise, en accord avec la politique du comité de direction ou des responsables du département de data science ou même du gouvernement pour lequel il travaille. Il va donc s'assurer que les données soient stockées sur des technologies de type RAID à un niveau correspondant à la politique de l'organisation pour laquelle il travaille.
        
        Ensuite, il va s'assurer de la mise en place, si nécessaire, de codes correcteurs d'erreurs plus robustes que le RAID. Ensuite, que les locaux de stockage aient les moyens nécessaires d'éteindre un incendie ou soient à l'abri d'inondations ou de tremblements de terre. Qu'idéalement, les données soient stockées sur plusieurs centres géographiquement éloignés. Qu'en cas de burst électromagnétique, c'est-à-dire par exemple une éruption solaire majeure, que les données soient gravées sur des disques par exemple, en cristal ou autres supports très pérennes comme les M-DISC ou dans un futur proche, par exemple, de l'ADN même futur lointain, qui sait? Et qu'il y ait toujours un lecteur permettant de lire les données stockées.
        
        Parce que, à nouveau, il faut se mettre à l'abri de l'obsolescence technologique. D’où la nécessité que le data librarian connaisse bien les logiciels ouverts c'est-à-dire toutes les méthodes d'enregistrement qui sont documentées et accessibles, c'est-à-dire ouverts. Donc voilà pour ce petit tour d'horizon concernant le data librarian que nous allons clore maintenant.