Please enable JavaScript.

Coggle requires JavaScript to display documents.

CREARE VALORE CON I BIG DATA strumenti, processi e applicazioni (Dati…

- - - - comprensione di noi stessi
      - comprensione dei fenomeni che ci circondano
    - - oggettività (no soggettività)
      - linearità (effetti proporzionali alle cause)
      - riduzionismo (decomposizione in parti più piccole)
      - reversibilità (riconducibilità alla condizione iniziale)
    - - piegato più volte
      - scomporre ed analizzare il sistema in ogni sua piega
    - - soggettività
      - probabilità
      - ruolo attivo scienziato
        
        l'osservazione influenza la realtà
      - visione sistemica
    - - 1961 Edward Norton Lorenz
        
        previsioni atmosferiche
        
        condizioni iniziali
        
        "effetto farfalla"
      - sistemi caotici
        
        no riconducibilità a singole parti
        
        studio del comportamento complessivo
        
        senza ricondursi alle singole parti
    - - Sistemi
      - (comportamento) Emergente
      - Non linearità
      - Auto-organizzazione
      - (elevato # di connessioni) Connettività
      - (equilibrio dinamico) Adattamento
    - - "probabilità" non basta
      - raccordo Macro - Micro
      - strumento per conoscere il sistema
      - pattern emergenti
      - decisioni più "informate"
  - - - buzzword
      - Roger Magoulas di O'Reilly Media, 2005
      - no limite esatto di grandezza dati
      - McKinsey, Big Data: The next frontier for innovation, competition, and productivity
      - valore salvifico
      - cambiamento e tecnico e sociale
      - punto di convergenza
        
        disponibilità di dati
        
        capacità di acquisirli, processarli, analizzarli, estrarne valore
    - - Gartner's Hype Cycle for emerging trends
        
        iniziale attenzione ed interesse dei media e degli utilizzatori
        
        picco massimo di esposizione (hype)
        
        disinnamoramento fino a picco negativo - disillusione
        
        lenta adozione e diffusione con utilizzo ed evoluzione commisurati alle reali capacità ed esigenze
      - "Possiamo avere dati senza informazioni, ma non è possibile avere informazioni senza dati" Daniel Key Moran
      - "Big Data è come il sesso adolescenziale: tutti ne parlano, nessuno sa veramente come farlo, tutti pensano che gli altri lo stiano già facendo, e quindi tutti sostengono di farlo" Dan Ariely
    - - machine-generated data
        
        inferiori in valore assoluto,
        crescono più rapidamente
      - human-generated data
    - - The Always-on Consumer
      - Social Network
      - Open Data
      - Smart City
      - IoT
      - Knowledge Digitalization Process
    - - Volume
      - Velocità
      - Varietà
      - (Veracity)
      - (Value)
    - - i dati sono tanto importanti quanto più correlati ai risultati che determinano
      - interpretazione di un fenomeno che ci guidi in scelte operative traducibili in un impatto concreto
      - volontà di trasformarmi in valore tangibile
    - - disponibilità di dati
      - potenza computazionale scalabile e on-demand
      - Open Source
      - riduzione costo dispositivi di archiviazione a lungo termine
      - disponibilità di strumenti fisici, informatici e teorici
    - - campionamento vs "all dat"
        
        si tende a dare importanza a tutti i dati
      - propensione all'errore
        
        si sopravvalutano gli errori dovuti a mancanza di dati perché sono comunque big (is it enough?)
      - correlazione vs casualità
        
        relazione causale: rapporto causa-effetto con precisa successione temporale
        
        correlazione: semplice evidenza di rapporto su osservazione empirica
    - - dati
        
        buona parte del tempo: individuazione, esplorazione, arricchimento e pulizia dei dati
        
        no tanti dati, ma dati sufficienti per costruire e validare modelli sempre più efficaci su cui fondare decisioni che generino impatto positivo
      - modelli
        
        rappresentazione parziale di un fenomeno
        
        essere indipendente dalle aspettative e dall'interpretazione soggettiva dell'osservatore
      - circolo virtuoso
        
        le decisioni di oggi indicano quali dati raccogliere, come acquisirli, arricchirli e valorizzarli per prendere le decisioni di domani
  - - - modelli teorici
        
        basati su pochi parametri
        
        generalizzare il comportamento del sistema osservato
        
        info sui comportamenti elementari
      - "ingegnerizzare" i fenomeni
      - matrice: fisica statistica
    - - non importa sapere COME funzione
      - conoscendo input e output si MODELLA la loro relazione per apprenderla e MANIPOLARE l'output
      - scatola nera
      - matrice: computer science
    - - difficoltà di comprensione del macro sulla base del micro
      - modello sì, sia per "farci dei conti" che per "mere correlazioni"
      - obiettivo
        
        NO comprendere il sistema a livello teorico
        
        SI ottimizzare l'output
      - imparare "alla cieca"
- - - - dati ditigali
        
        mosaico
        
        oro prezioso
    - - valorizzare i dati
      - muoversi su entrambi i mondi
      - competenze trasversali
      - ruolo
        
        capacità di estrarre conoscenza dai dati
        
        attitudine a trasformare la conoscenza in verità e su questa basare le decisioni
    - - fatti
        
        dati = collezione di eventi
      - informazioni
        
        materia prima
        
        tramite analisi e sintesi
        
        saper "leggere" i fatti
      - conoscenza
        
        saper avanzare ipotesi predittive
  - - - fornire al committente strumento per agire proattivamente e guidare le decisioni future
      - data-drive decision making
      - microprodotti non maturi per essere rilasciati sul mercato, ma che messi in mani consapevoli e capaci assumono le vesti di strumenti decisionali: tool di validazione ipotesi, sistemi (prototipali) capaci di predire eventi futuri
    - - astrazione dei processi
      - interpretazione dei processi
      - data visualization
      - comunicazione
      - rapidità delle analisi
        
        fattore critico
        
        rendere utili i dati
        
        dataset "vecchi"
      - computer science
      - system administration
      - statistica (test di ipotesi)
      - machine learning
    - - Python
        
        programmazione ad oggetti
        
        programmazione imperativa
        
        programmazione funzionale
        
        linguaggio pseudocompilato
        
        alto livello, versatile, Open Source, intuitivo, favorisce teamwork
        
        estensioni
        
        NumPy
        
        Pandas
        
        Scipy
        
        Scikit Learn
        
        iPython Notebook
        
        Natural Language Toolkit
        
        Anaconda
      - R
    - - quale?
        
        dati: sono relazionati a monte?
        
        performance: lettura e/o scrittura?
        
        operazioni: tipologia?
        
        condizioni: affidabilità, compatibilità, scalabilità, ecc.
      - non necessariamente imprescindibile
      - nella pratica lo scelgono gli esperti IT non necessariamente avendo in mente gli aspetti Big Data
      - SQL vs NoSQL
        
        relazionale o non relazionale?
        
        onerose operazioni di JOIN #
        
        NoSQL
        
        caratteristiche
        
        scalabilità
        
        ambiente di calcolo distribuito
        
        ridondanza intrinseca
        
        chiamate API predefinite
        
        gestione risorse RAM/ROM
        
        tipologie
        
        Key-value DB
        
        Document DB
        
        Wide-columns store DB
        
        Graph DB
      - Data as a Service
        DaaS
        
        Amazon Web Services
        
        Microsoft Azure
        
        Rackspace
    - - deduttivo
        
        validare ipotesi su osservazione ristretta e limitata
        
        non essere vincolati a osservare "tutto"
        
        conclusione spesso già contenuta nella premessa
      - induttivo
        (Big Data)
        
        i Big Data partono da una collezione quanto più completa di dati
        
        partendo da una osservazione ampia
        
        assenza di premessa
        
        i Big Data permettono di arrivare a conclusioni inaspettate
    - - algoritmi che apprendono dai dati
      - unsupervised
        
        no conoscenza pregressa dei dati
        
        clustering
      - supervised
        
        sì conoscenza pregressa dei dati
        
        regressione
        
        classificazione
      - obiettivo
        
        "il campo di studio che dà ai computer l'abilità di apprendere (a realizzare un compito)) senza essere esplicitamente programmati a farlo" Arthur Samuel, 1950
        
        "fare congetture che siano abbastanza veritiere da essere utili" George E. P. Box
      - Network Science
        
        community detection
        
        percorso minimo
        
        misura della centralità
    - - obiettivo
        
        "lo scopo della visualizzazione è l'intuizione, non le immagini" Ben Shneiderman
        
        rendere accessibili, usabili e interpretabili i dati di fenomeni complessi attraverso strumenti "visivi" (interfacce)
      - assunti
        
        dato è intangibile
        
        mente abituata a ragionare per associazioni e rappresentazioni visive
        
        percorso narrativo
        
        target del messaggio
      - caratteristiche per efficacia
        
        obiettivo definito a monte
        
        mostrare realmente i dati
        
        fornire chiaro messaggio
        
        attrattività
        
        possibili ulteriori interpretazioni
      - tipologie
        
        grafici
        
        mappe
        
        reti
        
        serie temporali
        
        flussi
        
        strutture ad albero
        
        matrici
        
        infografiche
      - tempo
        
        rappresentazioni statiche vs dinamiche
      - progetti
        
        Facets
        
        Density Design Lab (PoliMi)
        
        Nicholas Feltron
        
        Visualising Data
        
        The Water We Eat
        
        The New York Times
        
        April Zero
        
        200 Countries, 200 Years, 4 Minutes
      - processo
        
        necessarie competenze differenti
        
        processo iterativo e NON lineare
        
        bilanciare analisi, esperienza ed estetica
      - note aggiuntive
        
        prediligere soluzioni facilmente prototipabili
        
        utilizzare soluzioni scalabili e automatizzabili
        (gestione parametri, variabili e viste senza intera rielaborazione)
        
        ridurre effort di gestione
    - - proprietà intellettuale e licenza d'uso
        
        saper "leggere" le licenze
        
        utilizzare correttamente le basi dati
        
        essere liberi nell'uso dell'output generato dai dati
        
        art.5 D. Lgs. 36/2006
        
        intervento legale per dipanare incertezze
      - libertà accesso <> libertà di uso
      - EU vs US
        
        direttiva 96/6/EC
        
        salvaguardare investimento sostenuto per la realizzazione del database
        
        fair use (USA)
        
        in base a scopo, natura, quantità, conseguenze (mercato)
      - privacy
        
        diritto di chiedere correzione di informazioni false o errate (a loro riferite)
        
        diritto ad avere autorità super partes e di vigilanza
        
        diritto di notifica utilizzo dei propri dati
        
        direttiva 95/46/CE su trattamento dati personali
        
        GDPR
      - criticità
        
        impossibilità a conoscere a priori tutte le possibili finalità del trattamento
        
        approccio "data-drive" spesso i dati fanno emergere pattern
        
        i dati non hanno confini
        
        le leggi sì
    - - libreria JavaScript
        
        visualizzazioni dinamiche e interattive integrabili in pagine web
      - peculiarità
        
        compatibile e integrato con standard web
        
        prototipazione rapida (direttamente visualizzabile nel browser)
        
        ben supportato per visualizzazione geospaziale
        
        visualizzazioni sia statiche che dinamiche
        
        consente importazione dati strutturati CSV
        
        linguaggio diffuso sia lato client che lato server
      - alternativa: Raphael.js
      - controindicazioni
        
        funziona con browser più recenti (SVG)
        
        perdita di performance con dati elevati
        
        sintassi di sviluppo per definire la visualizzazione (prerequisiti)
    - - storia
        
        Dough Cutting
        
        2003
        
        laboratori Apache: Nutch
        
        struttura crawler mostra difficoltà
        
        refactoring con File System distribuito di Google (GFS)
        
        nome: elefante di pezza del figlio di Dough
      - caratteristiche
        
        Open Source
        
        storage ed elaborazione distribuita di dati su cluster computazionali
        
        Apache Software Foundation
      - quattro elementi core
        
        Hadoop common:
        librerie e utility necessarie
        
        Hadoop Distributed File System:
        gestione grandi volumi di dati - replica su più host
        
        Hadoop YARN:
        gestione risorse e scheduler
        
        Hadoop MapReduce:
        paradigma di calcolo per computazione parallelizzata
      - MapReduce
        
        funzione MAP
        
        invocata su coppie di entità (chiave-valore) in input
        
        fase di SHUFFLE
        
        implicita
        
        coppie di dati con la stessa chiave vengono raggruppate
        
        funzione REDUCE
        
        sulle coppie raggruppate
        
        esegue funzione definita dall'utente
  - - - Hacking Skills
      - Competenze matematiche e statistiche
      - Competenze di settore
    - - fame di conoscenza
      - alimentata da dubbio virtuoso
    - - investigatore
      - comportamenti emergenti
      - pattern non banali
      - dinamiche nascoste
    - - comunicazione non gergale
      - tradurre in valore aggiunto
    - - rete di conoscenze
      - pratica congiunta di diverse discipline
      - apprendimento separato dei "fondamentali"
    - - la natura complessa dei problemi affina progressivamente lo scienziato
      - suo bagaglio di conoscenze = armoniosa complessità
- - - - strumento oggettivo
      - analisi puntuale e onesta
      - come si intende generare valore?
      - definire la value proposition
      - compilare i singoli blocchi
        
        sforzo di sintesi e focalizzazione
        
        processo di introspezione
      - no verità assoluta -> può cambiare nel tempo
    - - approccio iterativo
      - comprensione dinamiche fenomenologiche
      - descrizione più puntuale di causa ed effetti
      - individuazione comportamenti emergenti
    - - quantitativi (verificabili/misurabili)
      - punto di riferimento per sintesi interpretativa
      - mantenere controllo
  - - - specifico: estrarre informazione
        
        richiedono conoscenza verticale
        
        metriche di riferimento
      - integrarla nei processi aziendali
        
        posti da chi ha potere decisionale (investimenti)
        
        definizione procedure integrative per migliorare
    - - dati
      - risorse tecnologiche
      - risorse umane
      - risorse economiche
    - - assenza obiettivi
      - validazione attuale modus operandi
      - disallineamento obiettivi business