Please enable JavaScript.

Coggle requires JavaScript to display documents.

Valutazione IR - Coggle Diagram

- - - - Collezioni di test ufficiali
        
        TREC (Text Retrieval Conference): collezione di 25 milioni di pagine, con valutazioni umane.
        
        Crowdsourcing: piattaforme come Mechanical Turk permettono di ottenere giudizi a basso costo, ma con alta varianza nei risultati.
  - - - Documento è rilevante o non rilevante.
      - Semplice da calcolare, spesso sufficiente per IR
    - - Documento può avere diversi livelli di rilevanza.
      - Si usano metriche come:
        
        DCG (Discounted Cumulative Gain)
        
        NDCG (Normalized DCG)
      - Tengono conto della posizione e dell’importanza relativa dei documenti.
  - - - Binario: rilevante / non rilevante
      - Graduale: valori 0, 1, 2, 3… per indicare il livello di rilevanza
    - - soluzione Per ridurre i costi si usa il deep-k pooling:
        
        Si prendono i primi k documenti restituiti da N diversi sistemi IR.
        
        Gli esseri umani devono giudicare solo questi k × N documenti, molto meno dell’intera collezione (che può essere di milioni di documenti).
  - - - Frazione di documenti rilevanti nella collezione che sono stati recuperati:
    - - Frazione di documenti recuperati che sono rilevanti:
    - - Si considera solo il top-K documenti restituiti dal sistema.
      - Utile perché l’utente spesso guarda solo i primi risultati.
    - - Media della PrecisionK solo sui punti in cui viene recuperato un documento rilevante.
      - Tiene conto della posizione dei documenti rilevanti (i primi posizionati contano di più).
    - - Media dell’AP su tutte le query.
      - Ogni query conta allo stesso modo.
      - Utile per valutare sistemi in scenari di ricerca multi-query.