Please enable JavaScript.

Coggle requires JavaScript to display documents.

Modelli probabilistici - Coggle Diagram

- - - - Frequenza del termine (TF)→ più il termine viene ripetuto nel documento, più il documento è rilevante……ma con saturazione (non cresce all’infinito).
      - Rarità del termine (IDF)→ come TF-IDF: i termini rari valgono molto di più.
      - Lunghezza del documento→ documenti troppo lunghi tendono ad avere TF più alti, quindi BM25 normalizza.
  - - - se k1 basso → saturazione più rapida
      - se k1 alto → TF continua a crescere più a lungo
    - - b = 0 → nessuna normalizzazione
      - b = 1 → normalizzazione completa
      - b = 0.75 → compromesso ottimale
- - - - Semplice
      - Economico
      - Usatissimo nella IR tradizionale
    - - Considerano anche il contesto:
        
        P(parola | parola precedente)
        
        P(parola | due parole precedenti)
      - Sono migliori ma pesano troppo in termini di calcolo → usati meno nei motori di ricerca classici
- - - - Calcola un termine alla volta.
      - Per ogni termine, scorri la lista dei documenti che lo contengono→ aggiorni il punteggio per tutti i documenti coinvolti.
        
        Alla fine → unisci i punteggi.
        
        Pro: semplice Contro: può calcolare punteggi per tantissimi documenti inutili
    - - per ogni documento calcola l’intero punteggio (sommando contributi di tutti i termini)
        → passa al successivo
        È ideale quando vuoi fermarti dopo i top K.
      - Pro: più efficiente per il ranking
        Contro: richiede strutture dati più ottimizzate
- - - - Il sistema seleziona solo:
        
        termini con IDF elevato (parole rare)
        
        documenti con molti termini della query
      - E scarta:
        
        parole troppo comuni
        
        documenti che contengono pochi termini della query
      - Risultato: si taglia drasticamente il numero di documenti da valutare.
    - - Per ogni termine, si calcolano in anticipo i documenti più importanti.Quando arriva la query, non si parte da zero → si recupera subito un set di candidati.
      - Riduce enormemente il tempo di risposta.