Please enable JavaScript.

Coggle requires JavaScript to display documents.

IR - Coggle Diagram

- - - - La query è un’espressione booleana composta da keyword legate da operatori
        logici, e ogni documento e richiesta viene visto come un insieme di parole (Bag-of-words.)
      - Usa operatori: AND, OR, NOT
      - Un documento o corrisponde o non corrisponde
      - Vettori di incidenza
        
        Per ogni parola si crea un vettore 0/1 di dimensione N (numero documenti)
        
        ricerca produce una matrice di incidenza, è gigantesca, ma quasi totalmente di 0 → inutile salvarla interamente
        
        INDICE INVERTITO
        
        vengono memorizzate solo le posizioni
        nella matrice diverse da 0 perciò SOLO la lista dei documenti che la contengono.
      - Prima di creare l’indice bisogna pulire e normalizzare i testi.
        
        ✂️ Tokenization
        
        Normalization
        Rendere le parole uniformi
        
        rimuovere punteggiatura
        
        unire forme simili (U.S.A → USA)
        
        mettere tutto in minuscolo
        
        gestire varianti con trattini
        
        Lemmatization
        Trasformare una parola nella sua forma “da dizionario”
        
        Stemming
        Tagliare le parole per ottenere la radice
      - IL DIZIONARIO
        Il dizionario è l’insieme di tutte le parole che il sistema conosce
        
        specifico del dominio (MeSH, UMLS per medicina)
        
        linguistico (WordNet, dizionari)
        
        generico (tutte le parole incontrate nei documenti)
    - - l sistema restituisce un ordinamento sui documenti (in alto) nella
        raccolta per una query. mostra solo i primi k (≈ 10) risultati e non travolge l'utente.
      - Modello Spaziale Vettoriale
        
        Documenti e query sono vettori. Calcola la similarità (es. Coseno). Introduce il ranking.
  - - - evoluzione dello standard probabilistico. Pesa la frequenza dei termini (TF) e la lunghezza del documento. È ancora una baseline molto forte.
    - - Calcolano la probabilità che un documento "generi" la query.
  - - - Modellano le dipendenze tra termini e documenti
    - - Imparare a classificare. Invece di una formula fissa (come BM25), si usa un algoritmo che "impara" l'ordine ottimale basandosi su features (es. Ranking SVM).
  - - - Utilizzano reti profonde per estrarre pattern complessi di rilevanza
    - - Un algoritmo di Learning to Rank supervisionato.
        Vede il ranking come un problema di classificazione a coppie (il doc A è meglio del doc B?).
    - - BERT / GPT: Modelli pre-addestrati su enormi quantità di testo.
        
        Semantic Search: Capiscono che "auto" e "macchina" sono simili (sinonimia) o capiscono il contesto della frase.
        
        Gestiscono query lunghe e conversazionali molto meglio dei modelli classici.