Please enable JavaScript.

Coggle requires JavaScript to display documents.

RECUPERO INFORMAZIONI WEB, Disallow: /yoursite/temp/, User-agent:…

- - - - Il Web è enorme → servono molti crawler distribuiti.Perciò usa molte macchine.Problemi:
        
        pagine dannose (spam, infinite loops, pagine generate dinamicamente)
        
        latenza dei server (alcuni rispondono lentamente)
        
        profondità della struttura URL
        
        mirror e contenuti duplicati
    - - politiche dei server web(regola della velocità del crawler
        
        I crawler devono evitare di sovraccaricare i siti.
        
        Politica esplicita: rispettare robots.txt
        
        robots.txt
        È un file su ogni sito web che dice allo spider quali parti può o non può visitare.
        
        Esempio
        
        1 more item...
        
        Tutti gli spider non possono visitare /yoursite/temp/
        Lo spider "searchengine" può visitare tutto
        
        Politica implicita: evitare troppe visite allo stesso sito
- - - - → Esplora prima i link più “vicini” alla pagina iniziale✔ Copertura ampia✖ ma superficiale
    - - → Segue un link fino in fondo✔ Profondità✖ Rischio di perdersi in percorsi inutili
- - - - A. Punteggio di contenuto (“content score”)
        
        Misura quanto una pagina è pertinente con la query.
        
        Usa modelli di IR:
        
        VSM (cosine similarity)
        
        BM25
        
        TF, DF, IDF
        
        modelli probabilistici
        
        segnali linguistici
      - B. Punteggio di popolarità (“link-based score”)
        
        Misura quanto la pagina è autorevole usando la struttura dei link.
        
        Modelli principali:
        
        1. Analisi dei link semplice
        
        "I buoni indicano i buoni"
        
        nodi Buoni non indicheranno i nodi Cattivi
        • Cattivo: se indichi un nodo Cattivo
        • Buono: se un nodo Buono punta a te
        
        2 Analisi delle citazioni: la frequenza delle citazioni è una stima
        della popolarità
        
        Valuta l’importanza globale di una pagina guardando:✔ quanti link riceve✔ quanto sono importanti le pagine che la linkano✔ quanto è probabile che un “surfer casuale” la visiti, Anteprima Page-Rank: quali riviste sono autorevoli?
        
        Page-Rank: assegna un punteggio numerico compreso tra 0 e 1 a ogni nodo e dipende dalla
        struttura dei link del grafico web. Data una query, un motore di ricerca web calcola un punteggio
        composito per ogni pagina web che combina centinaia di caratteristiche come la somiglianza del
        coseno, insieme al punteggio Page-Rank. Questo punteggio composito viene utilizzato per fornire
        un elenco classificato di risultati per la query.
        
        si classifica anche in base :
        -caratteristiche della lingua (frasi, sinonimi, errori di ortografia, ecc.)
        • funzioni di query relative a funzioni linguistiche, termini/frasi di tendenza
        • caratteristiche legate al tempo (le query relative alle "notizie" potrebbero ricevere una
        risposta migliore da documenti indicizzati di recente)
        • funzioni di personalizzazione, che riguardano la cronologia delle ricerche, il comportamento
        e l'ambiente sociale.
        
        3. HITS (Hyperlink-Induced Topic Search)
        
        Restituisce due insiemi di pagine:
        
        Hub → pagine che linkano molte pagine autorevoli
        
        Authority → pagine molto linkate da buoni hub
        
        È utile per query con “argomenti ampi”.
        
        aggiunge una fetta ampia di opinione comune; in risposta a una query trova due
        serie di pagine correlate