webDriver

Documentation

Index

• func GetCiteDocuments(wd selenium.WebDriver, LinkCitations string, numDoc uint64, ...) ([]structures.Document, uint64)
• func GetCiteDocumentsByThreshold_MA(wd selenium.WebDriver, LinkCitations string, numPages, threshold, perc int) ([]structures.MADocument, int)
• func GetCiteDocuments_MA(wd selenium.WebDriver, LinkCitations string, numDoc uint64, numPages int) ([]structures.MADocument, uint64)
• func GetDocumentsFromPage(wd selenium.WebDriver, numDocs uint64, maxCit, threshold, perc int) ([]structures.Document, uint16)
• func GetDocumentsFromPageBasic_MA(wd selenium.WebDriver, maxCit, threshold, perc int) ([]structures.MADocument, int, int)
• func GetDocumentsFromPage_MA(wd selenium.WebDriver, numDocs int) ([]structures.MADocument, uint64)
• func GetFirstDocumentOfPage(wd selenium.WebDriver, url string) structures.Document
• func GetInfo(wd selenium.WebDriver, startURL string) (structures.MADocument, []string)
• func GetInitialDocument(wd selenium.WebDriver) structures.Document
• func GetInitialDocumentByURL_MA(wd selenium.WebDriver, startURL string) structures.MADocument
• func GetInitialDocument_MA(wd selenium.WebDriver, phrase string) structures.MADocument
• func LoadDocuments(dim int) []structures.Document
• func PrintDocuments(allDoc []structures.Document)
• func SaveDocuments(allDoc []structures.MADocument)
• func StartSelenium(port int) (*selenium.Service, selenium.WebDriver)

Functions

func GetCiteDocuments

func GetCiteDocuments(wd selenium.WebDriver, LinkCitations string, numDoc uint64, threshold, perc int) ([]structures.Document, uint64)

Dato un link alla pagina di partenza, comincio a raccogliere i documenti (10 per pagina) finche' non arrivo a numDoc.

func GetCiteDocumentsByThreshold_MA

func GetCiteDocumentsByThreshold_MA(wd selenium.WebDriver, LinkCitations string, numPages, threshold, perc int) ([]structures.MADocument, int)

Raccolgie i documenti in base a una soglia sul numero di citazioni. Serve per creare l'albero

func GetCiteDocuments_MA

func GetCiteDocuments_MA(wd selenium.WebDriver, LinkCitations string, numDoc uint64, numPages int) ([]structures.MADocument, uint64)

Dato un link alla pagina di partenza, comincio a raccogliere i documenti (8 per pagina) finche' non arrivo a numDoc. Anche qui ho bisogno del numero delle pagine in cui sono distribuiti i doc che citano.

func GetDocumentsFromPage

func GetDocumentsFromPage(wd selenium.WebDriver, numDocs uint64, maxCit, threshold, perc int) ([]structures.Document, uint16)

Data un pagina (impostata dal WebDriver) prendo un certo numero di documenti dalla pagina partendo dal primo in alto. Se il numero (numDocs) e' maggiore del numero di documenti nella pagina (tipicamente 10), mi limito a restituire i documenti presenti nella pagina e la loro quantita'.

func GetDocumentsFromPageBasic_MA

func GetDocumentsFromPageBasic_MA(wd selenium.WebDriver, maxCit, threshold, perc int) ([]structures.MADocument, int, int)

Uso sempre una soglia come criterio per raccogliere le informazioni ma mi limito a raccogliere: titolo, LinkCitations, numCitations, fields of study. Devo anche raccogliere i fields of study (keyword) -> devo visitare la pagina di ogni articolo Puo' avere 2 comportamenti, threshold puo' essere:

• il numero minimo di citazioni di un documento
• il massimo numero di citazioni tra i documenti che citano (il primo della prima pagina dei risultati), prendo quelli che hanno almeno un numero di citazioni pari a una percentuale di threshold. Se threshold = -1 -> sono al primo giro

Ritorno: documenti, quanti ne ho presi e la nuova soglia (che cambia solo al primo giro)

func GetDocumentsFromPage_MA

func GetDocumentsFromPage_MA(wd selenium.WebDriver, numDocs int) ([]structures.MADocument, uint64)

Data un pagina (impostata dal WebDriver) prendo un certo numero di documenti dalla pagina partendo dal primo in alto. Se il numero (numDocs) e' maggiore del numero di documenti nella pagina (tipicamente 8), mi limito a restituire i documenti presenti nella pagina e la loro quantita'.

func GetFirstDocumentOfPage

func GetFirstDocumentOfPage(wd selenium.WebDriver, url string) structures.Document

func GetInfo

func GetInfo(wd selenium.WebDriver, startURL string) (structures.MADocument, []string)

func GetInitialDocument

func GetInitialDocument(wd selenium.WebDriver) structures.Document

Restituisce il documento da cui inizia la ricerca

func GetInitialDocumentByURL_MA

func GetInitialDocumentByURL_MA(wd selenium.WebDriver, startURL string) structures.MADocument

func GetInitialDocument_MA

func GetInitialDocument_MA(wd selenium.WebDriver, phrase string) structures.MADocument

Restituisce il documento da cui inizia la ricerca

func LoadDocuments

func LoadDocuments(dim int) []structures.Document

carico i documenti da file

func PrintDocuments

func PrintDocuments(allDoc []structures.Document)

modifica perche' riceva un unico array di document

func SaveDocuments

func SaveDocuments(allDoc []structures.MADocument)

salvo i documenti su un file

func StartSelenium

func StartSelenium(port int) (*selenium.Service, selenium.WebDriver)

Restituisco service solo per potrelo chiudere in main.go, non lo uso mai port sara' diverso da -1 solo nel caso stia aprendo delle connesioni per i thread