Con l'aiuto di alcuni SEO, si sono individuati gli item e le domande di cui tener traccia durante le sessioni di navigazione effettuate dai partecipanti. Si sono definite delle situazioni in cui l'utente, digitando delle parole chiave si trovasse di fronte a diverse possibili configurazioni di risultati. Lo scopo era fornire al navigatore scenari differenti, per esempio avere le informazioni facilmente raggiungibili nei primi posti oppure nelle pagine successive o, addirittura, doverle cercare all'interno di altri siti come unica possibilità per trovare quanto cercato, ecc. In questo modo si sarebbe avuta la possibilità di osservare quali strategie mettesse in atto nella condizione che gli si era creata.
Inoltre, pur avendo ogni ricerca un suo scenario specifico, si volevano individuare degli item di riferimento costante, come ad esempio il motore scelto, la ripetizione della scelta, la profondità delle SERP esplorate, ecc.
Ne è emerso un modulo formato da 4 ricerche (le variabili indipendenti) da 7 a 15 item per una (i livelli delle variabili), 2 da un item e 4 domande finali sul funzionamento dei MdR (Allegato 1).
Le ricerche che componevano il modulo erano le seguenti.
Ricerca " Facile"
Si tratta di una ricerca semplice che, senza dover digitare attributi o verbi particolari, porti a risultati che già dalle prime posizioni siano attinenti all'informazione cercata. I partecipanti devono cercare la ricetta del filetto in crosta.
Ricerca "Non subito"
è una ricerca i cui risultati, a fronte della stringa digitata, siano posizionati dalla seconda o terza SERP dell'elenco del MdR. Occorre trovare informazioni su una persona di nome Francesco de Francesco.
Ricerca "Impossibile"
Consiste in una ricerca che porta a scarsi risultati. L'utente si trova in una situazione di forte difficoltà. L'oggetto della ricerca è l'indirizzo del ristorante Bella Napoli a Napoli.
Ricerca "Tante info"
Si tratta di una ricerca in cui nelle prime SERP del MdR vi siano molti risultati non attinenti all'informazione cercata; consiste nel comprare on-line delle scarpe rosse.
Ricerche Particolari
Consiste in 2 ricerche: la prima, il numero telefonico dell'azienda Cartiere Marchi S.p.A., in cui l'informazione cercata è già visibile sulla SERP; la seconda, l'immagine di un tramonto, in cui l'informazione è reperibile attraverso le sezioni specifiche del MdR.
Inoltre alla fine delle sei ricerche venivano poste ai partecipanti quattro domande sul funzionamento dei MdR aventi lo scopo di investigare sul loro livello di conoscenza.
Trovare delle ricerche "ad hoc" per gli obiettivi che ci si erano posti non era stato facile. Ogni ricerca doveva portare ad un diverso tipo di disposizione delle informazioni. Ad esempio alla ricerca "non subito" ci si era arrivati dopo molte prove che davano tutte facili risultati sulle prime SERP (a differenza di quanto si voleva). La scelta finale di Francesco de Francesco era stata dettata dal fatto di poter trovare sul Web informazioni a lui inerenti anche se non facilmente reperibili nella prima SERP, soprattutto in quanto lo stesso non è una persona nota. Anche per la ricerca impossibile erano servite più prove, in quanto difficilmente un argomento presente nei database del motore non è da quest'ultimo presentato sulle SERP, contesto che si voleva simulare. Nella ricerca "tante info", inoltre, si era dovuto optare per un tema generico (le scarpe rosse) perché altrimenti, cercando parole chiave più specifiche, il MdR proponeva subito nella prima SERP informazioni attinenti.
Metodo
Le sessioni di navigazione sono state effettuate con partecipanti volontari nell'ambito di incontri programmati di circa 1 ora. Gli incontri non sono mai stati più di quattro al giorno.
La sessione di navigazione veniva effettuata su un notebook Fujitsu Siemens dotato di scheda UMTS H3G per la navigazione internet o su stazioni di lavoro dei partecipanti quando le sessioni si erano organizzate presso la loro sede lavorativa o universitaria. In ogni caso, comunque, ci si era preoccupati di cancellare la cronologia del browser e tutte le altre informazioni residue delle navigazioni passate. Stessa cosa s'è fatta a conclusione di ogni sessione, per tutelare la privacy dei partecipanti.
Durante la sessione l'operatore forniva le informazioni necessarie per effettuare la ricerca ed interveniva solo su diretta richiesta del partecipante.
Inoltre, prima che la sessione cominciasse, per non far sentire "sotto esame" i partecipanti, l'operatore diceva loro che non si sarebbe trattato di un test per valutare le loro capacità di utilizzo di Internet.
Disegno
numero dei partecipanti: 16
numero delle ricerche per sessione di navigazione: 6
numero totale ricerche: 96
(Allegato 2)
Risultati
I navigatori non incontrano difficoltà nella prima ricerca e tutti la portano a termine senza problemi. Nella seconda invece, emerge un fenomeno imprevisto. Gli utenti che utilizzano gli apici (scrivono "Francesco de Francesco" e non Francesco de Francesco) portano a termine il compito trovando le informazioni cercate, mentre gli altri si trovano in difficoltà, in quanto l'informazione è difficile da trovare. Essendo solo 6 partecipanti su 16 ad utilizzare gli apici, non si è potuto verificare che strategie mettessero in atto quando l'informazione si trovava in seconda o terza pagina. Per 10 soggetti questa ricerca si trasforma in quella che era stata inizialmente prevista come ricerca impossibile. Una strategia riscontrata in caso di difficoltà è la consultazione da parte dei partecipanti di molte SERP per una stessa stringa di ricerca, arrivando in alcuni casi ad esaminare fino all'ottava pagina. Anche per la ricerca impossibile emerge un aspetto non previsto. La maggior parte dei partecipanti (14 su 16) invece di cercare l'indirizzo del ristorante attraverso il MdR, accede al sito delle pagine Gialle o Bianche, arrivando immediatamente all'informazione. Questo risultato, se da una parte fa emergere un fenomeno interessante, dall'altra, avendo scelto uno strumento diverso dal MdR, per l'utente questa ricerca diventa estremamente facile e non consente la valutazione delle strategie adottabili nel contesto inizialmente previsto. Inoltre, valutando nel complesso la sessione di navigazione, si può notare che 13 utenti su 16 usano siti specifici per certi temi, per l'appunto le Pagine Gialle per cercare un indirizzo oppure il sito di commercio elettronico Ebay per acquistare un prodotto. In riferimento alla ricerca che prevede l'acquisto on-line, sembrerebbe che gli utenti non siano sufficientemente motivati nel portare a termine il compito, forse per il fatto che il comprare un paio di scarpe rosse è troppo generico e poco legato alla realtà quotidiana.
(Allegato 3)
Limiti
Le 16 sessioni di navigazione hanno evidenziato vari problemi riguardanti i contenuti del modulo ed il metodo seguito.
Questi i principali limiti.
Non veniva data ai soggetti la possibilità di scegliere cosa cercare, nel caso in cui la ricerca consisteva in prodotti specifici da acquistare.
L'utilizzo degli apici da parte dei partecipanti, nella ricerca in cui i risultati non comparivano in prima pagina ma in quelle successive, davano risultati già sulla prima SERP, non consentendo la valutazione.
Nella ricerca impossibile, in cui i partecipanti dovevano trovare un ristorante specifico molto difficile da individuare, si notava che la maggior parte di essi utilizzavano il sito delle Pagine Gialle invece di un MdR, arrivando facilmente alla soluzione.
Quando all'utente veniva chiesto di cercare il numero telefonico di un'azienda, per verificare se entrasse o meno in un sito quando la SERP riportava già l'informazione, era possibile che i partecipanti lo facessero solo per un ulteriore controllo.
Non sono state inserite domande per la valutazione dell'esperienza informatica.
Non veniva indicato se i partecipanti, "cliccando" sugli ultimi link di una pagina di risultati o andando alla successiva, guardassero prima gli altri collegamenti disponibili.
Non è stata prevista la verifica del grado di soddisfazione dei partecipanti giunti all'informazione cercata, per capire se i navigatori tentino di arrivare al massimo livello possibile di soddisfazione o se si accontentino di risposte parzialmente soddisfacenti.
Si è tralasciato di controllare se i partecipanti usassero gli apici in modo corretto.
Non è stata prevista la verifica della motivazione per cui un partecipante decideva di abbandonare la ricerca per insoddisfazione, pur avendo trovato parte delle informazioni cercate.
Non si è verificato il passaggio alla seconda pagina dei risultati senza alcun click sulla prima, non avendo quindi chiaro se la cosa fosse data dal fatto che il partecipante scartasse mentalmente i primi risultati o se passasse alla seconda per un suo particolare schema mentale.
Non è stato chiesto ai partecipanti quale fosse la motivazione della scansione di molte pagine di risultati (quando questo avveniva).
La domanda "Come fa il sito ad entrare nei motori di ricerca?"non sempre veniva capita.
Alcune domande fatte ad ogni ricerca possono avere influenzato la parte restante dei test.
Il tempo per il completamento di una sessione è risultato di circa un'ora. Tale lunghezza è ritenuta eccessiva in quanto il partecipante, alla fine, risente della stanchezza, perde motivazione e tende a concludere frettolosamente. L'operatore stesso, più stanco, rischia di influenzare i soggetti, di esporre male i temi o di non rilevare i fenomeni nel modo corretto.
Dal punto di vista dei risultati il riscontro di questi limiti è stato prezioso, in quanto si è avuta la possibilità di un approfondimento ulteriore dei contenuti del modulo e del metodo per la verifica empirica.