Il test di usabilità con utenti è una metodologia empirica di valutazione che prevede l'osservazione del comportamento di persone, estranee al progetto di valutazione, mentre interagiscono con l'interfaccia oggetto di indagine. L'analisi del comportamento può essere effettuata a più livelli e con strumenti differenti, come la registrazione di utilizzo (loggin record) o la registrazione audio - video. Essa si differenzia dall'esperimento vero e proprio per la mancanza di una ipotesi sperimentale e di un gruppo di controllo. Inoltre, per effettuare una corretta osservazione non è necessario effettuare un campionamento rappresentativo dell'utenza, ma è sufficiente che il livello di esperienza dei soggetti prescelti corrisponda con buona approssimazione a quello della popolazione cui il sito Web è destinato. Il test di usabilità con utenti, così concepito, permette di ottenere preziose indicazioni sul grado di usabilità del prodotto analizzato, senza comportare un utilizzo eccessivo di risorse.
A questo proposito, Jakob Nielsen, uno dei massimi esperti mondiali di usabilità del Web, afferma che per condurre un efficace test di usabilità di un sito Internet, non sono necessari più di cinque utenti (Nielsen, 2000a e 2000b). In una ricerca, condotta nel 1990, Nielsen e Landauer dimostrarono che il numero totale di problemi di usabilità emergenti da un test con n utenti è: N ( 1- ( 1-L ) n ), dove N è il numero complessivo di problemi di usabilità e L è la porzione di problemi individuati testando un singolo utente. Il valore più ricorrente di L, da quanto emerge da questa ricerca, è 31%, risultato basato sullo studio di numerosi progetti.
Quindi, quando si raccolgono dati circa l'usabilità di un prodotto mediante un test di utilizzo in laboratorio, si riesce ad individuare un terzo dei problemi di usabilità del prodotto stesso. Procedendo con il test del secondo utente, naturalmente si avrà che alcune delle azioni compiute da questa persona corrispondono a quanto fatto dalla precedente, dando luogo, in questo modo, ad una sovrapposizione. Ma, poiché il comportamento di ciascuna persona si differenzia da quello degli altri, il ricercatore sarà in grado di osservare qualcosa di nuovo rispetto a quanto mostrato dal primo utente. Intuitivamente, è possibile immaginare che il terzo utente ripeterà pressappoco le azioni dei primi due utenti, fornendo un contributo in termini di nuove azioni sicuramente modesto. Continuando ad aggiungere utenti, diminuiscono le informazioni utili e si osservano ripetersi le medesime azioni; un gruppo di cinque utenti rileva in media l'85% dei problemi. Poiché lo scopo della valutazione non è quello di scoprire tutti i difetti di una versione del progetto analizzato, ma di permettere al progettista di giungere alla realizzazione di un prodotto che sia il più possibile privo di difetti, un test condotto con cinque utenti può essere considerato sufficiente per garantire al progettista di individuare la maggior parte dei difetti di usabilità presenti nel prototipo, con un rapporto favorevole fra costi e risultato. . A quel punto, il progettista della pagina sarà in grado di generare una nuova versione che tenga conto di quanto evidenziato dai test. Questo procedimento è necessario, in quanto l'analisi dell'usabilità condotta mediante la partecipazione di potenziali utenti ci informa circa la presenza di errori di progettazione nel prototipo approntato, ma non ci mette in guardia da possibili nuovi errori nelle successive versioni. Mediante un test con un gruppo di cinque persone, si evidenzieranno circa l'85% dei problemi presenti in quell'interfaccia; nella versione sviluppata successivamente è possibile che alcuni di questi errori siano sopravvissuti, ma, soprattutto, è probabile che ne siano stati introdotti di nuovi, nati dal tentativo di migliorare l'esistente. Anche se la porzione maggiore dei dati viene fornita dal primo soggetto, è preferibile condurre ciascun test ricorrendo alla collaborazione di cinque utenti per volta, per mettersi al riparo dal rischio di essere sviati dagli atteggiamenti insoliti del singolo utente, che può compiere azioni a caso o in maniera poco rappresentativa della media dell'utenza. Il numero minimo di utenti da utilizzare per avere un'idea delle differenze tra gli utenti e capire quali possono essere considerati comportamenti isolati e quali possono essere, invece, generalizzati, è di tre soggetti. Esistono casi in cui un test con cinque partecipanti può non essere sufficiente. È necessario compiere dei test con un maggior numero di soggetti quando un sito Web è destinato a categorie diverse di utenti; l'equazione iniziale, infatti, è valida solo se i clienti finali sono simili tra loro ed utilizzeranno il sito pressappoco allo stesso modo. In ogni caso, anche quando i gruppi di utenti sono molto diversi tra loro, le osservazioni dei due gruppi sono molto simili, perché spesso si riferiscono principalmente al modo di relazionarsi con il Web delle persone e all'influenza sul comportamento dell'utente derivante dall'esperienza precedente con altri siti. Quindi, per testare più di un gruppo di utenti non è necessario avvalersi dello stesso numero di persone utilizzato nel test di un singolo gruppo di utenti e la sovrapposizione tra le varie osservazioni assicurerà un ottimo risultato anche con gruppi più piccoli.