it-swarm.asia

Apa yang disarankan untuk jumlah pengguna untuk digunakan dalam pengujian kualitatif dan kuantitatif?

Saat ini saya sedang membangun kembali seluruh intranet kami dari awal, terutama karena teknologi di belakang sudah ketinggalan zaman dan telah terbukti bahwa banyak informasi sulit ditemukan.

Meskipun itu intinya, apa yang saya pikirkan adalah berapa jumlah pengguna optimal yang akan digunakan untuk pengujian kualitatif dan kuantitatif dengan jumlah pengguna sekitar 1000 pengguna?

Apakah ada aturan umum untuk keduanya berdasarkan jumlah total pengguna yang Anda miliki? atau hanya mengatakan 5 untuk kualitatif dan 10 untuk kuantitatif?

Apa yang akan menjadi pendekatan terbaik?

9
LiamGu

Dalam Mengapa Anda Hanya Perlu Menguji dengan 5 Pengguna Jakob Nielsen menyarankan:

Hasil terbaik berasal dari pengujian tidak lebih dari 5 pengguna dan menjalankan tes kecil sebanyak yang Anda mampu.

Namun, daripada berfokus pada jumlah pengguna, mungkin lebih baik untuk fokus pada jumlah dan kualitas tugas :

Tugas kegunaan tes sangat penting sehingga beberapa orang berpendapat itu bahkan lebih penting daripada jumlah peserta yang Anda gunakan: tampaknya berapa banyak tugas peserta mencoba, bukan jumlah peserta tes, adalah faktor penting untuk menemukan masalah dalam tes kegunaan .

10
Antony Quinn

Saya tidak memiliki referensi untuk ini, tetapi saya akan berpikir bahwa angka-angka ini akan tergantung pada ukuran basis pengguna.

Untuk pengujian kualitatif, Anda harus memiliki pengguna "tipikal". Jadi, jika Anda memiliki 3 peran, pengguna Anda dapat mengambil, Anda membutuhkan setidaknya 3 pengguna - satu untuk setiap peran. Pada kenyataannya Anda menginginkan lebih dari satu, tetapi ini adalah minimum absolut Anda.

Untuk pengujian kuantitatif, Anda membutuhkan proporsi basis pengguna yang signifikan. Saya tidak tahu angka apa yang akan terjadi, tetapi jika Anda mengambil basis pengguna Anda dan 10% sebagai angka, Anda akan membutuhkan 100 pengguna. Namun, ini mungkin tidak realistis - mungkin tidak ada cara Anda dapat mengelola banyak pengguna, atau jika Anda memiliki basis pengguna yang kecil itu akan menghasilkan jumlah yang sangat kecil.

2
ChrisF

Hal lain yang perlu dipertimbangkan adalah ke mana hasil laporan kegunaan Anda pergi. Berapa banyak pekerjaan yang dapat dilakukan orang-orang di hilir dari Anda - dan apa dampak perbaikan itu nantinya?

Katakanlah saya menjalankan tes dengan lima belas orang. Setelah tiga pertama saya telah melihat masalah A B C. Pada akhir lima belas saya juga melihat masalah D E F G.

Masalahnya adalah bahwa tim hilir dari saya hanya punya waktu untuk memperbaiki A dan B.

Lebih buruk lagi - begitu kita memperbaiki A dan B sistem telah berubah, dan masalah kegunaan paling serius berikutnya mungkin bukan C-G.

Jadi saya akan melihat seluruh waktu siklus pengembangan produk Anda - dan hanya melakukan pengujian kegunaan yang cukup untuk mengisi antrian pekerjaan. Lebih dari itu kemungkinan akan sia-sia.

Sudah pengalaman saya bahwa melakukan lebih banyak tes kegunaan dengan lebih sedikit partisan (bahkan hanya satu) yang tersebar di seluruh proses pengembangan jauh lebih efektif daripada beberapa tes besar.

2
adrianh

Untuk pengujian kuantitatif, dimungkinkan untuk lebih eksplisit tentang pengaruh ukuran sampel pada hasil Anda, tetapi jumlah pengguna yang Anda butuhkan tergantung pada tes atau analisis tertentu yang Anda pertimbangkan (contoh dapat menentukan proporsi peserta yang berhasil menyelesaikan tugas) , memperkirakan rata-rata waktu tugas, membandingkan dua versi dengan kuesioner seperti SUMI atau SUS ...) Oleh karena itu sulit untuk memberikan aturan praktis yang akan berguna untuk semua situasi tetapi ada teknik untuk mengetahui ukuran sampel Anda perlu dalam situasi tertentu.

Sekarang, jika Anda tidak ingin membahas semua masalah ini dan benar-benar memperkirakan hal-hal seperti interval kepercayaan dan kekuatan statistik, masih ada dua kesimpulan penting yang perlu diingat.

Yang pertama adalah bahwa ketepatan estimasi dan karenanya jumlah pengguna yang Anda butuhkan untuk mencapai tingkat presisi tertentu tidak tergantung pada ukuran basis pengguna Anda, setidaknya selama basis pengguna ini jauh lebih besar dari sampel uji Anda. Yang kedua adalah bahwa semakin besar ukuran sampel Anda, semakin kecil peningkatan yang dapat Anda harapkan dari pengguna uji tambahan. Jadi, beralih dari 10 menjadi 110 adalah peningkatan besar, dari 1.000 menjadi 1100 tidak begitu banyak.

Itu sebabnya jajak pendapat sering memiliki sampel sekitar 1000 peserta, bahkan ketika populasi yang menarik termasuk beberapa juta orang. Bahkan, ukuran sampel untuk jajak pendapat pra-pemilihan biasanya akan sangat mirip di negara-negara dengan 5, 80 atau 200 juta penduduk. Selama sampel Anda acak dan populasinya jauh lebih besar, tidak masalah jika Anda hanya meminta 1%, 0,1% atau 0,00001% dari total jumlah pemilih.

Kedua kesimpulan ini masih berlaku untuk hal-hal lain selain persentase: misalnya perbandingan antara penilaian pada kuesioner kepuasan atau analisis waktu yang dibutuhkan untuk menyelesaikan tugas. Jika Anda ingin melangkah lebih jauh, satu titik awal yang baik adalah situs web Jeff Sauro http://www.measuringusability.com/

1
Gala