it-swarm.asia

Membayar subjek tes untuk pengujian pengguna / pengujian beta

Saya telah membaca bahwa kelompok fokus adalah cara yang buruk dalam melakukan penelitian pengguna karena hal itu menarik kerapu fokus profesional yang bekerja "sirkuit" kelompok fokus untuk mencari nafkah. Ini jelas memiliki kelemahan utama karena Anda mendapatkan pendapat "ahli" alih-alih sampel acak dari pengguna biasa. Terlebih lagi, jika seseorang berpartisipasi dalam kelompok fokus secara teratur atau melakukannya untuk mencari nafkah, maka umpan balik mereka kemungkinan akan dipengaruhi oleh sesi sebelumnya.

Tapi saya tidak melihat masalah ini berbeda untuk pengujian pengguna. Saya sering melihat iklan menawarkan uang untuk berpartisipasi dalam pengujian beta atau menjadi penguji pengguna. Situs-situs seperti usertesting.com menawarkan hadiah uang tunai kepada pengguna yang mendaftar ke situs pengujian ($ 10 per situs), jadi agaknya subjek uji mereka juga akan menjadi penguji pengguna "profesional" yang berpartisipasi dalam sejumlah besar studi untuk mendapatkan lebih banyak uang . Perusahaan lain seperti UserZoom sumber perekrutan pengguna untuk "perusahaan panel profesional", yang saya asumsikan juga memberikan kompensasi kepada anggota panel mereka.

Jadi apakah membayar penguji pengguna merupakan praktik yang baik, atau apakah itu membahayakan data yang Anda peroleh dari itu? Jika ini bukan praktik yang baik, maka alternatif apa yang ada untuk mendapatkan sejumlah besar subjek tes yang tidak bias? Apakah hadiah undian akan lebih efektif?

Saya tahu banyak situs memilih pengunjung secara acak untuk berpartisipasi dalam tes pengguna. Tetapi bagaimana jika Anda disewa untuk melakukan pengujian kegunaan untuk layanan baru yang tidak memiliki lalu lintas yang cukup untuk merekrut penguji beta yang cukup?

12
Lèse majesté

Saya membaca tentang studi terbaru yang menurutnya 90% masalah UI dapat ditemukan oleh 5 atau lebih pengguna tes pertama. (Sayangnya saya tidak dapat mengingat tautannya, mungkin orang lain bisa) Ini juga menjelaskan pengalaman saya, tetapi triknya adalah, seperti yang dinyatakan di atas, untuk memastikan bahwa pengguna tidak terbiasa dengan UI dan niat Anda, dan untuk menjaga mereka tidak terkontaminasi selama proses berlangsung.

Karena Anda tidak membutuhkan begitu banyak, seharusnya tidak sulit untuk menemukan 5-10 teman dari teman atau orang tua atau yang lainnya yang Anda bisa (seperti yang dinyatakan di atas) cukup berterima kasih dan menawarkan makan siang yang menyenangkan untuk sesudahnya. Pembayaran tunai aktual menambah tekanan dan harapan yang tidak perlu pada proses yang bukan pengalaman yang akan dialami oleh pengguna reguler Anda. Idealnya tes ini juga terjadi di suatu tempat yang cukup kasual sehingga mereka tidak mendapatkan demam panggung/menganggapnya sebagai semacam tes kecerdasan dan lebih memperhatikan, katakanlah, faqs dan sejenisnya, daripada biasanya.

4
spongefile

Pemilihan sampel yang representatif adalah masalah yang sulit, yang tidak dapat Anda selesaikan dengan anggaran besarnya $ 10 per penguji. Ini mempengaruhi semua polling.

Yang Anda butuhkan sebenarnya bukan sampel yang mewakili populasi umum. Anda ingin sampel yang mewakili pengguna Anda. Itu jauh lebih mudah. Sampel Anda tidak harus bebas bias - itu hanya tidak harus memiliki bias dalam aspek yang berkaitan dengan sistem yang sedang diuji.

Pikirkan seperti ini: Untuk berapa banyak situs, Anda harus menyertakan seorang petani padi Cina yang tidak pernah memiliki akses ke komputer sebelumnya? Pasti ada jutaan dan jutaan dari mereka, tetapi tetap saja, Anda tidak membutuhkannya. (Maaf, Tuan Li, karena stereotip Anda)

Jadi, cari tahu: Apa itu pengguna potensial? Bagaimana orang menggunakan - atau seharusnya menggunakan - sistem Anda? Apakah Anda pernah menggunakan kasing dengan pengguna biasa? pilih pengguna fiksi representatif dari itu, mis .: .:

  • "pengguna daya gadget-pecandu"
  • "CEO luddite"
  • "Bosnya membuatnya dan dia tidak menyukainya"

Cobalah mencari perwakilan untuk itu. Tidak harus menjadi CEO, tetapi seseorang tidak sabar, tidak paham komputer dengan banyak hal di pikirannya. (ibu? Apakah itu kamu?)


Mengenai pertanyaan terakhir:

Tetapi bagaimana jika Anda disewa untuk melakukan pengujian kegunaan untuk layanan baru yang tidak memiliki lalu lintas yang cukup untuk merekrut penguji beta yang cukup?

Tanyakan saja pada teman, dan undang mereka untuk makan malam sesudahnya.

8
peterchen

Mengenai pertanyaan terakhir Anda, selain dari keluarga dan teman, saya menggunakan layanan iklan baris gratis mis. craigslist untuk menemukan calon pengguna acak.

Kuncinya adalah untuk memfilter pelamar yang tertarik (sebelum Anda memanggil mereka) dengan menanyakan beberapa pertanyaan penting (survei online atau telepon) yang relevan dengan seberapa Anda akan "mengelompokkan" sampel Anda. Misalnya, pertanyaan seperti "Sudahkah Anda menyelesaikan pendaftaran online sebelumnya?" dapat menjadi sangat penting ketika Anda ingin mengukur efektivitas aliran pendaftaran baru Anda; tergantung pada tujuan pengujian atau audiens yang dituju, Anda dapat memiliki jalur penyaringan pertama berdasarkan pertanyaan sederhana itu.

Saya suka dengan cara ini dalam arti bahwa itu lebih pribadi dan juga memberi saya kesempatan untuk mempromosikan layanan yang sedang diuji. Ini mungkin berguna terutama ketika Anda menganggap itu adalah layanan baru.

Saya biasanya memberi para peserta kartu hadiah. Ya, saya memberi tahu mereka di muka.

8
moey

Dalam penelitian akademik, mendapatkan satu set peserta studi adalah sebanyak masalah, dan tidak ada jawaban sederhana. Intinya, jika Anda menawarkan imbalan ekstrinsik dalam bentuk apa pun, maka Anda akan menarik jenis orang tertentu yang tertarik dengan imbalan itu. Jika Anda tidak menawarkan hadiah, Anda hanya akan menarik orang-orang yang siap membantu Anda tanpa imbalan apa pun.

Satu-satunya jawaban nyata adalah bahwa Anda perlu membuat orang dengan cara apa pun bekerja untuk Anda, tetapi pastikan bahwa Anda menarik kesimpulan berdasarkan pertimbangan sampel.

2