it-swarm.asia

هل اختبار A / B يستحق المصاريف والوقت المضافين؟

يستفسر العميل عن اختبار تقسيم A/B أعمى لتطبيق عبر الإنترنت يركز معظمه على قابلية الاستخدام لسير التصميم والتطبيق. قرأ شخص ما في مكتب العميل مقالًا حول كيفية قيام جميع الوكالات الكبيرة بإجراء اختبار A/B للمفاهيم قبل بدء البث المباشر ... لذلك يجب أن يكون من المهم بالنسبة لهم القيام بذلك أيضًا!

- تعديل - حول التطبيق: إنه تطبيق يواجه الجمهور ، ولكن سيتم دفع المستخدمين كأعضاء ، لذلك ليس للاستخدام المجاني المفتوح. سيكون المستخدمون عملاء مباشرين ، والذين بدورهم سيعيدون بيع المنتج لعملائهم. من المرجح أن تكون حركة المرور عند الذروة + -1000 مستخدم ؛ البعض منهم سيكونون مستخدمين يوميًا بينما قد يكون جزء أصغر 1X/week. --تعديل--

هل تبرر النتائج المصاريف والجهود المضافة؟

3
bpeterson76

آمل أن أتفهم موقفك بشكل صحيح. إذا لم أكن كذلك ، اترك تعليقًا وسوف أقوم بتنظيفه قليلاً.

في وضعك ، لست متأكدًا من مدى نجاح اختبار A/B - أنا مهتم بالقدرة على الحصول على نتائج قابلة للاستخدام. هناك مشكلتان يجب التغلب عليهما - الحصول على نتائج صالحة إحصائيًا ثم فهم تلك النتائج.

المشكلة الأولى التي تحتاج إلى رؤيتها هي أن حوالي 1000 شخص يستخدمون خدمتك ليسوا قاعدة مستخدمين كاملة ولا يمكنك التأكد من أنهم ممثلون لمستخدميك. لمجرد أن هؤلاء المستخدمين البالغ عددهم 1000 يظهرون اتجاهات معينة في اختبار A/B لا يعني أن مجموعات أخرى من المستخدمين ستكون لديهم أيضًا هذه الميول. وأعتقد أن هذا يحجب أيضًا الصحة الإحصائية للنتائج لأن لديك عينات غير صحيحة.

لديك أيضًا فئتان من الأشخاص الذين يستخدمون خدمتك الخاصة ، والذين يعرفون عدد الذين يستخدمون أنظمة إعادة البيع. في نظامك ، لديك المستخدمون المتكررون والنادرون. ولكن ماذا عن عمليات النشر الأخرى؟ إذا كانت تغييراتك ستؤثر عليها أيضًا ، فقد تؤثر على قدرتهم على تحقيق أهدافهم دون أي بيانات عن تجربة المستخدم الخاصة بهم في A أو B.

وفهم أي نتائج تحصل عليها سيكون أمرًا صعبًا ، خاصة إذا نشرت اختبار A/B الخاص بك عبر عمليات نشر متعددة لخدمتك. إذا كنت تقوم بجمع بيانات من عدة مجموعات مميزة ، فقد ترى أنك حققت نتائجك المرغوبة بعلامة A في البعض و B في مناطق أخرى - وعليك بعد ذلك أن تقرر ما إذا كانت هذه المعلومات دقيقة بالفعل ثم تقرر ما يجب القيام به.

بصراحة ، في هذه الحالة ، أود أن أوصي الدراسات الاستقصائية. تعرف على خلفية المستخدمين لديك - الفئة العمرية والجنس وتجربة الكمبيوتر والمهنة - وكيفية استخدامهم للبرنامج. بعد ذلك ، اكتشف الميزات التي يعجبون بها أو لا يحبونها ، وما هي الميزات التي يسهل استخدامها أم لا ، وما إلى ذلك. يجب أن يذهب هذا الاستطلاع إلى أكبر عدد ممكن من الأشخاص - الأشخاص الذين يستخدمون النشر والأشخاص الذين يستخدمون عمليات النشر الأخرى.

5
Thomas Owens

اختبار A/B له مكانه ولكنه يتطلب بعض الأشياء التي يجب الاحتفاظ بها. الأهم من ذلك أنك تحتاج إلى مقياس نجاح واضح. بمعنى آخر. يجب أن يكون من الواضح أن نحكم على ما هو أفضل من A أو B. هذا ينطبق بشكل أساسي إذا كان موقعك موجهًا لهدف تجاري محدد (على سبيل المثال ، حث الناس على تقديم طلبات الشراء ، وحمل الناس على النقر فوق روابط الإعلانات ، إلخ).

تحتاج أيضًا إلى بدائل واضحة للاختبار وقاعدة مستخدم كبيرة بما يكفي لتكون قادرًا على الحصول على نتائج إحصائية صالحة لكل إقران A/B. عدد الاقتران ومدة الاختبار هو عامل في هذا أيضا.

إذا كنت مهتمًا بشكل أكبر بتحسين قابليتها للاستخدام بشكل عام ، فستكون أفضل حالًا في إجراء تقييمات قابلية الاستخدام التعاونية (الجلوس مع مستخدمي الاختبار ومراقبتهم من خلال قائمة المهام ، مع ملاحظة المشكلات). أنها أرخص وتنتج نتائج مفيدة للغاية.

في النهاية ، يتعلق الأمر بما تحاول إنجازه.

3
Kris

قرأ شخص ما في مكتب العميل مقالًا حول كيفية قيام جميع الوكالات الكبيرة بإجراء اختبار A/B للمفاهيم قبل بدء البث المباشر ... لذلك يجب أن يكون من المهم بالنسبة لهم القيام بذلك أيضًا!

كل شيء جيد وجيد إذا كنت تدفع لك أموال كبيرة مقابل نتائج وكالة كبيرة على موقع وكالة كبيرة ... للأسف ، كما لاحظ كريس وتوماس أوينز ، أخذ العينات الإحصائية لا يتغير أسفل جيد جدا.

المستخدمون الذين دفعوا مقابل الخدمة هم لا يركز اختبار المتغيرات المتعددة بشكل عام على (وحكمة) - الفكرة هي العثور على كيفية تحويل الأشخاص الذين ليسوا المشتركين لأن هناك الكثير منهم واهتمامهم يستحق أكثر من الارتباك المحتمل للمشتركين الحاليين الذين وقعوا بالفعل على أي حال.

3
danlefree

إذا كان لديك موقف يكون فيه للمطورين/المديرين العديد من الأشياء في الاعتبار بالنسبة لصفحة معينة ، فإن اختبار A/B مع ما يكفي من عدد زيارات المستخدم هو طريقة جيدة لمحاولة تحديد ما هو أفضل.

إذا كانت القرارات مطلوبة ، ولا توجد مساحة كبيرة للتجربة (حقيقة معظم متاجر webdev) فإن اختبار A/B السطحي لن يحقق النتائج التي قد تتوقعها.

إن حيلة اختبار A/B هي الحصول على بيانات إحصائية كافية ، ثم تحليل النتائج - حيث يكون التحليل هو الجزء الصعب. لذلك فإن إعداد A/B لا يستغرق وقتًا طويلاً بجانب الوقت اللازم لفهم البيانات.

قد تحتاج أيضًا إلى التفكير في استخدام اختبارات قابلية الاستخدام المباشرة الموضحة في seit.com .

أو حتى الأدوات الآلية مثل ClickTale التي ستظهر لك كيف يستخدم المستخدمون صفحاتك.

0
Evgeny

يعد اختبار A/B رخيصًا إلى حد ما ويسهل القيام به في هذه الأيام ، يمكنك استخدام Google Website Optimizer وهو مجاني أو ما يشبه مُحسِّن مواقع الويب الافتراضية التي تنخفض خططها إلى 50 دولارًا/شهرًا. أوصي A/B باختبار أي مهام موجهة نحو الهدف ، (التحويلات ، والاشتراكات ، وما إلى ذلك) في أسوأ الأحوال ، لن تحصل على فائز إحصائي وتهدر 50 دولارًا في أحسن الأحوال ، حيث تقوم بتحسين معدلات التحويل ويزيد عميلك المزيد من المال.

من النظر إلى الوصف الخاص بك يبدو الأمر كما لو كانوا يبحثون عن اختبار قابلية الاستخدام بدلاً من تحسين التحويل. إذا كان الأمر كذلك ، فقد استخدمت كلاً من clicktale (سبق ذكره أعلاه) و usertesting.com كلاهما يستحقان المال في تجربتي. يسمح موقع ustertesting.com باختبارات سهولة الاستخدام العامة ويتيح لك clicktale معرفة ما يفعله المستخدمون الفعليون.

يمكنك تشغيل كل من اختبارات A/B واختبارات قابلية الاستخدام مقابل إجمالي أقل من 500 دولار ، لذلك إذا كانت الميزانية موجودة وكان لديك أهداف واضحة ، فإن الأمر يستحق ذلك تمامًا.

0
Joshak