Slide 1

CHAPTER 5:
Evaluation and the User Experience

Designing the User Interface:

Strategies for Effective Human-Computer Interaction
Fifth Edition
Ben Shneiderman & Catherine Plaisant
in collaboration with
Maxine S. Cohen and Steven M. Jacobs
Presented by:
Dr. AL-GAWDA
Addison Wesley
is an imprint of

© 2010 Pearson Addison-Wesley. All rights reserved.

 ‫‪Slide 2‬‬

‫?‪Why evaluate‬‬

‫‪In HCI we evaluate interfaces and systems to:‬‬

‫‪• Determine how usable they are for different user‬‬

‫‪groups‬‬
‫‪• Identify good and bad features to inform future‬‬
‫‪design‬‬
‫‪• Compare design choices to assist us in making‬‬
‫‪decisions‬‬
‫‪• Observe the effects of specific interfaces on users‬‬
‫‪1-2‬‬

‫‪2‬‬

‫لماذا تقييم؟ ممكن تقيم وتعطي نسبة هل النموذج والنظام قابل لالستخدام بالنسبة للمستخدمين‬
‫في ‪ ،HCI‬نقوم بتقييم الواجهات واألنظمة من أجل‪:‬‬

‫تحديد كيفية استخدامها لمجموعات مختلفة من المستخدمين‬

‫تحديد الميزات الجيدة والسيئة إلعالم التصميم المستقبلي‬
‫مقارنة خيارات التصميم لمساعدتنا في اتخاذ القرارات‬
‫مراقبة تأثيرات واجهات محددة على المستخدمين‬
 ‫‪Slide 3‬‬

‫‪Introduction‬‬

‫•‬ ‫‪Designers can become so entranced with their creations that they‬‬
‫‪may fail to evaluate them adequately.‬‬
‫•‬ ‫‪Experienced designers have attained the wisdom and humility to‬‬
‫‪know that extensive testing is a necessity.‬‬
‫•‬ ‫‪The determinants of the evaluation plan include:‬‬
‫)‪– stage of design (early, middle, late‬‬
‫)‪– novelty of project (well defined vs. exploratory‬‬
‫‪– number of expected users‬‬
‫‪– criticality of the interface (life-critical medical system vs. museum‬‬
‫)‪exhibit support‬‬
‫‪– costs of product and finances allocated for testing‬‬
‫‪– time available‬‬
‫‪– experience of the design and evaluation team‬‬

‫‪1-3‬‬

‫‪3‬‬

‫المقدمة‬
‫يمكن للمصممين أن ينبهروا بإبداعاتهم لدرجة أنهم قد يفشلون في تقييمها بشكل كافٍ ‪.‬‬
‫المصممون ذوو الخبرة حصلوا على الحكمة والتواضع لمعرفة أن االختبار المكثف هو ضرورة وبيست مشكلة‬
‫ان يعدلوا اخطاء التصميم بعد االختبار والتقييم‪.‬‬
‫تتضمن محددات خطة التقييم ما يلي‪:‬‬
‫مرحلة التصميم (مبكر ‪ ،‬متوسط ‪ ،‬متأخر)‬
‫حداثة المشروع فكرة جديدة او فكرة قديمة (محددة جيدا مقابل االستكشافية(الزال الناس يكتشفوا))‬
‫عدد المستخدمين المتوقعين (خمسة مستخدمين غير ما يكونوا الف مستخدم )‬
‫هل الواجهات حرجة (النظام الطبي الحرج للحياة مقابل نظام لعرض محتويات المتحف)‬
‫تكاليف المنتج والشؤون المالية المخصصة لالختبار‬
‫الوقت المتاح لعملية التسليم‬
‫خبرات فريق التصميم وخبرات فريق التقييم‬
 ‫‪Slide 4‬‬

‫)‪Introduction (concluded‬‬

‫‪• Usability evaluators must broaden their methods and be‬‬

‫‪open to non-empirical methods, such as user sketches,‬‬
‫‪consideration of design alternatives, and ethnographic‬‬
‫‪studies.‬‬
‫‪– Recommendations needs to be based on observational findings‬‬

‫‪• The design team needs to be involved with research on‬‬

‫‪the current system design drawbacks‬‬
‫‪– Tools and techniques are evolving‬‬
‫‪– The range of evaluation plans might be anywhere from an ambitious two-year test‬‬
‫‪with multiple phases for a new national air-traffic control system to a three-day‬‬
‫‪test with six users for a small internal web site‬‬
‫‪– The range of costs might be from 20% of a project down to 5%.‬‬

‫‪• Usability testing has become an established and‬‬

‫‪accepted part of the design process‬‬ ‫‪1-4‬‬

‫‪4‬‬

‫المقدمة‬
‫يجب على مقيمي سهولة االستخدام توسيع أساليبهم وأن يكونوا منفتحين على طرق غير تجريبية ‪ ،‬مثل‬
‫ر سومات المستخدم العادية بدون تعقيد ممكن نعمل لها تقييم ‪ ،‬والنظر في بدائل التصميم رسم المستخدم بطرق‬
‫بديله وايضا ليس شرط ان تكون الرسوم معقده لكي نوافق على تقييمها ‪ ،‬والدراسات اإلثنوغرافية‪.‬‬
‫يجب أن تستند التوصيات إلى نتائج الرصد‬
‫يحتاج فريق التصميم إلى المشاركة في األبحاث حول عيوب وثغرات ومشاكل التصميم في النظام الحالي‬
‫األدوات والتقنيات تتطور (مصمم االوراكل قبل فترة سوف يصمم حاليا بادوات احدث)‬

‫قد يكون نطاق خطط التقييم في أي مكان من اختبار طموح لمدة عامين مع مراحل متعددة لنظام وطني جديد‬
‫لمراقبة الحركة الجوية إلى اختبار لمدة ثالثة أيام مع ستة مستخدمين لموقع ويب داخلي صغير من ثالثة ايام‬
‫الى سنتين حسب نوع النظام‬
‫قد يتراوح نطاق التكاليف للتقييم من ‪ ٪20‬من المشروع إلى ‪.٪5‬‬
‫ً‬
‫ومقبوال من عملية التصميم‬ ‫أصبح اختبار قابلية االستخدام جز ًءا راس ًخا‬
 ‫‪Slide 5‬‬

‫‪Evaluation Methods‬‬

‫‪Inspection methods (no users needed!)expert‬‬

‫‪– Heuristic evaluations‬‬
‫‪– Walkthroughs‬‬
‫‪– Other Inspections‬‬
‫)!‪User Tests (users needed‬‬
‫‪– Observations/Ethnography‬‬
‫‪• Ethnography: Observation of users in their natural‬‬
‫‪environment e.g. where the product is used‬‬
‫‪– Usability tests/ Controlled Experiments‬‬
‫‪1-5‬‬

‫‪5‬‬

‫طرق التقييم‬
‫طرق الفحص (ال يحتاج المستخدمون في هذه المرحلة!)‬
‫تقييمات الكشف عن مجريات األمور‬
‫المواضيع اإلرشادية (افتح مشروعك وان سوف اقيمه )‬
‫عمليات التفتيش األخرى‬
‫اختبارات المستخدم (يحتاج المستخدمون!)‬
‫المالحظات ‪ /‬االثنوغرافيا‬
‫اإلثن وغرافيا‪ :‬مراقبة المستخدمين في بيئتهم الطبيعية ‪ ،‬مثل‪ :‬مكان استخدام المنتج مثال صناعة السيارات سوف‬
‫تستخدم في اليمن او السودان‬
‫اختبارات قابلية االستخدام ‪ /‬تجارب خاضعة للتحكم‬
 Slide 6

Heuristic Evaluation

Heuristic evaluation (what is it?)

– Method for finding usability problems
– Popularized by Jakob Nielsen
“Discount” usability engineering
– Discount methods for practitioners. They are
not rigorous scientific methods.
– Use with working interface or scenario
– Convenient
– Fast
1-6
– Easy to use
6

‫تقييم ارشادي‬
)‫تقييم إرشادي (ما هو؟‬
‫طريقة للعثور على مشاكل سهولة االستخدام في التصميم‬
‫من افكار التي يدعمها المصمم جاكوب نيلسن‬
)‫هندسة "قابلية االستخدام" للخصم (عدم التنفيذ الصارم للمعايير‬
)‫(طرق يوجد فيها مرونة‬.‫ فهي ليست أساليب علمية صارمة‬.‫طرق الخصم للممارسين‬
‫تستخدم مع واجهة العمل أو السيناريو‬
‫مناسب‬
‫بسرعة‬
‫سهل االستخدام‬
 ‫‪Slide 7‬‬

‫‪Heuristic Evaluation‬‬

‫‪Systematic inspection to see if interface‬‬

‫‪complies to guidelines‬‬

‫‪Method:‬‬
‫‪– 3-5 inspectors‬‬
‫…‪– usability engineers, end users, experts‬‬
‫)‪– inspect interface in isolation (~1–2 hours for simple interfaces‬‬

‫‪Compare notes afterwards‬‬

‫‪– single evaluator only catches ~35% of usability problems, 5 evaluators‬‬
‫‪catch 75%‬‬
‫‪Works for paper, prototypes, and working systems‬‬
‫‪1-7‬‬

‫‪7‬‬

‫الكشف عن التقييم الكشف عن مجريات األمور في تصميمك لمعرفة ما إذا كانت الواجهات‬
‫تتوافق مع المبادئ التوجيهية‬

‫طريقة‪:‬‬
‫‪ 5-3‬فاحصين من بيئات مختلفة‬
‫مهندسو قابلية االستخدام ‪ ،‬والمستخدمون النهائيون ‪ ،‬والخبراء ‪...‬‬
‫فحص الواجهة وكل واحد معزول عن االخر (~ ‪ 2-1‬ساعة للواجهات البسيطة)‬
‫مقارنة المالحظات بعد ذلك‬
‫مقيم واحد فقط سوف يعرف حوالي ~ ‪ ٪ 35‬من مشاكل قابلية االستخدام ‪ ،‬اذا تم زيادة الفاحصين الى ‪ 5‬مقيمين‬
‫سوف يستطيعوا معرفة حوالي ‪ ٪ 75‬من مشاكل قابلية االستخدام‬
‫يعملوا على التصاميم الورقية والنماذج األولية وأنظمة شغاله‬
‫وجدوا افضل عدد من ‪ 5– 3‬فاحصين‬
 ‫‪Slide 8‬‬

‫‪Phases of a heuristic evaluation‬‬

‫‪1. Pre-evaluation training – give evaluators needed domain‬‬
‫‪knowledge and information on the scenario‬‬
‫‪2. Evaluate interface independently‬‬
‫‪3. Rate each problem for severity‬‬
‫‪– Each evaluator rates individually:‬‬
‫•‬ ‫‪0 - don’t agree that this is a usability problem‬‬
‫•‬ ‫‪1 - cosmetic problem‬‬
‫•‬ ‫‪2 - minor usability problem‬‬
‫•‬ ‫‪3 - major usability problem; important to fix‬‬
‫•‬ ‫‪4 - usability catastrophe; imperative to fix‬‬

‫‪4. Aggregate results‬‬

‫‪5. Debrief: Report the results to the interface designers‬‬ ‫‪1-8‬‬

‫‪8‬‬

‫مراحل التقييم اإلرشادي‬

‫‪ .1‬التدريب قبل التقييم ‪ -‬إعطاء المقيّمين معرفة في المجال والمعلومات الالزمة في السيناريو‬
‫‪ .2‬تقييم واجهة بشكل مستقل‬
‫‪ .3‬تقييم معدل كل مشكلة بحسب خطورتها يزيد قيمة معدلها في التقييم‬
‫كل مقيم يضع معدالت على حدة‪:‬‬
‫‪ - 0‬ال توافق على أن هذه مشكلة في قابلية االستخدام قد تكون مشكلة اخرى لكن ليست متعلقة بقابلية االستخدام‬
‫‪ - 1‬مشكلة جمالية‬
‫‪ - 2‬مشكلة قابلية االستخدام صحيح لكنها بسيطة‬
‫‪ - 3‬مشكلة قابلية االستخدام الرئيسية وتتعارض مع المعايير ؛ المهم أن يتم اصالحها‬
‫‪ - 4‬كارثة في قابلية االستخدام ؛ حتمية اإلصالح‬
‫‪ .4‬النتائج اإلجمالية‬
‫‪ .5‬استخالص المعلومات‪ :‬أبلغ عن النتائج لمصممي الواجهة‬
 ‫‪Slide 9‬‬

‫‪Expert Reviews and Heuristics‬‬

‫‪• While informal demos to colleagues or customers can‬‬

‫‪provide some useful feedback, more formal expert‬‬
‫‪reviews have proven to be effective‬‬
‫‪• Expert reviews entail one-half day to one week effort,‬‬
‫‪although a lengthy training period may sometimes be‬‬
‫‪required to explain the task domain or operational‬‬
‫‪procedures‬‬
‫‪• There are a variety of expert review methods to chose‬‬
‫‪from:‬‬
‫‒‬ ‫‪Heuristic evaluation‬‬
‫‒‬ ‫‪Guidelines review‬‬
‫‒‬ ‫‪Consistency inspection‬‬
‫‒‬ ‫‪Cognitive walkthrough‬‬
‫‒‬ ‫‪Formal usability inspection‬‬
‫‪1-9‬‬

‫‪9‬‬

‫مراجعات الخبراء واالستدالل‬

‫على الرغم من أن العروض التوضيحية غير الرسمية علي الزمالء أو العمالء (اخذ رائيهم في التصميم) يمكن‬
‫أن يقدم تقييمهم بعض المالحظات المفيدة ‪ ،‬فقد أثبتت مراجعات الخبراء األكثر رسمية فعاليه اكثر‬
‫تستلزم مراجعات الخبراء بذل جهد لمدة نصف يوم إلى أسبوع واحد ‪ ،‬على الرغم من أنه قد تكون هناك حاجة‬
‫في بعض األحيان إلى فترة تدريب طويلة لشرح مجال المهمة أو اإلجراءات التشغيلية‬
‫هناك مجموعة متنوعة من طرق مراجعة الخبراء لالختيار من بينها‪:‬‬
‫تقييم ارشادي‬
‫مراجعة المبادئ التوجيهية وهل تصميمك متوافق معها‬
‫فحص االتساق‬
‫تفكير عقلي منطقي (قد تكون مفهومة لك لكن تفاجئ باستفسارات المستخدمين الكثيرة عن كيفية االستخدام)‬
‫فحص قابليتها لالستخدام الرسمي‬
 Slide 10

Expert Reviews (cont.)

• Expert reviews can be scheduled at several points in the
development process when experts are available and
when the design team is ready for feedback.

• Different experts tend to find different problems in an

interface, so 3-5 expert reviewers can be highly
productive, as can complementary usability testing.

• The dangers with expert reviews are that the experts may
not have an adequate understanding of the task domain
or user communities.

• Even experienced expert reviewers have great difficulty

knowing how typical users, especially first-time users will
really behave.
1-10

10

)‫آراء الخبراء (تابع‬

‫يمكن جدولة مراجعات الخبراء في عدة نقاط من عملية التطوير عندما يكون الخبراء متوفرين وعندما يكون‬
ً
.‫جاهزا للتعليقات‬ ‫فريق التصميم‬
‫ خبراء‬5-3 ‫ لذلك يمكن أن يكون‬، ‫يميل الخبراء المختلفون إلى العثور على مشاكل مختلفة في واجهة ما‬
.‫ وكذلك اختبار قابلية االستخدام التكميلي‬، ‫مثمرا للغاية‬
ً ‫مراجعين‬
‫تتمثل المخاطر التي تنطوي عليها مراجعات الخبراء في أن الخبراء قد ال يكون لديهم فهم كاف لمجال المهمة‬
.‫التي سوف ينفذها النظام وال يعرف الخبير صفات وبيئة مجتمعات المستخدمين للنظام‬
، ‫حتى المراجعين الخبراء ذوي الخبرة يجدون صعوبة كبيرة في معرفة كيف سيتصرف المستخدمون العاديون‬
.‫خاصةً المستخدمين ألول مرة‬
 Slide 11

Step-by-Step Usability Guide from

http://usability.gov/

1-11

11
 Slide 12

1-12

12
 Slide 13

Usability Testing and Laboratories

• The emergence of usability testing and laboratories
since the early 1980s
Usability testing not only sped up many projects but
that it produced dramatic cost savings.
• The movement towards usability testing stimulated
the construction of usability laboratories.
• A typical modest usability lab would have two 10 by
10 foot areas, one for the participants to do their work
and another, separated by a half-silvered mirror, for
the testers and observers
• Participants should be chosen to represent the
intended user communities, with attention to
– background in computing, experience with the task,
motivation, education, and ability with the natural 1-13

language used in the interface. 13

‫معامل خاصة الختبار قابلية االستخدام‬

‫ظهور اختبارات قابلية االستخدام والمختبرات منذ أوائل الثمانينات‬

‫اختبار قابليتها لالستخدام ليس فقط تسرع العديد من المشاريع ولكنه يؤدى إلى وفورات كبيرة في تكاليف‬
.‫المشروع مع عدم االختبار سوف تظل عيوب التصميم وتسبب في تكاليف كبيرة للصيانة‬

.‫حفزت الحركة نحو اختبار قابلية االستخدام بناء معامل خاصةالختبارات قابلية االستخدام‬

‫ أحدهما للمشاركين ألداء‬، ‫ أقدام‬10 × 10 ‫يحتوي معمل قابلية االستخدام المتواضع النموذجي على مساحتي‬
‫ للمختبرين والمراقبين‬، ‫عملهم وجزء منها غرفة مفصولة بمرآة نصف عاكسه‬

‫ مع االنتباه إلى‬، ‫يجب اختيار المشاركين لتمثيل مجتمعات المستخدمين المقصودة‬

‫ والقدرة مع اللغة الطبيعية المستخدمة في‬، ‫ والتعليم‬، ‫ والتحفيز‬، ‫ تجربة مع المهمة‬، ‫الخلفية في الحوسبة‬
.‫الواجهة‬
 Slide 14

Usability Testing and

Laboratories (cont.)

1-14

14

‫من يختبر من‬

‫الشخص الذي يختبر ال يرى الفاحصين‬
 ‫‪Slide 15‬‬

‫‪Usability Testing and Laboratories‬‬

‫‪• Videotaping participants performing tasks is often valuable for‬‬
‫‪later review and for showing designers or managers the‬‬
‫‪problems that users encounter.‬‬
‫‪– Use caution in order to not interfere with participants‬‬
‫‪– Invite users to think aloud (sometimes referred to as‬‬
‫‪concurrent think aloud) about what they are doing as they‬‬
‫‪are performing the task.‬‬

‫‪• Many variant forms of usability testing have been tried:‬‬

‫‪– Paper mockups‬‬
‫‪– Discount usability testing‬‬
‫‪– Competitive usability testing‬‬
‫‪– Universal usability testing‬‬
‫‪– Field test and portable labs‬‬
‫‪– Remote usability testing‬‬ ‫‪1-15‬‬

‫‪– Can-you-break-this tests‬‬ ‫‪15‬‬

‫اختبار قابلية االستخدام والمختبرات (تابع)‬

‫غالبًا ما يكون تسجيل المشاركين الذين يقومون بأداء المهام مفيدًا للمراجعة الالحقة وإلظهار للمصممين أو‬
‫المديرين المشكالت التي يواجهها المستخدمون‪.‬‬
‫توخي الحذر حتى ال تتداخل مع المشاركين‬
‫ادع المستخدمين إلى التفكير بصوت عا ٍل كلم نفسك (يشار إليهم أحيانًا باسم التفكير المتزامن بصوت عا ٍل) حول‬
‫ما يقومون به أثناء قيامهم بالمهمة‪ .‬يوجد ميكرفون لنقل الصوت‬

‫تمت تجربة العديد من أشكال اختبار قابلية االستخدام‪:‬‬

‫نماذج بالحجم الطبيعي ورقة‬
‫اختبار قابلية االستخدام الخصم‬
‫اختبار قابلية االستخدام التنافسي مقارنه‬
‫اختبار قابلية االستخدام العالمي (اللغه والحروف واتجاه الكتابه‪....‬‬
‫االختبار الميداني والمختبرات المحمولة‬
‫اختبار قابلية االستخدام عن بعد‬
‫هل يمكنك كسر هذه االختبارات‬
 Slide 16

Usability Testing and

Laboratories (cont.)

In this eye-tracking setup, the This particular device tracks the

participant wears a helmet that participant’s eye movements when
monitors and records where on the using a mobile device Tobii is one 1-16

screen the participant is looking of several manufacturers 4-16

)‫اختبار قابلية االستخدام والمختبرات (تابع‬

‫ يرتدي المشارك خوذة تراقب ويسجل المكان الذي يظهر فيه المشارك على الشاشة‬، ‫في إعداد تتبع العين هذا‬

‫يتتبع هذا الجهاز المحدد حركات عين المشارك عند استخدام جهاز محمول‬
‫توبي هي واحدة من العديد من الشركات المصنعة‬
 Slide 17

Example of eye tracking

A color-coded heat map of the page

or screen shows the hotspots -those
areas of the page that received the
largest number of fixations and the
longest time for fixations-for
individual users and for all users in a
study.

The heat map from a study of

a corporate information page. The red
color on the heat map shows the
highest concentration for fixations,
followed by yellow and then blue.
1-17
17

‫مثال على تتبع العين‬

‫المناطق من الصفحة التي حصلت‬those - ‫خريطة الحرارة مرمزة الصفحة أو الشاشة تظهر النقاط الساخنة‬
.‫ المستخدمين الفرديين ولجميع المستخدمين في الدراسة‬fixations‫وقتا أطول ل‬fixations ‫على أكبر عدد من‬

‫خريطة الحرارة من دراسة‬

‫ اللون األحمر على خريطة الحرارة يبين‬.‫صفحة معلومات الشركات‬
.‫ويليه األصفر ثم األزرق‬fixations‫أعلى تركيز لل‬
 Slide 18

F pattern

1-18
18
 Slide 19

Survey Instruments

• Written user surveys are a familiar, inexpensive and generally

acceptable companion for usability tests and expert reviews.

• Keys to successful surveys

– Clear goals in advance
– Development of focused items that help attain the goals.

• Survey goals can be tied to the components of the Objects

and Action Interface model of interface design.

• Users could be asked for their subjective impressions about

specific aspects of the interface such as the representation of:
– task domain objects and actions
– syntax of inputs and design of displays.
1-19

19

‫أدوات المسح‬
‫استبيانات مسح اراء المستخدم المكتوبة هي رفيق مألوف وغير مكلف ومقبول بشكل عام الختبارات قابلية‬
.‫االستخدام ومراجعات الخبراء‬

‫مفاتيح االستطالعات الناجحة‬

‫أهداف واضحة مقدما‬
.‫تطوير العناصر المركزة التي تساعد على تحقيق األهداف‬

.‫يمكن ربط أهداف المسح بمكونات نموذج الكائنات وواجهة العمل لتصميم الواجهة‬

:‫يمكن أن يُطلب من المستخدمين انطباعاتهم الشخصية عن جوانب محددة من الواجهة مثل تمثيل‬
‫كائنات المجال المهمة واإلجراءات‬
.‫بناء جملة المدخالت وتصميم شاشات العرض‬
 Slide 20

Survey Instruments (cont.)

• Other goals would be to ascertain
– users background (age, gender, origins, education, income)
– experience with computers (specific applications or software
packages, length of time, depth of knowledge)
– job responsibilities (decision-making influence, managerial roles,
motivation)
– personality style (introvert vs. extrovert, risk taking vs. risk
aversive, early vs. late adopter, systematic vs. opportunistic)
– reasons for not using an interface (inadequate services, too
complex, too slow)
– familiarity with features (printing, macros, shortcuts, tutorials)
– their feeling state after using an interface (confused vs. clear,
frustrated vs. in-control, bored vs. excited).
1-20
20

‫أدوات المسح‬
‫أهداف أخرى ستكون للتأكد‬
)‫ الدخل‬، ‫ التعليم‬، ‫ األصول‬، ‫ الجنس‬، ‫خلفية المستخدمين (العمر‬
)‫ عمق المعرفة‬، ‫ طول الوقت‬، ‫تجربة مع أجهزة الكمبيوتر (تطبيقات أو حزم برامج محددة‬
)‫ الدافع‬، ‫ األدوار اإلدارية‬، ‫المسؤوليات الوظيفية (تأثير صنع القرار‬
‫ المتبني المتأخر مقابل‬، ‫ المخاطرة مقابل النفور من المخاطرة‬، ‫نمط الشخصية (االنطوائي مقابل المنفتح‬
)‫ المنهجية مقابل االنتهازية‬، ‫المتأخر‬
)‫ بطيئة للغاية‬، ‫ معقدة للغاية‬، ‫أسباب عدم استخدام واجهة (خدمات غير كافية‬
)‫ البرامج التعليمية‬، ‫ االختصارات‬، ‫ وحدات الماكرو‬، ‫اإللمام بالميزات (الطباعة‬
.)‫ بالملل مقابل متحمس‬، ‫ محبطة مقابل في السيطرة‬، ‫حالة شعورهم بعد استخدام واجهة (مشوشة مقابل واضحة‬
 Slide 21

Surveys (cont.)
• Online surveys avoid the cost of printing and the extra
effort needed for distribution and collection of paper
forms.
• Many people prefer to answer a brief survey displayed on
a screen, instead of filling in and returning a printed form,
– although there is a potential bias in the sample.
• A survey example is the Questionnaire for User
Interaction Satisfaction (QUIS).
– http://lap.umd.edu/quis/
The Questionnaire for User Interaction Satisfaction (QUIS) is a tool developed by a multi-
disciplinary team of researchers in the Human-Computer Interaction Lab (HCIL) at the
University of Maryland at College Park. The QUIS was designed to assess users' subjective
satisfaction with specific aspects of the human-computer interface. The QUIS team 1-21
successfully addressed the reliability and validity problems found in other satisfaction4-21
measures, creating a measure that is highly reliable across many types of interfaces.

‫الدراسات االستقصائية‬
‫تتجنب الدراسات االستقصائية عبر اإلنترنت تكلفة الطباعة والجهد اإلضافي الالزم لتوزيع وجمع النماذج‬
.‫الورقية‬
‫ بدالً من ملء نموذج مطبوع‬، ‫يفضل الكثير من الناس اإلجابة على استبيان موجز يتم عرضه على الشاشة‬
، ‫وإعادته‬
.‫على الرغم من وجود تحيز محتمل في العينة‬
QUIS).( ‫مثال االستطالع هو استبيان لرضا تفاعل المستخدم‬
http://lap.umd.edu/quis/
 Slide 22

Acceptance Test
• For large implementation projects, the customer or manager
usually sets objective and measurable goals for hardware and
software performance.

• If the completed product fails to meet these acceptance criteria,

the system must be reworked until success is demonstrated.

• Rather than the vague and misleading criterion of "user friendly,"

measurable criteria for the user interface can be established for
the following:
– Time to learn specific functions
– Speed of task performance
– Rate of errors by users
– Human retention of commands over time
– Subjective user satisfaction
1-22

22

‫اختبار القبول‬
‫ يقوم العميل أو المدير عادة ً بتحديد أهداف موضوعية وقابلة للقياس ألداء‬، ‫بالنسبة لمشاريع التنفيذ الكبيرة‬
.‫األجهزة والبرامج‬

.‫ فيجب إعادة صياغة النظام حتى يظهر النجاح‬، ‫إذا فشل المنتج المكتمل في تلبية معايير القبول هذه‬

‫ يمكن وضع معايير قابلة للقياس لواجهة المستخدم لما‬، "‫بدالً من المعيار الغامض والمضلل لـ "سهل االستخدام‬
:‫يلي‬
‫الوقت لتعلم وظائف محددة‬
‫سرعة أداء المهمة‬
‫معدل األخطاء من قبل المستخدمين‬
‫احتفاظ اإلنسان باألوامر بمرور الوقت‬
‫رضا المستخدم الشخصي‬
 Slide 23

Acceptance Test (cont.)

• In a large system, there may be eight or 10 such tests to carry out on
different components of the interface and with different user
communities.

• Once acceptance testing has been successful, there may be a period

of field testing before national or international distribution..

1-23

23

‫اختبار القبول‬
‫ اختبارات من هذا القبيل إلجراء مكونات مختلفة من الواجهة ومع‬10 ‫ قد يكون هناك ثمانية أو‬، ‫في نظام كبير‬
.‫مجتمعات مستخدمين مختلفة‬

.. ‫ قد تكون هناك فترة اختبار ميداني قبل التوزيع الوطني أو الدولي‬، ‫بمجرد نجاح اختبار القبول‬
 Slide 24

Evaluation During Active Use

• Successful active use requires constant attention from dedicated

managers, user-services personnel, and maintenance staff.

• Perfection is not attainable, but percentage improvements are

possible.

• Interviews and focus group discussions

– Interviews with individual users can be productive because the
interviewer can pursue specific issues of concern.
– Group discussions are valuable to ascertain the universality of
comments.

1-24

24

‫التقييم أثناء االستخدام النشط‬

‫مستمرا من المديرين المتفانين وموظفي خدمات المستخدم وموظفي‬
ً ‫يتطلب االستخدام الفعال الناجح اهتما ًما‬
.‫الصيانة‬

.‫ ولكن تحسين النسبة المئوية ممكن‬، ‫الكمال ال يمكن تحقيقه‬

‫مقابالت ومناقشات مجموعة التركيز‬

.‫يمكن أن تكون المقابالت مع المستخدمين الفرديين مثمرة ألن القائم بالمقابلة يمكنه متابعة قضايا محددة تهمك‬
.‫تعد مناقشات المجموعة ذات قيمة للتأكد من عالمية التعليقات‬
 Slide 25

Evaluation During Active Use

(cont.)
• Continuous user-performance data logging
– The software architecture should make it easy for system
managers to collect data about
– The patterns of system usage
– Speed of user performance
– Rate of errors
– Frequency of request for online assistance
– A major benefit is guidance to system maintainers in optimizing
performance and reducing costs for all participants.

• Online or telephone consultants, e-mail, and online suggestion

boxes
– Many users feel reassured if they know there is a human
assistance available
– On some network systems, the consultants can monitor the
user's computer and see the same displays that the user sees
1-25

25

‫تسجيل مستمر ألداء المستخدم‬

‫يجب أن تجعل بنية البرنامج من السهل على مديري النظام جمع البيانات‬
‫أنماط استخدام النظام‬
‫سرعة أداء المستخدم‬
‫معدل األخطاء‬
‫تواتر طلب المساعدة عبر اإلنترنت‬
.‫تتمثل الفائدة الرئيسية في توفير التوجيه لمشرفي النظام في تحسين األداء وخفض التكاليف لجميع المشاركين‬

‫المستشارون عبر اإلنترنت أو الهاتف والبريد اإللكتروني وصناديق االقتراحات عبر اإلنترنت‬
‫يشعر الكثير من المستخدمين باالطمئنان إذا علموا بوجود مساعدة بشرية متاحة‬
‫ يمكن للمستشارين مراقبة كمبيوتر المستخدم ومشاهدة العروض نفسها التي يراها‬، ‫في بعض أنظمة الشبكات‬
‫المستخدم‬
 Slide 26

Evaluation During Active Use

(cont.)
• Online suggestion box or e-mail trouble reporting
– Electronic mail to the maintainers or designers.
– For some users, writing a letter may be seen as requiring too
much effort.

Bug report using Google’s Chrome browser (http://www.google.com/chrome/)

1-26

26

‫مربع االقتراحات عبر اإلنترنت أو اإلبالغ عن مشكالت البريد اإللكتروني‬

.‫البريد اإللكتروني إلى المشرفين أو المصممين‬
.‫ قد يُنظر إلى كتابة رسالة على أنها تتطلب الكثير من الجهد‬، ‫بالنسبة لبعض المستخدمين‬