Usability Test

Prepare a Test Plan

  1. Tujuan test

    a. Pembelian Paket

    • kemudahan pembelian Voucher wifi

    b. Connect Menggunakan Voucher wifi (@wifi.id)

    • Kemudahan memasukkan username/password
    • Kemudahan melakukan koneksi

    c. Logout

    • Kemudahan logout

  2. Skenario test dan task (detail skenario dan task dapat dilihat pada bagian rundown dan skenario form)
    Skenario:
    Anda menjumpai jaringan @wifi.id dan ingin browsing menggunakan jaringan @wifi.id.
    Task:
    Silakan install dan buka aplikasi wifi.id GO, beli paket dan connect ke jaringan @wifi.id.

  3. Metrik

    a. Post Task Questionnaire

    • Single Ease Questionnaire (SUQ)

      Seberapa mudah atau sulit Anda menyelesaikan tugas ini?
      Sangat mudah sangat sulit
      1 2 3 4 5 6 7

    b. Post Test Questionnaire

    • SUS
    No Pernyataan Sangat Tidak Setuju (1) Tidak Setuju (2) Netral (3) Setuju (4) Sangat Setuju (5)
    1 Saya rasa saya akan sering menggunakan aplikasi ini
    2 Saya rasa aplikasi ini terlalu komplek, padahal bisa lebih disederhanakan
    3 Saya rasa aplikasi mudah untuk digunakan
    4 Saya rasa saya membutuhkan bantuan dari orang teknis untuk dapat menggunakan aplikasi ini
    5 Saya menemukan bahawa terdapat berbagai macam fungsi yang terintegrasi dengan baik dalam aplikasi ini
    6 Saya rasa terdapat banyak hal yang tidak konsisten dalam aplikasi ini
    7 Saya rasa mayoritas pengguna anak belajar menggunakanaplikasi ini dengan cepat
    8 Saya menemukan bahwa aplikasi ini sangat tidak praktis
    9 Saya sangat percaya diri dalam menggunakan aplikasi ini
    10 Saya harus belajar banyak hal terlebih dahulu sebelum saya dapat menggunakan aplikasi ini

    • NPS

      Seberapa besar keinginan anda untuk merekomendasikan
      system ini ke orang lain
      1 2 3 4 5 6 7 8 9 10
      Sangat tidak merekomendasikan Sangat ingin merekomendasikan

    • Open Questionnaire

      Apa yang Anda sukai dari Aplikasi ini?
      Apa yang Anda tidak suka dari Aplikasi ini?
      Apa masukan Anda untuk Aplikasi ini (sebagai improvement)?

  4. Jadwal Test

  5. Tim Usability Test
    a. Fasilitator
    bertugas melakukan briefing kepada partisipan tentang tujuan dan tatacara pelaksanaan usability testing kepada partisipan. Fasilitator juga menyiapkan pengisian form consent yang harus ditandatangani oleh partisipan.
    b. Observer
    orang yang bertugas untuk mengamati partisipan pada saat pelaksanaan usability test. Selama pengamatan observer mencatat temuan dalam kertas kerja untuk dievaluasi kemudian. Jumlah observer maksimal yang boleh ada di dekat partisipan adalah 2 orang.
    c. Admin/ Tech Suport
    yang bertugas membantu persiapan teknis dan kelengkapan dalam sebuah testing

  6. Insentif Partisipan

Find & Select Participant

  1. Kriteria Partisipan
  2. Filter Partisipan
  3. Konfirmasi/ Mengundang Partisipan

Setup a Testing Environtment

  1. Persiapan Lokasi
  2. Perlengkapan
    a. Kamera : untuk menangkap reaksi, ekspresi, dan gerakan jari dari partisipan saat mengerjakan task.
    b. PC/laptop : jika sistem yang diuji berupa website/desktop apps
    c. Smartphone : jika sistem yang diuji berupa mobile apps (android/iOS)
    d. Voice recorder : untuk merekam komentar spontan dari partisipan saat mengerjakan task
    e. Software capture monitor/smartphone : untuk merekam aktivitas pada device

Conduct a Test Session

  1. Perkenalan
  2. Penjelasan session test
  3. Inform consent
  4. Session test
  5. Post task & Post test
  6. Debrief

Analyze Data & Observation

  1. Finding (dari catatan dan analisa recorder)
  2. Penentuan rating (tingkat keparahan dan kemudahan perbaikan)
    a. Tahap 1: Determine severity of negative findings
    b. Tahap 2: Scoring severity of negative findings
    c. Tahap 3: Resource required to fix Problem

Report Finding & Recommendation

  1. Pembuatan Report
  2. Mengusulkan rekomendasi perbaikan dilengkapi prioritas perbaikan

Rundown

A. Internal Brief

  1. Peta peran: Fasilitator, Observer
  2. Menyiapkan form
    a. Consent Form
    b. Skenario Form
    c. Post Task(SUQ)
    d. Post Test : SUS, NPS, Open Questinare
  3. Secondary Device
  4. Mobile Hotspot (untuk download apps lookback dan wifi.id GO, serta mengirimkan hasil recording lookback) atau bisa di aktifkan test.id?
  5. Camera recording
  6. Goody bag
  7. Test dilakukan 1-2 orang, biar lebih fokus
  8. Pulsa untuk mengantikan potong pulsa

B. Finding Participants

  1. Masuk Persona (minimal dari segi umur)
  2. Menggunakan Android
  3. Mau melakukan test dan direkam
  4. Perkiraan waktu test 30 Menit

C. Participant Brief

  1. Fasilitator menjelaskan:
    a. Usability test untuk aplikasi wifi.id GO pada platform android, digunakan untuk memudahkan koneksi pada jaringan @wifi.id
    b. Usability test bukan untuk menguji kemampuan participant, namun untuk mengetahui seberapa mudah aplikasi dapat digunakan.
    c. Selama test participant akan direkan untuk mengetahui ekspresi dan waktu yang digunakan untuk menyelesaikan suatu task.
    d. Memberikan consent form untuk di tanda tangani.
    e. Menjelaskan task dengan memberikan skenario form.
    f. Menginformasikan perkiraan lama test.
    g. Selama test, participan diminta menyampaikan apa saja yang terlitas yang terkait dengan penggunaan aplikasi.
    h. Pada waktu test akan melakukan potong pulsa sebesar Rp. 5000,- (nanti akan diganti atau diberi goodybag)(atau mungkin ada mekanisme transfer pulsa?)
    i. Salah satu mekanisme login/ alat akses ke jaringan @wifi.id dengan menggunakan wifi voucher.
  2. Observer mulai standby untuk melakukan pengamatan

D. Memulai Test

  1. Menginstall Aplikasi lookback dan memulai recording.
  2. Participant memulai test sesuai skenario form.
  3. Selama test camera tetap merekam.
  4. Participant diingatkan untuk mengisi form, baik setelah menyelesaikan task ataupun test.
  5. Selama test observer mengamati participant dan mencatat hal-hal sebagai temuan.

E. Debrief

  1. Fasilitator memastikan semua task dan kuesioner sudah diselesaikan oleh participant.
  2. Klarifikasi temuan-temuan oleh observer kepada participant.
  3. Menyerahkan Goodybag dan terimakasih atas partisipasinya
  4. Foto Bareng

Skenario Form

Task 1. Beli Paket

  1. Masuk ke aplikasi wifi.id GO (yang baru saja di install)
  2. Beli paket wifi voucher
  3. Setelah selesai isi form post task SUQ

Task 2. Connect

  1. Masuk ke aplikasi wifi.id GO
  2. Mencoba koneksi ke jaringan @wifi.id GO menggunakan voucher wifi
  3. Ketika sudah berhasil coba browsing ke detik.com
  4. Apabila sudah berhasil browsing, isi form post task SUQ

Task 3. Logout

  1. Masuk ke aplikasi wifi.id GO
  2. Coba logout dari jaringan @wifi.id
  3. Ketika sudah berhasil, buktikan dengan browsing kompas.com
  4. Apabila berhasil logout, browsing gagal, isi form post task SUQ

Mengisi Kuesioner Post Test

  1. SUS
  2. NPS
  3. Open Questionarre