Iklan
My Journal

[GameLog] Beta Testing

icon1_sqbeta

Dalam fase pengembangan game (dan pengembangan software secara umum), sebelum produk tersebut dirilis ke pasar, ada tahap testing terlebih dahulu yang harus dilalui untuk memastikan fitur-fitur pada produk tersebut berjalan dengan baik. Tahapan yang dilalui biasanya pertama yakni alpha testing, beta testing, lalu baru bisa masuk production. Alpha testing ini biasanya tes internal untuk memastikan fungsi-fungsi utama dari produk tersebut sudah berjalan dengan baik. Beta testing adalah gambaran lengkap tentang produk tersebut (dimana semua fitur sudah berjalan), mungkin masih terdapat sedikit bug dan tidak semua fitur sudah diberikan (misalkan game, mungkin baru 2 level yang bisa dimainkan). Untuk proses pengujiannya biasa dilakukan oleh tim Quality Assurance. Jobdesk dari tim Quality Assurance adalah untuk memastikan produk yang akan sampai ke tangan penggunanya nanti sudah sesuai dengan standar yang terbaik dengan pengujian, baik itu dari sisi fungsional sampai dengan estetika. Ada banyak sekali metode untuk menguji produk dan yang paling mudah adalah user testing (memberikan produk tersebut ke user dan meminta feedbacknya).

Pada sesi [GameLog] kali ini saya ingin sedikit sharing bagaimana melakukan Beta Testing Tertutup kepada sekelompok orang yang akan kita jadikan tim testing produk di beberapa platform. Beberapa platform sudah memberikan fasilitas yang baik untuk kita agar bisa melakukan beta testing dengan mudah tapi ada juga platform yang sangat menyulitkan proses tersebut. Saya akan bahas empat media untuk melakukan beta testing, yang pertama menggunakan platform Windows Phone, yang kedua menggunakan patform Android, yang ketiga menggunakan platform iOS, dan yang terakhir menggunakan 3rd party app untuk membantu proses Beta Testing. Yang jelas tahapannya adalah mempersiapkan produk versi beta, menyiapkan tim tester, menyiapkan kuesioner untuk feedback, dan yang terakhir adalah mendistribusikannya ke tim tester (yang sebagian besarnya remote).

Beta Testing di Windows Phone

Beta Testing di Windows Phone

Beta Testing di Windows Phone

Windows Phone memberikan fasilitas beta testing yang menurut saya sangat mudah digunakan. Produk versi beta yang telah kita siapkan tinggal kita upload di Windows Phone Store selayaknya kita mengupload produk versi rilis. Kita bisa memasukan screenshot, deskripsi, dan berbagai keterangan lain sehingga produk kita akan terlihat layaknya versi final. Lalu di akhir proses tersebut, kita tinggal ceklis saja bahwa produk tersebut akan kita distribusikan sebagai beta testing application. Yang perlu diperhatikan adalah ketika sudah dijadikan beta, tidak bisa diganti jadi final sehingga kita perlu mengupload file baru ketika ingin dimasukan sebagai versi final. Lalu agar orang-orang bisa mencoba aplikasi beta tersebut, kita tinggal mengetikan email microsoft account milik tim tester kita di bawah kolom ceklis beta testing. Setelah selesai memasukan nama-nama tersebut, kita bisa submit aplikasi tersebut dan kita akan mendapatkan email sebuah link ke store. Link itulah yang akan kita kirimkan ke tim tester kita dan mereka bisa membukanya langsung dari device windows phone mereka. Biasanya, butuh waktu 1-2 jam dari aplikasi di upload hingga user bisa mengakses link tersebut. Ketika link itu dibuka, tim tester akan mendapatkan experience yang serupa dengan produk final. Mereka akan diredirect ke store, akan diperlihatkan icon, description, dan screenshot aplikasi kita, bisa mengunduhnya, bahkan bisa memberikan rating dan comment. Setelah mengunduh mereka bisa langsung menggunakan aplikasi itu layaknya aplikasi biasa (kecuali fitur inAppsPurchase yang tidak bisa berbayar). Kalau link itu disebarkan ke orang yang tidak terdaftar emailnya, mereka tidak akan bisa mengaksesnya. Kerennya lagi, ketika kita memberikan update ke aplikasi beta tersebut, windows phone store akan memberikan notifikasi update layaknya aplikasi versi rilis.

Kesimpulannya, plusnya adalah metode distribusi mudah, experience di user sangat real (windows phone store yang bisa diakses full feature), ada notifikasi update. Minusnya tidak bisa melakukan testing iAP, waktu agar versi beta bisa diakses lumayan lama (1-2 jam), dan versi beta tersebut tidak bisa dijadikan versi final (harus upload file baru).

Beta Testing di Google Play

Beta Testing di Google Play

Beta Testing di Google Play

Google kurang lebih hampir mirip dengan Windows Phone, mereka memberikan fitur agar developer bisa melakukan Beta Testing. Bahkan Google lebih serius lagi merancang sistem testing mereka sehingga kalau menurut saya Google Play ini jauh lebih mudah digunakan untuk Testing. Berbeda dengan Windows Phone yang harus upload file A diakun 1 untuk beta dan file B diakun 2 untuk rilis, di Google Play kita hanya perlu membuat satu buah file produk kita. Di satu file produk tersebut, akan ada tiga buah tab tempat kita mengupload aplikasi kita, ada alpha, beta, dan production. Ketika kita upload di alpha, kita tinggal klik file kita dan kita bisa memindahkan aplikasi tersebut ke beta atau production. Hal ini mempermudah proses tracking dan juga testing dari aplikasi kita. Sama halnya seperti Windows Phone, user testing kita juga akan mengalami experience yang sama persis dengan produk final di versi beta ini. Mereka dapat mengakses store, melihat ikon, deskripsi, screenshot, mengunduh, dan memberikan rating. Namun jika di windows phone untuk mendaftarkan user kita hanya perlu mengetik email mereka, di Google Play untuk mendaftarkan user untuk testing kita harus menginvitenya ke sebuah Google Grup dimana hanya mereka semua yang tergabung di grup tersebut bisa mengkases aplikasi beta kita. Secara UX jadi agak ribet sih, karena harus invite dia ke grup dulu baru bisa testing. Lalu waktu yang dibutuhkan dari kita submit apps hingga sampai ke user juga berdurasi sekitar 1-2 jam.

Kesimpulannya, plusnya dia memberikan metode beta testing yang sangat flawless, bahkan bisa alpha testing juga, kemudian proses memindahkan file dari alpha ke beta atau ke production sangatlah simpel dan mudah ditracking, lalu user diberikan experience real ketika mengakses beta file tersebut (mulai dari akses store sampai notifikasi update). Minusnya adalah proses penambahan user testing agak ribet karena harus invite mereka ke grup dulu, lalu fitur iAP juga tidak bisa dites, dan waktu distribusinya cukup lama (1-2 jam).

Beta Testing di iOS

Beta Testing di iOS

Beta Testing di iOS

Menurut saya, beta testing di iOS adalah yang paling sucks. Pertama, tidak ada akses real experience di store bagi beta tester kita. Tim yang ingin kita distribusikan file beta tersebut harus kita kasih installernya yang mana installer tersebut harus diinstal via laptop/komputer mereka (tidak On the air). Mereka tidak bisa melihat ikon, deskripsi, screenshot, dan lain-lain, yang ada hanyalah fila berekstensi .ipa untuk dikirimkan. Tidak berhenti sampai disitu, kalau di WP kita harus ketik email beta tester kita, di Android harus invite mereka via email ke grup, di iOS kita harus ngedaftarin device ID mereka ke installer kita -_- Jadi si User itu harus buka itunes, nyolok device mereka, melakukan proses yang super panjang agar dapet device ID mereka, lalu device IDnya dikirim ke kita, kita upload device ID tersebut di situs Apple, lalu dari situ kita build lagi aplikasi kita, setelah itu baru aplikasinya diemailin ke orang-orang. Wew. Dan lagi, kita hanya bisa mendaftarkan 100 devices untuk 1 tahun. Jadi kalau misalkan game A saya punya 40 orang untuk testing versi beta dan game B 40 orang  yang berbeda, di game C saya hanya bisa invite 20 orang lagi atau nunggu taun depan. Ini menurut saya agak ketinggalan disaat Google Play dan Windows Phone sudah berinovasi sejauh itu.

Kesimpulannya, saya gak nemu plusnya.

Beta Testing menggunakan Testflight Apps

Screen Shot 2014-03-21 at 11.57.02 AM

Melihat iOS distribusi beta testingnya butut gitu, beruntunglah ada aplikasi 3rd party yang membantu proses tersebut. Ada beberapa aplikasi untuk beta tester yang menarik, yang saya gunakan adalah TestFlight App. Di situ, kita bisa bisa mengupload file android (.apk) dan file iOS (.ipa) game/produk kita. Setelah itu, kita bisa menginvite beta tester kita dengan mudah (bisa memberikan link, bisa ngeinvite via email, dll) yang mana ketika tester kita membuka link tersebut, mereka tinggal daftar dan mereka bisa mendapatkan file installer mereka dengan mudah. Prosesnya secara UX menurut saya sangat flawless dan memudahkan sekali bagi kita untuk mendistribute aplikasi kita. Sayangnya, untuk yang iOS tetep kita harus daftarin dulu devicenya dengan metode yang super rebek itu. Terus sayangnya juga, user hanya tau installer jadi, tanpa punya experience di market nanti (gak bisa liat ikon, deskripsi, dan screenshot). Di Testflight app ini, kita sebagai developer bisa memonitor beta tester kita dengan mudah. Setiap beta tester kita akan memiliki status dan status tersebut akan terupdate ketika link dikirim, link diterima, link dibuka, hingga aplikasi telah diinstal sehingga kita tau siapa saja yang suda mencoba siapa yang belum.  Lalu version tracking juga sangat mudah karena Testflight app telah merancang UX yang menurut saya sangat nyaman digunakan. Namun, dua bulan yang lalu testflight app ini dibeli oleh Apple dan konon katanya support terhadap android akan dihilangkan. Ini sebuah kemunduran menurut saya. Padahal kalau si Testflight app menambahkan supportnya ke platform lain lalu memberikan experience virtual yang serupa dengan market, saya rela membayar untuk service ini (oh ya ini gratis).

Kesimpulannya, plusnya testflightapp ini UI dan UXnya super flawless dan enak digunakan baik untuk developer maupun tester. Lalu metode distribusinya mudah, versioningnya mudah, dan trackingnya juga mudah. Minusnya adalah untuk iOS masih tetep harus daftar2in ID devicenya (ini problemnya applenya sih), lalu experience user tidak real seperti di market jadi tidak bisa mendapatkan pandangan komprehensif (paling kalo untuk test fitur atau internal testing doang bagus, tapi klo untuk sampai open beta agak sulit pake ini).

Itu tadi sharing dari 4 platform yang pernah saya gunakan untuk beta testing. Mungkin ada layanan yang sudah tidak ada, ada layanan yang baru, atau ada pengalaman berbeda, monggo silahkan ditambahkan saja di comment dibawah, nanti akan saya update tulisan ini. Semoga bermanfaat bagi yang membacanya dan happy testing 🙂

Iklan
About Adam Ardisasmita (1146 Articles)
CEO Arsanesia | Google Launchpad Mentor | Intel Innovator | Writer Dailysocial.id and Dicoding.com | Blogger ardisaz.com | Gagdet, Tech, and Community enthusiast.

3 Trackbacks / Pingbacks

  1. 3 Fitur Baru di iTunes Store | Ardisaz
  2. [GameLog] Tugas Seorang Game Tester Untuk Quality Assurance | Ardisaz
  3. [Gamelog] Post Mortem Roly Poly Penguin – Ardisaz

Tinggalkan Balasan

Isikan data di bawah atau klik salah satu ikon untuk log in:

Logo WordPress.com

You are commenting using your WordPress.com account. Logout /  Ubah )

Foto Google

You are commenting using your Google account. Logout /  Ubah )

Gambar Twitter

You are commenting using your Twitter account. Logout /  Ubah )

Foto Facebook

You are commenting using your Facebook account. Logout /  Ubah )

Connecting to %s

%d blogger menyukai ini: