Kali ini saya akan mencoba menjawab pertanyaan yang masuk ke saya via sosmed dari Ahmad yakni tentang cara menentukan, mengukur, dan mengevaluasi sebuah target atau KPI dalam sebuah game. Mengapa kita perlu melakukan hal tersebut? Karena kita perlu melakukan validasi terhadap sebuah ide. Ide tersebut datang bisa dari sebuah peluang ataupun permasalahan yang muncul dalam siklus game development kita.

Pertanyaan ini menarik bagi saya karena masih fresh seminggu yang lalu saya mengisi program Inkubasi untuk game developer yang diadakan oleh Kemenparekraf. Ada dua topik yang saya share yakni tentang User Experience dan satu lagi tentang Product Validation. Nah Metrics dan KPI ini dipakai untuk proses market research atau pun user research yang tujuannya untuk melakukan validasi dari produk yang kita kembangkan.

Product Validation

Sebelum membahas lebih dalam tentang metric, saya akan mulai dengan sebuah kegiatan yang disebut dengan product validation. Coba kamu jawab pertanyaan ini.

“Apa alasan kamu membuat game yang saat ini kamu buat?”

Biasanya ada dua jawaban. Satu karena aku suka dengan game tersebut (entah dari sisi visual, genre, mekanik, story, dll) atau kita sebutnya dengan passion project. Satu lagi membuat game karena marketnya lagi bagus dan trending banget (misal top freechart di google play, viral dimainkan youtuber, dll).

Mana metode yang paling benar dalam membuat game? Jawabannya tidak ada yang salah. Artinya semua benar. Asaaalll… dilakukan proses validasi. Validasi ini memastikan agar game yang kamu buat, darimanapun datangnya ide game tersebut, punya value buat orang lain selain dirimu atau tim mu. Kenapa perlu ada value buat orang lain? Karena kamu pengen game mu dimainkan dan dibeli sama orang lain kan? Kalau bikin game bukan untuk mendapatkan uang, kayaknya bisa stop baca sampai di sini aja dan lanjutkan buat gamenya :p Tapi kalau kamu berharap bisa dapat penghasilan dari game yang kamu buat, proses product validation ini menjadi sangat vital.

Ada banyak framework dan pendekatan untuk melakukan product validation. Di beda fase development pun bisa jadi tools untuk validasinya bisa berbeda-beda. Tapi ini untuk topik tersendiri yah kalau ada yang tertarik lebih dalam tentang product validation.

Kembali ke topik bahasan kita, metric yang kita ukur adalah sebuah framework untuk bisa menentukan apakah produk kita valid atau tidak.

Apa itu Metric?

Metric adalah sebuah alat untuk kita menentukan apakah produk kita valid atau tidak. Performa game kita sehat atau buruk. Metrik adalah parameter-parameter yang kita tentukan untuk memastikan game kita sukses.

Gimana cara membuat metric untuk game kamu?

Bagi yang baru pertama membuat game, tentu metric ini jadi sesuatu hal yang sangat abstrak yah. Darimana kita bisa tahu game yang kita kembangkan ini bagus atau enggak? Apa saja parameternya? Gimana benchmarkanya? Data apa saja yang perlu kita track untuk membuat metric?

Saya paling suka dengan analogi sebuah kotak. Anggap game yang kamu baut adalah sebuah kotak. Dalam kotak tersebut, ada input dan output. Inputnya kita sebut “User Input” dan outputnya kita sebut “Product Output”.

• User Input adalah player di dalam game kamu yang punya kebutuhan, punya permasalahan, punya waktu terbatas untuk dihabiskan, dan tentunya punya uang yang akan dispending di dalam kotak tersebut.
• Product Output adalah outcome dari hal yang dilakukan oleh player di dalam kotak tersebut. Biasanya diukur dari value yang dihasilkan oleh game kamu.

Di dalam kotak tersebut, player/user melakukan aksi untuk mencapai goal mereka. Yang kita lakukan adalah melakukan kuantifikasi dan mengukur aksi yang dilakukan di dalam kotak menjadi sebuah parameter yang bisa kita ukur. Aksi-aksi itulah yang kita sebut dengan metrics. Data-data inilah yang menjadi bekal kita untuk melakukan evaluasi terhadap ide game kita.

Semoga sampe ini gak pusing yah hehehe Nanti abis ini saya akan berikan contoh yang lebih kongkrit yah. Ini kan masih teori-teori dulu. Intinya dari metric ini adalah…

mengukur user goal dan business goal dengan membreakdown action user ketika berinteraksi dengan game kita menjadi kumpulan data yang kita track dan capture untuk dievaluasi

The Game Framework

Salah satu framework yang bisa dipakai untuk membuat dan mengukur metric adalah The Game Framework. Game Framework merupakan 4 tahapan yang bisa membantu kita membuat metric yakni

• G untuk Goals
• A untuk Actions
• M untuk Metrics
• E untuk Evaluations

Yang pertama adalah Goals. Kita perlu mendinisikan apa goal dari metric yang ingin kita ukur. Ini saya kasih contoh real langsung yah ke game Pippo Brain Training yang Arsa Kids buat.

• User Goals : Bagaimana user kemampuan kognitif anak bisa meningkat setelah bermain Pippo Brain Training selama 14 hari
• Business Goals : Bagaimana agar dalam waktu 14 hari orang tua bisa mendapatkan value dari Pippo Brain Training dan membeli konten berbayar di dalamnya

Itulah beberapa contoh goal yang bisa kita tentukan. Contoh lain bisa banyak banget mulai dari gimana agar game kita mudah dicari di store, gimana agar icon game kita menarik buat user, gimana supaya user mau main game kita setidaknya lima menit dalam satu sesi, gimana agar user kita mau beli kostum spesial yang kita jual, dan masih banyak lainnya.

Yang kedua adalah Actions. Action ini yang mungkin agak tricky karena kita perlu memilih data mana yang perlu kita capture. Step apa di dalam game kita yang punya value. Contohnya, misalnya saya mau capture goal di atas, bagaimana agar dalam waktu 14 hari kemampuan kognitif anak bisa meningkat agar orang tua bisa mendapatkan value dari game Pippo Brain Training dan membeli paket berbayar di dalam game. Action yang bisa saya coba capture adalah

• Seberapa sering user login ke dalam game kita, apakah setiap hari bermain?
• Seberapa lama user memainkan game kita dalam satu hari?
• Bagaimana result dari setiap sesi permainan di dalam mini game, apakah ada improvement dari sisi score?
• Jika anak tidak memainkan game kita lagi, di hari ke berapa mereka berhenti bermain?
• Apakah anak memanfaatkan fitur gamification agar memotivasi sesi belajar dia?

Itu adalah contoh spot-spot di dalam game PBT yang bisa kita pasangkan tracker. Tracker ini kita bisa gunakan tools yang sudah ada seperti Google Firebase, GameAnalytics, Unity Analytics, atau klo kita mau buat sendiri juga bisa. Dan jangan khawatir karena tracking ini sifatnya anonimus dan agregrat, jadi data user juga tidak akan terekam. Unless kita buat sendiri list of data yang mau kita capture yah.

Kemudian yang ketiga adalah Metrics. Di sinilah kita bisa mengubah hal-hal di atas jadi sesuatu yang kuantitatif dan punya value. Hal-hal yang kita pertimbangkan dalam membuat metrics di sebuah game biasanya sangat banyak dan berbeda-beda.

Misal, data yang biasa ditrack oleh kami yang mengembangkan mobile game adalah:

• Daily active user : berapa banyak orang yang aktif memainkan game kita (at least membuka game kita sekali dalam satu hari)
• New Install : berapa banyak install baru dalam satu hari
• cohorts : berapa banyak orang yang hari ini download, besoknya masih main lagi (day 1). Lalu klo orang ini secara berturut-turut main tiap hari, kita bisa track di day 7, sampai day 30.
• Session : berapa average waktu yang dihabiskan player kita di dalam game

Ada juga data-data custom yang kita track untuk keperluan mengukur actions user untuk goal tertentu. Misal dalam case game Pippo Birain Training kita tidak ada yang main sampai 14 hari berturut-turut. Selain data di atas, kita juga bisa track

• Berapa banyak anak yang mengambil daily rewards?
• Di hari keberapa anak mulai berhenti bermain?
• Mini game mana yang paling banyak jawaban salahnya?
• Mini game mana yang paling sedikit dimainkan?

Data-data diatas kita capture selama 14-30 hari dengan jumlah user yang lumayan signifikan, lalu kita coba langkah terakhir yakni evaluasi. Kita bisa evaluasi goalsnya, evaluasi actionnya, ataupun evaluasi metricsnya.

Lalu dari data itu, kita bisa berikan “variabel” baru sebagai update. Misal hipotesis kita karena ada game yang terlalu susah sehingga membuat anak berhenti bermain, ketika kita permudah soalnya, apakah ada kenaikan dari metric anak yang bermain sampai hari ke-14? Jika ternyata tidak ada perubahan, kita coba ganti variabel lain misal membuat fitur gamification yang lebih fun. Lalu kita ukur lagi metricsnya kembali.

Hal ini yang kita lakukan secara terus-menerus di fase validasi product kita yang dalam case ini digunakan dalam fase live-ops atau ketika game kita sudah rilis.

A/B Testing

Nah terus saya ingin menjawab ada pertanyaan tambahan terkait A/B Testing. Apa sih A/B Testing itu dan dipakai dimana dalam proses validasi? A/B Testing adalah metode riset dimana kita memberikan dua treatment yang berbeda kepada sekelompok user kita. Semisal ada 10.000 active user di dalam game kita, lalu kita melihat jumlah average session user kita memainkan game kita kok di bawah lima menit. Yang kita lakukan adalah kita membuat satu variable yang kita ganti untuk ditest ke user.

Contohnya, untuk meningkatkan average session di dalam game kita, kita mau coba ganti satu elemen di dalam game kita. Kalau ambil kasus Pippo Brain Training, kita coba ganti user interface cara memilih mini game. Dari 10.000 user active kita, 5.000 kita beri update user interface yang tipe A dan 5.000 user kita beri update user interface tipe B. Lalu kita bisa bandingkan antara tipe A dan tipe B, mana yang sessionnya bisa lebih baik. Itu yang dimaksud dengan A/B Testing.

A/B Testing juga bisa dilakukan ditahap manapun. Bahkan ditahap hanya untuk memilih icon yang digunakan di dalam game. Kita bisa bikin satu desain dengan dua tone warna yang berbeda, lalu kita bisa A/B Testing di Google Play untuk melihat yang mana yang lebih banyak diunduh.

Mencari Benchmark

Sebagai penutup, saya ingin share tentang benchmark. Tiap game punya nature yang berbeda-beda. Antara game mobile dengan game PC/Console beda. Antara game freemium dengan premium beda. Antara genre game puzzle dengan genre game action berbeda. Jadi kita perlu tahu benchmark yang paling mirip dengan game kita untuk tahu apakah game kita underperfom atau tidak.

Contohnya, kalau di mobile freemium, kita perlu tahu game yang satu genre dengan kita, rata-rata Day 1 nya berapa persen, day 7 nya berapa persen, dan day 30 nya berapa persen. Session yang dihabiskan dalam satu kali durasi main berapa menit. Average Revenue Per-Paying User dari game dengan tipe kita ini berapa. Angka-angka ini yang kita perlu lakukan riset mendalam.

Beberapa tools analytics sudah memberikan fitur benchmark untuk kita. Tapi kita juga tetap perlu menggali lebih banyak. Baca artikel-artikel, tonton video-video GDC, ngobrol dengan teman-teman di industri game, maka kita akan jadi punya bayangan tentang metrics yang perlu kita kejar. Atau kalau kamu nanya ke publisher, biasanya mereka udah punya standar metric tertentu yang menurut mereka itu layak.

Oke deh, semoga artikel ini bisa menjawab pertanyaan Ahmad dan temen-temen lainnya terkait dengan metrics dalam game dan gimana menggunakan metrics tersebut untuk validasi ide atau game kita. Kalau ada pertanyaan lain, silahkan tinggalkan pertanyaan di kolom komentar yah 🙂