Чим ігрова статистика відрізняється від даних плейтестів

Зараз, працюючи в дослідницькій компанії, я іноді зустрічаю розробників, які впевнено заявляють, що їм не потрібні ніякі дослідження аудиторії, раз у них є статистика. У них за спиною дані від сотень тисяч або навіть мільйонів гравців і це надає їм впевненості. Але чи все так однозначно? Зовсім неоднозначно, тому що статистика показує, що роблять гравці, але не відповідає на питання «чому».

У 2013 на моєму наймасштабнішому проекті World of Battles (MMO RTS) ми отримували статистику про кожну значущу дію гравця (а їх були сотні тисяч), поведінку програми і сервера. Частина статистики була доступна «наживо», а частина з'являлася постфактум наступного дня в процесі автоматичної обробки даних на сервері.

Проект був великий і я, як і інші відповідальні співробітники, збирали і аналізували ці дані. Ця статистика показала нам багато сильних і слабких місць гри. По ходу отримання відповідей на основі статистики у нас виникало безліч нових питань. У цій статті я напишу про те, чого мені не вистачало для аналізу поведінки користувачів гри під час роботи над World of Battles.

Коли з'являється статистика?

Статистика гри з'явиться відразу після того, як у вас буде працюючий клієнт і, якщо необхідний, сервер. Спочатку це будуть просто логи для налагодження, але пізніше необхідно буде обов'язково продумати і налаштувати систему статистики, яка дозволить вам тримати руку на пульсі роботи вашого додатку. Адже сама програма не скаже вам що з нею не так, так само як і її користувачі.

На цьому малюнку показано те, що відомо про роботу гри до того, як почали вивчати та аналізувати дані від масиву користувачів

Починаємо збирати ігрову статистику, яка вона буває?

Статистика продуктивності

• Статистика сервера - дані про роботу сервера, наприклад стан або завантаженість систем
• Статистика клієнтів - дані про роботу клієнта, наприклад, продуктивність, падіння програми

Статистика

Картина активності спільноти - узагальнені дані користування чатами, форумом, зріз постів і активності в соціальних мережах, інформація про трансляції і ресурси фанатів

Статистика користувачів

Метрики користувачів - стратегічний погляд на активність користувачів. Це DAU, MAU, ARP (P) U, CCU, Retention Rate, Average Session time і багато інших показників

Статистика ігрового процесу

• Поведінка гравців - дані про кількість зіграних ігор (або рівнів), відвідування тих чи інших екранів, досягнутих рівнях і так далі
• Економіка - дані про внутрішньоігрову економіку, як про економіку Soft, так і Hard- валюти
• Баланс - баланс гри має дуже багато граней і статистика може покрити лише деякі з них, наприклад баланс успішності в іграх, баланс бою, фінансовий баланс, баланс швидкості прогресу

Що дозволяють зробити оброблені дані?

• Дізнатися про основні метрики життєдіяльності продукту
• Дізнатися про його найслабші місця
• Будувати гіпотези з оптимізації на основі отриманих даних

На цьому малюнку показано те, що Ви будете знати про гру після ознайомлення та аналізу даних

Наприклад, під час роботи над World of Battles, завдяки статистиці, ми дізналися, що певні речі не купуються гравцями, але ми не знали точних причин - або це ціна, або це сила речей, або їх зовнішній вигляд. І без проведення плейтестів ми б так і гадали над причинами низької купуваності певних речей.

Тепер спробуємо подивитися на продукт очима користувачів, як це зробити?

Ми знаходимо представників цільової аудиторії, і даємо пограти вашу гру. Весь процес записуємо на відео, а також збираємо відгуки гравців по ходу і в кінці тестування.

Які ж є основні інструменти плейтестів?

Відеозапис - цей інструмент дозволяє наочно побачити активність гравця у вашій грі. Дуже важливий відеозапис першої ігрової сесії, саме вона покаже як поводяться новачки - більшість ваших користувачів.

На проекті World of Battles гра під відеозапис показала нам, що наш перший інтерфейс міг бути зрозумілий тільки розробникам і хардкорщикам з 90-х і те, що деякі важливі екрани гравці взагалі не відкривають.

Анкетування та інтерв'ю - ці інструменти дозволяють зібрати кількісні результати та відповіді на найбільш хвилюючі розробників питання, такі як оцінки складності, графіки, музики, балансу тощо.

Вони також дають відповіді на запитання «Чому?». Наприклад, чому гравці не платять? Чому перестають грати? Чи будуть радити гру своїм друзям і що про неї скажуть?

Після опитування респондентів World of Battles ми дізналися, що швидкість битв у грі повільна, а швидкість пересування загонів взагалі нікуди не годиться. Гравцям було нудно чекати поки один загін вб'є в бою інший і особливо поки вони переміщаються по карті. Ми ж звикли до гри, зовсім це не помічали і ніяка статистика нам не говорила про цю проблему.

Фокус-група - цей інструмент дозволяє глибоко і детально опрацювати будь-які цікаві розробника питання, починаючи від ставлення до існуючих механіків і закінчуючи планами на майбутні оновлення. При хорошій організації процесу від респондентів можна отримати навіть підсвідому інформацію.

Під час обговорення боївки World of Battles на фокус-групі ми дізналися чому гравці вибирають ті чи інші елітні загони, якими вони бачать гігантів, а також які карти і чому їм здаються більш цікавими, ніж інші.

Є ще одна дуже важлива перевага плейтестів перед статистикою і полягає вона в тому, що статистика ігрового процесу доступна тільки зі своїх проектів, або проектів видавця. А плейтест можна провести на будь-якому існуючому продукті і в результаті можна свідомо дізнатися які з механік і елементів успішної гри більш популярні, а які менш, чи хороший баланс і так далі.

Підсумок

У сухому залишку можна сказати про те, що статистика дозволяє побачити проблеми, а плейтести зрозуміти їх причини і згодом правильно виправити. Тобто. тільки використовуючи комбінацію статистики і плейтестів можна побачити повну і чітку картину того, що відбувається.