t_wの輪郭

テスト実験
A/Bテスト概論 / Introduction of ABTestingHEART FrameworkA/Bテストの実施『t_wの輪郭』の前景の順番をA/Bテストする2022年7月23日日記ABalytics.js『ABalytics.js + Google Analyticsを使ったABテスト』あれ「既存のUIと新しいUIのABテストでは、既存が有利になりがち」『DMMの検索に機械学習を導入して、A/B テストで圧勝した考え方』休眠顧客でA/Bテストすれば安全に実験できる

HEART Framework

2022/10/5 0:05:00

プロダクトの評価指標を作成する際の手順及びフレームワーク。HEARTで表されるそれぞれの指標について、それぞれ、Goals、Signals、Metricsの順で定義する。
GoogleのリサーチチームのKerry Roddenらによって開発された。

HEART

  • Happiness：利用者の態度。満足度・使いやすさ・net-promoter score など。主に利用者への聞き取りによって得られる。
  • Engagement：利用者の関与度合い。利用者の 利用頻度・熱意・深く利用しているか など。主にbehavioral proxiesによって得られる。
  • Adoption：製品や機能の新規利用者。7日間の新規に作成されたアカウントの数・新規機能を使用した利用者の割合 など。
  • Retention：利用者が再利用する割合。
  • Task Success：作業の完了にかかる時間・作業の完了率・作業の失敗率 など

Goals、Signals、Metrics

  • Goals：製品・プロジェクト の、ゴール・目標・利用者にとっての満足 など
  • Signals：Goalsの達成を表す、利用者の態度や行動。
  • Metrics：Signalsを定量化した指標。A/Bテストが可能な指標。