メールマガジンでA/Bテストって大事だな。と感じている遠藤ですが、今回はBenchmark Emailを使って「配信時間」のA/Bテストをしてみました。
結果を公開しても良いのですが、あくまでも「WEBマスターの手帳」においての結果であって、あなたの会社での結果とは異なるでしょう。メールマガジンの種類や読んでいる人も違うでしょうからね。
Benchmark Emailで出来るA/Bテスト
以前に「件名」でのA/Bテストを実施したことはあるのですが、他のA/Bテストは実施していませんでした。Benchmark Emailでは様々なA/Bテストが可能なので、宝の持ち腐れにならないように色々と実験していこうと思っています。
Benchmark Emailでは、様々なA/Bテストが実施できます。
- 差出人名/件名テスト
- メール vs メールテスト(メールの内容やデザインの違いによる反応テスト)
- 複数比較テスト(件名や送るメールなど複数の項目を変えてテストができます)
- 配信時間テスト(配信する日時の違いによる反応テスト)
比較するグループも3つまで選べるのは良いですね。テストの幅が広がりますね。
A/Bテストする配信時間の設定
今回は「配信時間」の違いによる反応の違いをテストするので、配信時間の設定をします。A/Bテストを作成する前に配信するメールを作成し下書き状態にしておく必要があります。
時間だけでなく、日付で配信時間を設定できるので、曜日や季節的なA/Bテストも出来ますね。
A/Bテストするコンタクトの割りを設定
件名によるA/Bテストと同じく、リスト内でA/Bテストに使うコンタクトの割合を設定します。A/Bテストに使わなかったコンタクトはA/Bテストの結果を見て本配信します。(後述します)
A/Bテストの採点設定
A/Bテストの結果を評価する際に「開封」「クリック」にポイントを付けて基準にすることができます。開封を重視するのなら「開封」だけを選択すれば良いですが、開封されているけどクリックされていない、開封数は低いけど、開封されたらクリックされている数が多いなどが、採点ポイントによりわかりやすくなります。
A/Bテストを実施する
全ての設定が終わったら、A/Bテストを実施して、結果を待ちます。
A/Bテストに使っていないコンタクトへのメール送信
初めてA/Bテストを実施する際に「A/Bテストに使ったコンタクト以外へのメール送信はどうなっているの?」と疑問を持たれると思います。自分も不安になりました。
A/Bテストの実施を設定すると以下のような表示が出ます。
つまり、A/Bテストの結果を見てから、残りのコンタクトへの送るメールを選択して送信するということです。
実際にA/Bテストのメール送信が終わると、A/Bテストのレポートページに本配信に使用する「テストグループ」の選択ボタンが表示されていました。
本配信に使うメールを選択すると、本配信の設定が可能です。
今回は「配信時間」を設定してのA/Bテストだったことも影響あるかもしれませんが、テスト結果の採点ポイントが高いメールを使って、自動で本配信をするという設定ができそうな気もします。また伏見さんに聞いてみよう。
配信時間のA/Bテストを実施してみて
WEBマスターの手帳のメールマガジンは、毎週木曜日に送ると決めてしまっていることもあり、まずは配信時間のテストを実施しましたが、結果は想定どおりでした。
とはいえ、まだまだ配信先数が少ないので、1度で結論を出さずに繰り返し実施していこうと思います。
とはいえ、日に2〜3人の方がメールマガジンを購読してくださっているので、嬉しい限りです!