データ分析開発合宿を開催しました~自社サービス改善のためのデータ分析事例紹介~

この記事では、社内部署横断で開催したデータ分析開発合宿について紹介します。 自社サービスが持つ課題に対して、社員がデータ分析と課題解決のための施策提案に取り組み、サービス側へのフィードバックと改善へつなげることができました。

目次

はじめに

皆さんこんにちは、ソリューションサービス部の小関と是松です。

今回はこちらの記事の続編です。 データ分析開発合宿を開催しました~自社サービスのデータ利活用を促進しよう~

前回の記事では、エンジニアを中心とした社員でチームを作り、データ分析で自社サービスの課題解決に取り組んだ、データ分析開発合宿を紹介しました。 今回の記事では、NTT ComのサービスであるNeWork、Node-AI、Smart Data Platform (SDPF) に向けて実施された分析と施策提案について紹介します。

各サービスでの分析内容と施策提案

NeWork

NeWork は、リモートワーク、オフィス、複数の拠点が同じ空間でつながるオンラインワークスペースです。 バーチャルオフィス空間上でチームメンバーとのコミュニケーションがいつでも可能で、誰が誰とやり取りしているのかを把握できます。 1対1の通話はもちろん、「バブル」 という会議室に似たスペースを自由にカスタマイズして、多人数コミュニケーションをとることが可能です。

課題と提供データの簡単な説明

NeWorkが提示した課題は、チャーンレート(解約率)の分析です。

例えば、以下の画像にあるような有料プランから無料プランへ変更したユーザーの傾向や、利用状況の時間変化などから、チャーンシグナル(解約の前触れ)はあるかという分析内容です。

提供データは、Googleアナリティクス4から収集されたイベントデータで、複雑なデータ構造となっています。そのため、まずはデータ構造の把握や欠損値等の前処理から実施する必要がありました。

バブル滞在時間と画面共有時間の傾向分析

NeWorkを担当したチームの分析の一部を紹介します。 こちらのチームでは、バブル滞在時間・通話時間・画面共有時間を分析し、以下の傾向があることを発見しました。

  • 継続しているワークスペースは、バブル滞在時間が長い
  • 継続しているワークスペースは、バブル滞在時間に対して通話時間が短い
  • 継続しているワークスペースは、画面共有が多い

この分析結果を受けて、ユーザーの解約防止として以下の施策が提案されました。

  • もくもく会としての活用を訴求
  • アプリ版への導線を引く
  • チュートリアル機能の追加

通話あたりの画面共有率の傾向分析

またこちらのチームでは、通話時間の中で画面共有をしていた時間の割合(画面共有率)を分析し、以下の傾向があることを発見しました。

  • サービスを利用し始めてから10週を過ぎると、有料プランユーザーと解約ユーザーで画面共有率に差がある
  • 有料プランユーザーは10分以内の短時間の通話の中でも画面共有を利用している傾向がある

この分析結果を受けて、以下の施策が提案されました。

  • 画面共有率のウォッチ
  • 導入・トライアル初期における画面共有活用のユースケースの事例紹介

Node-AI

Node-AIはドラッグアンドドロップでカードを配置しながら繋げていき、ノーコードでAIを開発できるサービスです。 学習に使うデータを設定するデータカードや、データを加工する前処理カード、予測モデルを作成する学習カードなど、さまざまなカードがあります。

課題と提供データの簡単な説明

Node-AIが提示した課題は、長く使うユーザーとすぐにやめるユーザーの傾向や、ユーザーがどこでエラーを踏むかの情報をもとに、優先して改善すべきカードや機能を知りたいという内容です。

Node-AIでは各ユーザーの実行ログを取得しており、どのユーザーがいつ何のカードを実行し成功/失敗したかのデータが合宿参加者へ提供されました。

1日でやめてしまったユーザーの傾向分析

Node-AIを担当したチームの分析の一部を紹介します。

こちらのチームでは、1日で利用をやめたユーザーが最後に実行したカードとカードの実行遷移を分析し、以下の傾向があることを発見しました。

  • 学習に使うデータを設定するデータカードを最後に実行したユーザーが多い(左側の円グラフ)
    • 「dataresource SUCCESS」は、データカード上で目的変数と説明変数を設定し、その設定に成功したログを表している
  • 「dataresource SUCCESS」を繰り返す傾向がある(右側のグラフ)

この分析結果を受けて、1日で利用をやめたユーザー像の仮説と離脱防止施策として以下が提案されました。

  • 仮説:目的変数や説明変数の設定成功に気付かず繰り返し実行した後、次に何をするのかが分からず離脱したユーザーが一定数いると考えられる
  • 施策:データカード上で設定成功のメッセージを強調し、気付かず離脱してしまうユーザーを減らす

SDPF

SDPFはデータ利活用に必要なさまざまな機能を集約したプラットフォームサービスです。 今回分析の対象となったSDPF クラウド/サーバーはSDPFの機能の一部であり、IaaSメニューとしてネットワーク、データセンター、マネージドサービスを連携したサービスです。WebポータルだけでなくAPIによる操作も対応しています。

課題と提供データの簡単な説明

SDPFが提示した課題は、SDPFへアクセスするIPアドレスのリクエスト情報から、オブザーバビリティを高め、システムやユーザーの状態変化を把握したいという内容です。

SDPFではサービスへアクセスするIPアドレスのリクエスト情報を取得しており、どのIPアドレスがいつどのURIをリクエストしたかのログデータが合宿参加者へ提供されました。

日時当たりの送信元IPアドレスのユニーク数を使った分析

SDPFを担当したチームの分析の一部を紹介します。

こちらのチームでは、1時間ごとの送信元IPアドレスのユニーク数について分析し、以下の傾向があることを発見しました。

  • 受領データの期間内に、ユニーク数が多い時間帯が3つあった(画像1枚目の時系列グラフ)
  • 上記3つの時間帯にアクセスした送信元IPアドレスの中で、直近アクセスが無かったIPアドレスに絞ると、特定のURIに対して複数回リクエストを要求するIPアドレスがあった

分析結果からは、上記の傾向がシステムへどのような影響を及ぼしたかまでは判明しませんでしたが、特徴的な傾向を発見できました。その上で、アクセスの傾向の把握とシステム改善への利活用について以下が提案されました。

  • 分析から分かった送信元IPアドレスの増加原因とシステムへの影響調査
  • 時間ごとの送信元IPアドレスのユニーク数を用いた普段と異なるリクエスト傾向の検知システム開発

報告を受けての各サービスでの施策状況

NeWorkでは、分析結果を元に解約率低減や定着率向上のためチュートリアルを実装し、効果測定のABテストに取り組んでいます。今後計測結果を分析する予定です。また、解約傾向の見直しにも取り組んでいます。

Node-AIでは、分析結果を元にチュートリアルを変更しました。また、合宿の参加者からレビュアーを募り、変更内容について意見をもらう開発レビューも実施しました。 さらに、チーム内で協議し、提供された分析結果を参考にしてデータ可視化用のダッシュボードを作成し、日々のサービスの状況を確認しています。

SDPFでは合宿で指摘されたIPアドレスからのアクセス増加による影響が調査されました。このアクセスによるシステムへの影響はなかったものの、分析結果からアクセス集中を検知することで、システム負荷計測やユーザーのアプリケーション活用方法の変化を検知し、フィードバックができないか協議がなされました。

上記のように合宿で得られた分析結果が、各サービスの改善に用いられました。

終わりに

今回のデータ分析開発合宿により、サービスがもつデータの分析と課題解決のための施策を提案し、サービスの改善に貢献できました。 今年も開催し社内のデータ利活用をさらに推進していきたいです。

© NTT Communications Corporation All Rights Reserved.