Mixpanel創業者：製品の評価方法とは？

2023.06.01

共有先

TechFlow厳選深潮セレクト

Mixpanel創業者：製品の評価方法とは？

ユーザーとは、あなたの製品を使う人のことであり、彼らがすでに支払いを行ったかどうかや何か行動をしたかどうかに関わらず、あなたの製品においてすべて重要です。

2023.06.01 - 11:52:32

Web3業界の深掘り報道に専念し潮流を洞察

編集：TechFlow

注：本記事はTechFlow特集『YC起業講座中文ノート』（毎日更新）に収録されています。この特集はYC講座の中国語版を収集・整理することを目指しており、第6回はMixpanel創業者Suhail Doshiによるオンライン講義『製品の計測方法』です。

Mixpanelについて

私の理解では、ユーザーとはあなたの製品を使う人のことであり、支払いを行ったかどうかに関わらず、彼らはすべてあなたの製品にとって重要です。

私はMixpanelという会社を設立しました。技術的に言えば、最初の1行のコードは2008年10月に書かれました。当時私は約20歳で、起業の場所は両親の寝室でした。10年後、私たちは約300人の従業員を抱え、多数の資金調達を行い、約7,000の有料顧客を持ち、年間約1億ドルのリカーリング収益を得ています。

Mixpanelは主に以下の重要な指標を提供しています：

ユーザー行動分析（トレンド）：関心のあるユーザー行動がどれだけ発生し、全体に占める割合はどれくらいか。

行動フネルモデル（ファンネル）：特定の重要な行動において、各ステップでの定着率と離脱率はどれくらいか。

ユーザーのアクティブ性（コホート）：ウェブサイトユーザーのアクティブ度合い。これにより、忠実なユーザーと普通のユーザーを区別できます。

個別ユーザー行動分析（ピープル）：個々のユーザーがウェブサイト上でどのような操作を行い、そのプロセスはどうだったか。

さらに、Mixpanelは以下のような意思決定にも役立ちます：

複数チャネルで広告配信を行う際、新規ユーザーの登録経路を追跡し、どのチャネルが最も効果的かを比較できる；
ユーザーが主に使用しているブラウザのバージョンを確認し、互換性対応を行う；
特定のオフラインイベント期間中に、異なる省や都市からの新規ユーザー登録数を確認し、地域ごとの営業担当者のパフォーマンスを比較する。

何が重要なのか？

私は、グラフや可視化、数字などよりも、トップダウンアプローチで思考・分析・計測を行う方が効果的だと考えています。本当に問題を解決したいのであれば、表面的な現象を一時的に無視し、複雑な分析と計算を行う必要があります。会社を立ち上げるとき、私は次の3つに注目しました：

まず、人々に自分が何をしているかを知ってもらうこと。これは多くのことを変える必要がある；
次に、製品が初回使用しやすいかどうか。これは永遠に続く課題だが、受け入れなければならない；
最後に、人々が再び製品を使いに戻ってくるかどうか。

基本知識が非常に重要であることを強調したいと思います。大手企業でも基本的なミスを犯すことがあります。過度に複雑化することはよくある間違いであり、実際に測定・追跡すべき事項の量を適切に管理する必要があります。

すべてのデータは競争可能であり、1〜2つのキーメトリクスを選定すれば、チームのパフォーマンスを効果的に監視・評価でき、過剰な複雑化を避けることができます。

公式

この公式を使えば、会社のあらゆる問題を評価できます。例えば、ランディングページが非常に混乱している場合、原因を評価するためにこの公式を使うことができます。同様に、登録プロセスが難しすぎる場合も、なぜそうなのかを理解するのに役立ちます。また、もし製品が人々に好まれていないなら、この公式を使って原因を見つけることができます。

この公式のシンプルさと使いやすさこそが、会社の成長が止まっている理由を初期段階から評価できる鍵となります。しかし時間とともに、より深い分析が必要になるかもしれません。たとえば、ランディングページの閲覧数が突然減少した場合、国ごとに分割して問題の根本原因を探すことができます。

この公式は基本的に3つの問題を解決します：製品をどうやって簡単に理解させられるか、どうやって人々を戻ってきさせるか、そしてどうやって製品を維持・拡散させるか。

Airbnbのような大規模な企業でさえ、各ステップの最適化プロセスは決して終わりません。なぜなら、競合他社も継続的に改善を続けているからです。

この5つの指標を測定し、問題点を評価することで、自分自身のレバレッジポイントを持つことができ、どんな問題に対しても行動を起こせるようになります。これらの問題を解決するために専門チームを編成すると非常に有効です。

私の製品は理解しやすいか？

一部のランディングページのデザインが非常に悪く、ユーザーが製品への興味を失ってしまう可能性があります。そのため、ユーザーが元の画面に戻ってしまうことを防ぐよう注意しなければなりません。

私たちのデザインやキャッチコピーは常に改善を続けています。利益を中心に据え、顧客事例を通じて製品の特徴と利点をユーザーに示そうとしています。しかし真の問題は、人々が実際に製品を理解し使っているかをどうやって測定するかです。

登録＝製品の利用ではありません。ユーザーが実際に製品を使い、そこから真の価値を得ていることを保証しなければなりません。そのため、価値ある製品を創出するために、製品設計を継続的に調整・改善していく必要があります。

私の製品は使い始めやすいか？

最初のステップが困難になると、多くの人は試すだけで多大な労力を費やしてしまいます。そのため、本当に顧客に価値をもたらす機能に焦点を当て、すべての「かっこいい」機能を含めようとしないべきです。最初のステップがうまくいかなければ、その後のプロセスはうまく進みません。

製品をすぐに使えるようにするには、Googleで検索するだけで済み、登録やCaptcha入力は不要です。これはAirbnbと非常に似ています。ただし、Airbnbではユーザーが約10のステップを完了する必要があるかもしれません。私たちはしばらくAirbnbと協力し、初めての体験を最適化するのを支援しました。ユーザーエクスペリエンスを改善する鍵は、ユーザーができるだけ早く、できるだけ簡単に製品の使用を開始できるようにすることです。したがって、Airbnbは以下の2つの問題を解決しなければなりませんでした：

サービスとその価値をどう説明するか；
ユーザーが製品を使い始めるのをどう支援するか。

Airbnbの導入体験は非常にシンプルで、基本情報を入力して検索ボタンをクリックするだけです。これは製品の第一歩にすぎませんが、プロセス全体の出発点です。正しい方向性を確立することが本当に難しい部分であり、大量の作業と試行錯誤が必要です。初期ユーザーエクスペリエンス全体を測定するには、ファンネルモデルを使用して、ログインページから登録ページ、そして意味のある行動（例：Airbnbで少なくとも1回検索）までのコンバージョン率を測定できます。スピードも重要な要素であり、ユーザーエクスペリエンスの複雑さを教えてくれます。ユーザーエクスペリエンスを最適化したい場合は、状況をさらに悪化させないよう注意してください。たとえば、メールやSMSによる本人確認はユーザー離脱につながる可能性があります。初期ユーザーエクスペリエンスの反復的改善も極めて重要であり、終わることのないプロセスです。

最後に、可能な限りユーザーを製品内に導入する方が常に良いですが、すべての企業や製品がこれを実現できるわけではありません。たとえばPinterestはユーザー登録を必要とします。過去には人々が抵抗を感じたかもしれませんが、今ではそれが当たり前になっており、十分な理由もあります。

人々は再び製品を使いに戻ってくるか？

スタートアップ企業では、ユーザーの定着率という指標を軽視してはいけません。これが多くの企業（数百万のユーザーを持っていても）最終的に倒産する理由の一つだと私は考えています。

私はかつて15の異なる企業を目にしてきました。これらすべてが病的なほど成長した後に破産を宣言しました。

この点を図で説明したいと思います。私はこれを「フィン効果（fish fin effect）」と呼んでいます。この名前は、mixpanel上の最初のデータポイントのデフォルトラインカラーが青色であり、水中のサメの背ビレのように見えることに由来しています。

Facebook、Instagram、その他のサイトでウイルス的に拡散する方法を見つけたなら、とても嬉しくなり、「大金を手に入れた」「大量のユーザーを獲得した」「富が目前だ」と感じるでしょう。

しかし、定着率を十分に考慮せずに早期に大量のユーザーを獲得してしまうと、この成長は非常に危険になり、企業に損害を与える可能性があります。基本的に、このアプリはウイルスのように広がりますが、ユーザーを失う速度が新しいユーザーを獲得する速度を大きく上回るのです。

そのため、アプリが流行し始めたときに自分の衝動を抑えるのは難しいですが、「このチャンスを逃したら、競合に先を越される」と感じてしまうものです。

こうなると、常に最適化状態にありますが、最終的にその努力が大きな価値を生んでいないことに気づきます。なぜなら、すべてのユーザーを失ってしまったら、再び活性化するのは非常に困難だからです。ユーザーの再活性化を試みればわかりますが、通常それは賢明な選択ではありません。

ユーザーにしばらく離れさせておき、再び製品を試す決意をするまで待つ必要があります。誤った方法（頻繁なメール送信や帰還催促など）を取ると、状況はさらに悪化します。フィン効果は本当に危険です。実際、LivingSocialがその良い例です。

今では多くの人がこのアプリを知りませんが、かつてはFacebook上でGroupon、Deal Cuttingなどのアプリと競合していました。しかしアプリの定着率が低かったため、最終的にGrouponと競合せざるを得なくなりました。

顧客のリターンを測定する方法

1つ目は、新規登録ユーザーを追跡し、1週間または30日後にリターン率を計算すること。さらに長い期間の追跡も重要です。なぜなら、1週間後のデータはやや緩いものだからです。特に重要なのは、ユーザーを失う速度に注意し、新たな方法を見つけて改善することです。ユーザーが増え続ける中で、フィン効果が発生していないか警戒する必要があります。

2つ目の指標はDAU（日次アクティブユーザー）。一部の人はこれに同意しないかもしれませんが、私はMAU（月次アクティブユーザー）が新しい「BS指標（嘘っぽい指標）」になりつつあると考えています。登録ユーザー数と同じように、非常に愚かな指標です。7～8年前、LinkedInは「我々には2億人の登録ユーザーがいる」と発表しましたが、実際誰がLinkedInを使っているかなんて気にするでしょうか？今、MAUのような指標がそれに近づいています。

DAUは維持が難しい指標です。つまり、あなたが毎日いくつのアプリを使っているかということです。スマホを見て、可能性のあるアプリを眺めるだけではなく、実際に毎日使っているアプリはどれくらいありますか？これは非常に厳格な指標だと私は思います。MixPanelでもこの点を認識しました。したがって、B to B企業であっても、「まあ、私の営業活動はこうだから、土日も含めて毎日アクティブユーザーのように維持できるだろうか？」と考えるかもしれません。しかし、日常的な使用と離脱率の間には強い相関があり、人々が製品に支払わなくなる傾向があります。

3つ目は収益の離脱率。ユーザーを失う速度に注意し、新たな改善策を迅速に見つける必要があります。すべてのユーザーを失ってしまったら、再び活性化するのは非常に困難です。この点については、いくつかの基本的な方法があります。最も明白なのは、新規登録ユーザーを追跡し、1週間または30日後にリターン率を計算することです。より長期の追跡も重要です。なぜなら、1週間後のデータはやや緩いものだからです。

日常使用と離脱率に関する問題は、MixPanelの初期段階で私たちを本当に苦しめました。そのため、製品や価格設定など、さまざまな方法を検討する必要があります。顧客離脱率が変わらない場合、あなたの成長率はどの程度になるでしょうか？これはすべてのB to B企業にとって非常に重要です。

ユーザーが50人未満の場合どうすればよいか？

最も良い方法はユーザーと直接話すことだと思います。そうすれば、彼らをより深く理解できます。MixPanelに関する小さな話をしましょう。

私たちが始めたばかりの頃、本当のユーザーはいませんでしたが、ページや指標があり、それらは非常に魅力的でした。私はあるテクニックを使い、約10〜12人の潜在顧客をインスタントメッセージに集め、まるでチャットのようにやり取りしました。今の若者が何のツールを使っているかは分かりませんが、おそらく別のものでしょう。ただ、彼らの意見を聞き、何に興味があるかを尋ね、調査を行いたかったのです。

私たちはかつてファンネルUIを再設計しようとしました。当初は垂直ファンネルでしたが、競合は水平ファンネルを使用しており、こちらの方が直感的で良さそうでした。しかし、どちらの形式がユーザーに好まれるかを判断するデータをどう取得すればよいか分からなかったため、簡素なUI（水平ファンネル）を作成し、グレースケールテストのような形で実施しました。11人にどちらのファンネルが良いか尋ねたところ、10人が水平ファンネルを選んだため、それを採用することにしました。これは賢明な決定でした。

顧客と話すことで、データグラフを見るよりも深く詳細な情報を得られます。データをいかに分析しても、直接顧客と話すのと同じレベルの理解は得られません。

分析において、過度に複雑化することはよくある間違いです。さまざまな指標、タスク、負荷などを追跡する必要があると考えてしまいます。しかし、私はいくつかのキーメトリクスを選択し、シンプルな方法で監視すればよいと考えます。たとえば、ナーステラ（North Star）指標を1つ選び、「会社はこの数字に賭ける」と自問し、6ヶ月間それを監視してください。必要であれば指標を変更しても構いませんが、シンプルさを保ってください。同時に、あまりに多くの指標を監視しようとはせず、3〜5のキーメトリクスに絞ってください。

良いベンチマークとは何か？

訪問、登録、製品使用という各ステップにおいて、いずれも優れた指標に変換できる可能性があります。B to Bビジネスに依存するベンチマークの場合、訪問から登録へのコンバージョン率に似ています。4%〜5%のコンバージョン率はかなり良好だと考えます。

Airbnbのようなサイトでは、ログインページにアクセスして、予約したい最初の場所を探すことが該当しますが、これはビジネス内容に強く依存します。

Mixpanelのブログでは多くのベンチマークテストが公開されており、マーケティングチームはゲーム会社、EC企業、B to B企業、ソーシャル企業、動画企業など、さまざまなベンチマークを発表するのが好きです。そこにはさまざまなベンチマークレポートがありますが、実際には具体的なビジネス状況に依存します。

ランディングページ

ソーシャルメディアボタンに似たコンバージョン方法を見つけるには、標準的な登録のように時間がかかり面倒な手続きを避け、迅速にユーザーを検証する必要があります。多くの特定要因を考慮する必要がありますが、これらは常に明確とは限りません。

ベストプラクティスを見つけるために、非競合業界で働く友人に助けを求め、彼らのコンバージョン率や試みた方法を学ぶことができます。これらのデータは商業機密ではないかもしれませんが、直接の競合に尋ねるのは奇妙なので、秘密は守るべきです。

Airbnbのようなサイトはシンプルに保てます。多くの人がその使い道を知っているため、複雑なものではなくシンプルに保てるのです。

一方、Craigslistのページは非常に煩雑です。Craigslistのホームページにアクセスすると、非常に混乱した印象を受けます。

Amazonのような巨大ブランド力を持つ企業でさえ、サイトは簡単にログインできるようにすべきです。Amazonにアクセスすると、数百万の商品がすぐに目に飛び込んできます。

では、これらの企業はどのようにバランスを取り、複雑さに対処しているのでしょうか？

実際、重要なガイドラインがあると考えます。

まず、最適化の目標を明確にする必要があります。YouTubeを例に挙げると、Googleのように好みに基づいて動画を推薦することはできません。動画に関連する情報を提供し、実験を通じて重要な要素が何かを探る必要があります。これは、ユーザーが実際にどちらの体験を好むかに関係しています。

シンプルなインターフェースを提供しても、ユーザーが混乱してしまう場合、それは使い方が分からないか、彼らに尋ねていないからです。新しい情報を得る必要があります。

重要なのは、他の人が製品を使い始めるために必要な情報を最小限に抑えることです。

Amazonのような企業は、無数のホームページデザインをテストし、最終的に最も理想的なページを見つけ出したと信じています。

1〜2分の動画チュートリアルは有効か？

これは非常に複雑な問題だと思います。例を挙げると、私たちはプロセスを作成する際に動画チュートリアルを生成しましたが、多くの人は実際に見ていないことがわかりました。製品の使用状況に過度に注目する企業は、行き過ぎて間違えてしまい、奇妙なものを最適化してしまうことがあります。たとえボタンをどんどん黄色く大きくしても、ユーザーを最終的に満足させることはできません。

多くの人はサイドメニューのオプションと同じようにランダムにクリックしているだけだと気付きました。私の仮説では、彼らはまだMixpanelを統合しておらず、見るべきものがなかったのです。そこで、何をすべきか？漏斗をクリックするようにデータを保持するのですが、なぜそれを？私の仮説では、彼らは単に好奇心があり、製品の機能と自分が何をしたかを知りたいだけなのです。そこでABテストを行いました。制御群には類似のオプションがなく、周囲をクリックして画像を見るだけの人たちがいました。

もう一つのグループには、動画に似たコンテンツを含めました。統合を好む理由、初めての統合のコンバージョン率がどれくらいかを調べました。結果、動画のようなコンテンツが非常に成功しました。

実際、これよりもさらに簡単なテストを行いました。単に人々に動画を送り、「これを見て、超基礎」と言っただけです。サイト上に実装する手間すらかけませんでしたが、驚異的なコンバージョン率を得ました。その後、すべてのタブに動画を追加することに決めましたが、それでも何の変化もありませんでした。

したがって、強調したいのは、本当にそれが何であるかに依存するということです。重要なのは、仮説を立てるために実験を行うことです。芸術は科学ではなく、測定こそが科学です。測定によって、望む結果が正しいかどうかを確かめられます。

ユーザー定着率とドル離脱

ここには2つの異なるケースがあります。1つはユーザー定着率に似ており、もう1つはドル離脱に似ています。ドル急落の場合、その原因はユーザーが製品を使っていなくても企業が支払いを続けることにあります。つまり、企業にはコスト削減のインセンティブがあり、予算内で支出を減らすインセンティブもあります。ドル離脱には多くのケースがあります。たとえば、B2B企業では、たとえ1人のユーザーしか使っていなくても、企業は製品に費用をかけ続けます。そのため、40%の定着率が見られることがあります。企業は支出を続けられますが、1年で40%のドルを失うのは非常に困難であり、企業の維持にとって不利です。これらは直接的には関係ありません。

チャットアプリのように頻繁に使用される製品では、定着率は通常60%〜70%の間ですが、Slackのようなアプリでは80%の定着率に達することがあり、これは最高レベルです。

MixPanelのような製品では、初年度の定着率は通常30%〜40%に留まり、これは理想的ではありません。

ハードウェアスタートアップ企業は、あなたが構築しているように、4つの指標に従う必要があります。多くのハードウェア企業はソフトウェアコンポーネントを持っています。通常インターネットに接続され、データ追跡が必要だからです。ハードウェア企業としてはデータ追跡がより困難かもしれませんが、完全に可能です。

目標設定に関しては、さまざまな規模の企業と同様に設定し、市場特性や他の情報に基づいて調整する必要があります。初期段階では、顧客が誰であるかを明確に把握できないかもしれませんが、数年後にはユーザーとの対話を通じてより多くの情報を得られます。私たちの場合、初期の顧客層は中小企業と呼ばれていました。

製品が市場に成功し、認められるようにするには？

大手企業と契約できないことに気づくまでに6ヶ月もかかりませんでした。なぜなら、私たちの製品は市場に存在しておらず、開発する時間が不足していたからです。私たちの製品を試すことにリスクを取ってくれる企業だけが協力を検討してくれましたが、そのような中小企業の多くは他の面でも脆弱であり、新しい製品を試すのに適していました。

このような状況では、失うものがあまりなく、リスクを取る意思があるターゲット企業に対して、私は通常、有料で提供し、断られたら無料で提供するというテクニックを使います。フィードバックが非常に重要だからです。誰かが支払うかどうか疑問に思っていましたが、結局中小企業だけが試す意思を見せました。

私たちは新規ユーザーの獲得だけでなく、既存ユーザーの維持を主な目標とした特定の機能にも注力しました。ある機能が実際に影響を与え、他の選択肢と比べて明らかに有利であると考えました。たとえば、パスワード忘れは問題ですが、ユーザーが何度もパスワードリセットを要求するのは面倒です。この機能を構築しなければユーザーはログインできません。したがって、構築する必要がありました。

MixPanelは当初、パスワード忘れ機能を構築していませんでしたが、12〜18ヶ月後、ユーザーがログインに何度も失敗し、5回のログイン画面が表示されることに気づきました。これは銀行サービスを思い出させます。人々は成功するまで何度も試行することに慣れています。実際、パスワード忘れ機能を構築していなくても、最終的には他の方法でユーザーを維持する必要がありました。たとえば、Facebookが使うテクニックでは、ログインに3回失敗した後にユーザーにメールを送るだけで、ログインをスムーズにできます。

最終的に、既存ユーザーの維持が私たちの主な目標であり、単なる新規ユーザーの獲得ではありませんでした。

製品市場適合性（PMF）をどう測定するか？

これは重要な問題で、定量的および定性的な2つの測定方法があると考えます。定性的な方法は、ユーザーが友人に製品を勧めるかどうかを見るもので、これは通常良いシグナルです。

もう一つの定量的方法はユーザーの記憶力の測定で、1週間または30日後に製品を使いに戻ってくるユーザーの割合を総ユーザー数で割る方法です。これはDAU（日次アクティブユーザー）に似ています。また、ユーザーの使用方法に基づいて製品適合度を測定することもできます。たとえば、「ユーザーは1日に5つの動画を視聴しなければアクティブとみなさない」という厳しい指標を設定する方法です。

適切な測定基準を見つけることは極めて重要です。業界平均をベンチマークにできますが、できればそれを超えるべきです。もし製品のパフォーマンスがこれらの基準を超えているなら、製品市場適合性が高いと言えます。

より正確に測定するには、全体的な使用率や頻繁使用率などの方法も使えます。全体測定は繰り返し使用の状況を示し、頻繁使用は高品質なユーザーを厳しく選別できます。

以上のように、厳格な測定基準で製品市場適合性を評価することは非常に重要です。現在、MixPanelの定着率は30〜40%ですが、これはまだ完全に製品市場に適合していないことを示しており、さらなる最適化と改善が必要です。