AI実務ログ: AIの答えが「判断不能」になる理由

0｜実験ログ：あるプロンプトを試してみた

私はマーケティング支援の仕事をしているため、
外部のマーケティング講座や記事をチェックすることが多い。

特に最近は、

「AIを使ったマーケティング分析プロンプト」

のようなものが紹介される機会が増えている。

実務で使えるものがあるかどうか、
気になったプロンプトは、なるべく一度は実際に試してみることにしている。

ちょうどその頃、
ある企業のマーケティング支援で、

「初めてメルマガを立ち上げる担当者」

の相談に乗っていた。

メルマガ配信ツールを導入するにあたり、

• どんなユーザーが検索するのか
• どんなキーワードを狙うべきか

を考える必要があった。

そこで、ある講座で紹介されていた
ペルソナ生成プロンプトを試してみることにした。

プロンプトの詳細はここでは省略するが、
大まかな流れは次のようなものだった。

• 検索キーワードを予測する
• 検索ユーザーの属性を推測する
• 背景ストーリーを作る
• 悩みを深掘りする
• ペルソナとしてまとめる

いわゆる、

検索ユーザーの人物像をAIに作らせる

タイプのプロンプトである。

1｜AIの回答

AIはすぐに回答を出した。

例えば、検索キーワードとして出てきたのはこういうものだった。

• メルマガ 始め方 企業
• メルマガ ツール おすすめ
• メール配信システム 比較
• メール配信システム 料金 相場

さらにAIは、それらを検索意図ごとに整理してくれた。

例えば、

ノウハウ系

• メルマガ 始め方
• メルマガ 書き方

比較検討系

• メルマガ ツール おすすめ
• メール配信システム 比較

コスト検討系

• メール配信システム 料金
• メール配信ツール 費用

かなり綺麗に整理されている。

さらに、
それらを検索するユーザー像として、

• マーケティング担当になったばかりの社員
• メルマガを初めて担当する広報
• メール配信ツールを選定する担当者

などの人物像が提示された。

一見すると、

かなりよくできたマーケティング分析

のように見えた。

2｜しかし、ここで手が止まった

ここで、ふと手が止まった。

私はこう思った。

これは、本当に分析なのだろうか？

出てきているキーワードは、
確かにそれらしい。

しかしよく考えると、

すべて推測である。

Search Consoleでも
広告データでもない。

検索ボリュームのデータでもない。

AIが、
インターネット上の一般的な知識をもとに
それらしく生成したものだ。

つまりこれは、

データ分析ではない。

いわば、

「それっぽい仮説」

である。

3｜もう一つの違和感

さらに、もう一つ違和感があった。

AIの回答は、
非常に綺麗にまとまっていた。

しかし、

綺麗すぎた。

引っかかりがない。

どこから手をつけるべきか、
決められない。

それぞれは正しそうなのに、

戦略が浮かんでこない。

4｜AIの答えが判断不能になる構造

少し整理してみると、原因ははっきりしていた。

AIが出してくるのは、

• 平均的なキーワード
• 平均的なユーザー像
• 平均的な悩み

つまり、

インターネット上の平均値

である。

しかしマーケティングの意思決定とは、

どこを攻めるかを決めることだ。

そしてそれは同時に、

何を捨てるかを決めることでもある。

ところがAIの出力は、

すべて平均点。

すると、

捨てられない。

結果として、

判断が止まる。

これが、

AIの答えが判断不能になる構造

だった。

5｜実務で試している小さなプロセス

AIの回答は、そのままだと判断が止まることが多い。

そこで私は、次のような順番でAIを使うことがある。

①生成

まずAIにキーワードを出させる。

これは、

材料集め

である。

②解体

次にAI自身にこう聞く。

例えば、

• この分析の前提は何か
• 間違っている可能性はどこか
• 見落としている顧客はいるか

これは、
AIが出した

「完璧な平均値」

というメッキを
少しずつ剥がしていく作業だ。

こう質問すると、

AIの回答は

絶対の正解

から

仮説

に変わる。

ブラックボックスだった答えが、
構造として見えてくる。

③評価

その上で、評価軸を与える。

ここでのポイントは、
人間が評価するのではない。

推論したAI自身に、
自分の回答を評価させる。

例えば、

• 成約に近い検索か
• 競合の強さ
• 自社の強みとの相性

こうしてAI自身に説明させると、
ただのキーワードリストだったものが

優先順位のある判断材料

に変わる。

④判断

ここで初めて、人間が判断する。

例えばこうだ。

「多少リスクはあるが、
自社の強みが活きる
このニッチなキーワードから記事を書こう」

こうして、

実務としての
GOサイン

が出せる。

6｜AI実務の三つの壁

AIを実務で使うと、
次の三つの問題にぶつかる。

拡張
↓
停止
↓
判断

AIは拡張が得意だ。

整理すれば、
拡張は止められる。

しかし最後に残るのが、

判断

である。

今回のログは、

AIの完璧な平均値が
判断を止めてしまう

という構造だった。

次回は、AIの回答に差分を作る方法について、

もう少し実験ログを書いてみようと思う。