商談評価から主観を外す｜クロージングの受け答えをLLMでスコアリングする【AI活用検証vol.49】

商談の評価は、どうしても主観が入ります。「手応えがあった」「あまり刺さらなかった」という感覚は、人によって基準が違います。

この検証では、クロージング時の受け答えや質問の密度をLLMでスコアリングすることで、主観を排除した商談評価を目指しました。あわせて、運用中に見つかったリスト通知の不具合3件にも対応しています。

この検証の概要

本記事は自社での検証記録です。成約率の変化などの測定は行っていないため、数値は掲載していません。

結論：スコアリングで主観を外す

この段階で確認できた最も重要な点です。

クロージング時の特定の受け答えや質問の密度をLLMでスコアリングすることで、主観を排除した商談評価が可能になります。

営業の振り返りは、担当者本人の記憶と感覚に依存します。同じ商談でも、調子が良い日と悪い日では自己評価が変わります。この揺れがある限り、データとして積み上がりません。

一方、「どんな質問を何回したか」「クロージングにどう返ってきたか」は、記録から機械的に判定できます。ここをスコア化すれば、比較可能な数字になります。

感覚を否定するのではなく、感覚とは別軸の指標を用意するということです。

運用で見つかった不具合への対応

この期間の作業として、リスト通知の不具合3件に対応し、アラート通知の不具合解消とリスト記入監視の安定化を達成しました。

地味ですが、これは分析の前提条件です。通知が正しく飛ばなければ記入漏れが起き、記入漏れがあれば分析できません。

自動化は作った時点では完成せず、運用しながら出てくる不具合を潰す期間が必ず必要になります。この工程を見込まずにスケジュールを引くと、分析フェーズに入れません。

HOT/COLDラベルの精度改善

予約者へのラベル付けロジックも改善しています。事前の温度感判定が正確になるほど、商談準備の力の配分が的確になります。

タグ分類による相関分析

成約率向上のための分析方針を確定しました。「実演有無」や「活用事例の紹介有無」を、タグ分類（業務-Gemini / Dify等）と組み合わせて分析します。

商材によって効く打ち手は変わります。全体を平均しても意味がないため、タグで切り分けたうえで比較する設計です。

コストの制約下での運用

実務的な補足として、営業実演のMakeフローは無料枠内でのやりくりを継続しています。

ノーコードツールは実行回数に応じてコストが増えます。検証段階では無料枠に収まるよう組み方を工夫し、本格運用の目処が立ってから有料化やコードへの移行を判断する——という進め方です。

横展開：講師評価への応用

この分析の枠組みは、営業以外にも使えます。講師評価制度への応用可能性（n8n活用）を確認しました。

「話し方を記録して、良い動きを特定する」という構造は、対象を変えても成立します。一度作った分析の型は、他の領域に持っていけます。

よくある質問

主観を排除するとはどういうことですか？

担当者の感覚とは別軸の指標を用意するということです。質問の回数やクロージングへの返答内容は記録から機械的に判定できるため、スコア化すれば比較可能な数字になります。

なぜ不具合対応に時間をかけるのですか？

通知が飛ばなければ記入漏れが起き、記入漏れがあれば分析できないためです。自動化は運用しながら不具合を潰す期間が必ず必要になります。

Makeの費用はどうしていますか？

無料枠内でのやりくりを継続しています。検証段階では無料枠に収まるよう組み方を工夫し、本格運用の目処が立ってから有料化やコード移行を判断する方針です。

営業以外にも使えますか？

講師評価制度への応用可能性を確認しています。「話し方を記録して良い動きを特定する」という構造は、対象を変えても成立します。

まとめ

• クロージング時の受け答えや質問の密度をLLMでスコアリングすることで、主観を排除した商談評価が可能
• リスト通知の不具合3件を解消し、記入監視を安定化。分析の前提を整えた
• 「実演有無」「活用事例の紹介有無」をタグ分類と組み合わせて相関を分析する方針を確定
• Makeフローは無料枠内でやりくり。本格運用の目処が立ってからコストの判断をする
• 分析の型は講師評価制度へ横展開できる

データに基づく評価を導入する目的は、感覚を否定することではありません。感覚と突き合わせられる別の軸を持つことで、議論が具体的になります。

株式会社AI棒では、こうしたAI活用の検証を日々行い、企業の営業DXとAI導入を支援しています。ご相談はお問い合わせフォームから、継続的な伴走支援についてはAI参謀をご覧ください。