AIの評価精度はプロンプトで決まる｜書類選考を現場の判断基準に近づける方法【AI活用検証vol.45】

Difyで書類選考のスコアリングを組んだあと、次に取り組んだのは評価を「現場の判断基準」に近づけることでした。動くものはできていても、出てくる評価が採用担当の感覚とずれていては使えません。

取った手段は、モデルの変更でも仕組みの作り直しでもなく、プロンプトへの情報注入でした。この地味な作業が、評価の精度を決めています。

この検証の概要

本記事は自社での検証記録です。評価精度の数値測定は行っていないため、正答率などの数値は掲載していません。

結論：判定軸は求人ごとに与える

この段階で取り組んだ核心がこれです。

求人ごとに「バックオフィス向け」「AI講師向け」といった判定軸を明確にするため、会社・事業情報の詳細なプロンプト注入を実施しました。

同じ職務経歴書でも、募集している職種によって評価は変わります。バックオフィスなら正確さや継続性、AI講師なら伝える力や技術理解——見るべき点がまったく違います。

この違いは、プロンプトに書かなければAIには伝わりません。「優秀な人を選んで」では、汎用的な優秀さで判定されます。

何を注入するのか

• 会社情報 — どんな組織で、何を大事にしているか
• 事業情報 — 何をやっている会社で、その職種がどこを担うか
• 職種ごとの判定軸 — この求人では何を重視するか

採用担当者が頭の中で当たり前に使っている前提を、文章として書き出す作業です。手間はかかりますが、ここを省くと評価が現場の感覚から離れます。

評価の可視化：5項目 × 星1〜5

出力の形式も整えました。5項目それぞれを星1〜5で評価し、合計点に基づいて総合の「星の数」を表示します。

数値のままだと解釈が人によって変わるため、星に丸めています。「7点」と言われるより「星3」のほうが、判断が速くなります。

この取り組みの位置づけ

この選考エージェントは、Indeed APIの利用が停滞している状況で代替として先行させたものです。応募者情報の取得が自動化できなくても、評価の部分だけで工数は削減できます。

現在はプロンプトエンジニアリングのフェーズにあり、仕組みを増やすのではなく、渡す情報を磨く段階です。

よくある質問

なぜモデルを変えずにプロンプトを調整するのですか？

問題がモデルの性能ではなく、渡している情報の不足にあるためです。求人ごとの判定軸を伝えなければ、どのモデルを使っても汎用的な評価になります。

どんな情報を注入するのですか？

会社情報、事業情報、そして職種ごとの判定軸です。採用担当者が頭の中で当たり前に使っている前提を、文章として書き出します。

なぜ点数ではなく星なのですか？

数値のままだと解釈が人によって変わるためです。星に丸めることで判断が速くなります。項目ごとの星で強弱を、合計点からの総合星で優先順位を見る設計です。

実運用に乗っていますか？

現在はプロンプトエンジニアリングのフェーズです。評価を現場の判断基準に近づける調整を進めています。

まとめ

• Dify書類選考エージェントを現場の判断基準に近づけるため、プロンプトの調整に注力
• 求人ごとの判定軸を明確にするには、会社・事業情報の詳細な注入が必要
• 採用担当者が当たり前に使っている前提を文章化する作業が、評価精度を決める
• 出力は5項目×星1〜5と、合計点による総合星で可視化。数値より判断が速くなる

AIの評価精度を上げようとすると、モデルや仕組みに目が向きがちです。しかし多くの場合、足りないのは渡している前提情報のほうです。

株式会社AI棒では、こうしたAI活用の検証を日々行い、企業の採用業務へのAI活用を支援しています。ご相談はお問い合わせフォームから、継続的な伴走支援についてはAI参謀をご覧ください。