生成AIで地質調査報告書の下書きが40分から15分になったとします。照査と修正が20分から50分に増えれば、部署で費やした工数は60分から65分になります。何に時間がかかったかまで分かると、次に変えるのがAIへの指示なのか、渡す資料なのかを判断できます。導入効果を測るときは、初稿、照査、修正にかかった工数と、提出前に止めるべき誤りを、一つの成果物について記録することから始めます。
Dell’Acquaらの論文 Navigating the Jagged Technological Frontier(Organization Science、2026年)は、BCGの経営コンサルタント758人を対象に、生成AIの利用が課題の時間、品質、正答率に与える影響を調べた実験です。この結果を手がかりに、報告書の作成と照査を通して導入効果を確かめる方法を考えます。
読みやすさと結論の正しさの評価
385人を割り当てた実験では、企画や文章作成など18の小課題のうち完了した割合は、AIを使わない群で平均82%、AIを使う二つの群で平均91%と93%でした。373人を割り当てた別の実験では、ヒアリングと財務データから成長が期待できるブランドを選びます。この課題の正答率は、AIを使わない群の84.5%に対し、指示文の工夫を解説した教材を受け取ってGPT-4を使う群で60.0%、教材なしでGPT-4を使う群で70.6%でした。両群が対照群を下回ったのは、このブランド選定課題での結果です。
地質調査報告書で考えると、決まった調査目的を読みやすく編集する仕事と、複数の柱状図から地層境界の説明を作る仕事では、照査の重点が変わります。後者では、根拠に挙げた地点と深度を原資料までたどります。冒頭の例で増えた30分の内訳を調べるなら、照査者が開いた資料と、そこで差し戻した記述を一緒に残します。図の時計は、下書きから根拠確認と修正を経て提出可能になるまでを測ることを表しています。
報告書一節を使った比較
会社で小さく試すときは、提出済み報告書の一節を題材にし、原資料を揃えて従来手順とAIを使う手順を比較できます。同じ人に同じ資料を続けて読んでもらうと二度目が有利になるので、できれば難度が近い課題を二つ用意し、使う手順と課題の組合せを交代します。準備や初稿に使った時間、原資料を開いて確かめた時間、修正と再確認に使った時間を分けて記録し、同じ照査基準を適用します。手が空くまでの待ち時間も課題なら、工数とは別に提出可能になるまでの経過時間を残します。
照査で見つけた誤りは、直す手間と結果への影響の両方を記録します。誤字はその場で直せますが、別の孔のデータで地層境界を説明していたら、結論を確かめるところへ戻ります。こうした提出を止める指摘を事前に定め、件数の少ない試行では、全社の削減率より、照査に手間がかかった箇所を次の試行に持ち帰ります。
例えば照査時間が増えた理由が深度の出所探しなら、初稿と一緒に根拠となる孔番号・頁を出し、照査者が記録と照らせる形に変えて再度測ります。提出までの手間が減り、重要な誤りが提出前に解消できた工程から、部署内で使い方をそろえます。試行の結果には、負担が減った工程名と、適用できた資料の条件、そのときの照査基準をそろえて残します。