こども家庭庁が１０億円をかけて開発した「虐待判定AI」について、試験段階で判定ミスが６割に上り、「実用化困難」と判断され導入が断念された。膨大な学習データ（約5000件）が不足していたため、精度が低かったことが主因とされている。虐待防止対策に高額の予算を投じたものの、実用化に至らなかった失敗事例と言えよう。
X（Twitter）でトレンド入りした「虐待判定ＡＩ 」について説明します！
- こども家庭庁が10億円をかけて開発した「虐待判定AI」システムが、判定ミスが6割に上り、実用化が困難と判断され導入が見送られた。
- 過去の虐待事例100件のリスクを判定させる検証を行った結果、100件中62件で「著しく低い」などの疑義が生じた。
- AIシステムには重要な項目が抜け落ちていたことや、学習データが約5,000件と少なすぎたことが原因として指摘された。
10億円投資された「虐待判定AI」の失敗
開発経緯と導入断念の経緯
こども家庭庁は、虐待の疑いがある子供の一時保護必要性をAIで判定するシステムの導入を検討していた。過去の虐待事例約5,000件のデータを学習させ、91項目の情報を入力すると0~100点のリスクスコアを出力するAIシステムを10億円をかけて開発したが、実用化に至らなかった。 検証段階で、100件中62件で「著しく低い」などの精度上の問題が指摘されたため、こども家庭庁は2025年度の導入を断念した。同庁の関係者は「子供の体重減少といった重要な項目が抜け落ちていた」と説明している。
AIシステムの精度不足
AIシステムの精度が低く、実際に虐待を訴えていた子供でも低評価となるなど、多くの問題が明らかになった。例えば、「母に半殺し以上のことをされた」と証言したにもかかわらず、リスクスコアは100点中2~3点という事例もあった。 AIによる判定では、目に見える外部の傷や痕跡を重視する傾向にあり、心理的な虐待やネグレクトなど、目に見えない虐待形態の評価が難しい課題が浮き彫りになった。
データ量の不足
また、AIシステムの学習に使用した約5,000件の過去事例データでは不足していると分析されている。児相関係者は「学習データ量が少なすぎた」と指摘している。
虐待判定には膨大な量の詳細な記録が必要だが、現状はその蓄積ができておらず、AIシステムの精度向上が困難な状態だったことが分かった。
引用：x.com
虐待判定AIシステムの課題
AIだけでは虐待の判断は困難
虐待事例には様々な形態があり、目に見えない心理的虐待やネグレクトなどの評価が難しい。AIシステムは外見上の傷や痕跡を重視する傾向があるため、そうした形態の虐待を見逃す可能性がある。
学習データ不足の問題
虐待判定には膨大な量の詳細な記録が必要だが、現状の蓄積は不足しており、AIシステムの精度向上が困難な状態だった。5,000件程度の過去事例データでは、AIの学習には足りないと指摘されている。
入力項目の課題
今回開発されたAIシステムでは、91項目もの情報を入力する仕様となっていた。入力項目が膨大すぎるため、現場の負担が増大し、正確な情報入力が困難になるという問題点も浮かび上がった。
今後の対策は
AIと人間の役割分担
虐待判定にはAIと人間の協調が不可欠だと考えられる。AIには過去事例の分析や予備スクリーニングなどの役割を担わせ、最終的な判断は専門家が行うといった使い方が適切だと思われる。
学習データの蓄積と質の向上
虐待事例の詳細な記録を蓄積し、AIの学習データを充実させることが重要である。記録の質も高める必要があり、目に見えない虐待形態の評価方法を組み込むことが求められる。
入力項目の見直し
91項目もの膨大な入力項目は現場の負担が大きすぎるため、必要最小限の項目に絞り込むべきである。AIには複雑な判断ではなく、簡単なスクリーニングを行わせるのが適切だと考えられる。
以上のように、今回の「虐待判定AI」の失敗は、AIだけでは虐待の判断は困難であり、学習データの不足や入力項目の問題など、様々な課題が明らかになった事例だといえる。今後は、AIと人間が適切に役割分担し、学習データの充実化と入力項目の見直しを行うことが重要だと考えられる。
p10億円を投じて開発された「虐待判定AI」の導入が断念されたことは非常に残念な結果である。精度が6割と低かったことから、実用化が困難と判断されたようだ。このようなAIシステムの開発には大規模な学習データが必要不可欠だが、わずか5,000件では明らかに不足していた。子どもの命を守る上で重要な取り組みだけに、このようなミスは極めて深刻といえる。予算の無駄遣いであり、真剣に子どもの虐待防止に取り組む姿勢が感じられない。一刻も早くこどもの権利を守るシステムを構築すべきであり、効果的なAI活用を目指すためには、はるかに大規模で詳細な学習データの収集に取り組む必要がある。 pこのように見ると、予算の無駄遣いやこども家庭庁の業務への疑問の声が多数上がっているのが分かる。AIの限界や人的な要因によるミスといった指摘もあり、本システムの開発に対する批判的な意見が大勢を占めている。単なるAIの精度問題だけでなく、虐待防止対策全般に対する不信感が感じられる。また、こども家庭庁自体の必要性について否定的な意見も散見される。子どもの命を守るためには、行政機関の抜本的な改革と、よりきめ細かな対応が求められているといえるだろう。 p今回の事例は、AIを活用した行政サービスの在り方を考える上で重要な示唆を与えてくれる。技術的な妥当性だけでなく、業務の実効性や、国民の信頼を得られるかどうかといった点まで、総合的に勘案する必要があることを示している。行政が血税を投じてシステム開発を行う以上、その成果は国民に還元されなければならない。今回のようなミスは断じて許されるものではなく、今後の行政のIT化を進める上でも重要な教訓となるはずである。
