ベンチマーク中級

なぜ大事?

「新しいAIが出た、前より賢い」というニュースの根拠は、たいていこれです。同じ問題を解かせて点数を並べる。点数を知っていると、宣伝の「最強」「圧倒的」という言葉を、数字で読み直せます。逆に、点数だけを信じると、テストに強いだけのAIをつかまされます。

やさしい解説

もとは測量の言葉で、土地を測るときの基準点に刻む印のことでした。そこから「みんなが同じ物差しで比べるための基準」を指すようになりました。

AIの世界では、大学入試のような問題集、プログラムの不具合を直せるかを見る課題集、といったテストがいくつもあります。たとえば SWE-bench は、実際のプログラムに残っていた不具合を何割直せるかを測ります。AIの会社は新しいAIを出すたびに、こうした点数を並べて「前より上がった」と示します。

ただし、テストの点が高いことと、あなたの仕事で役に立つことは別です。受験に強い人が仕事もできるとは限らないのと同じで、テストの問題が答えごと学習に混ざっていた、という事故も起きています。見るなら「自分に近い仕事のテストか」「点が上がったのは何のテストか」の2つ。それでも分からなければ、自分の仕事で1回使ってみるのが、いちばん確かなベンチマークです。

例文

• 「新しいAI、最強らしいよ」「どのベンチマークで? 自分の仕事に近いテストじゃなければ、参考程度だよ」
• 「点数高いのに、うちの仕事だとイマイチ」「ベンチマークに強いのと役に立つのは別なんだよね。自分で1回使うのが一番の物差しだよ」