「LLMファクトチェッカー」とは?
生成AIが多く利用されるにあたり、もう一つ話題になるのがAIが書いた文章のファクトチェック。
「生成AIはたまに間違った情報を出しますよ」とご本人たちが随時注意を促すくらいですから、その後に大事になってくるのが「本当にAIが言っていることは正しいのかどうか」というところですね。
これに対応できるのが「LLMファクトチェッカー」。
リリースしたのは、東京大学 鳥海研究室から発足したAIベンチャーの「株式会社TDAI Lab」(トーダイラボ!!!)
ChatGPTなどの生成AIだけでなく、人間が書いた文章についての真偽を瞬時に判定できるAIツール「LLMファクトチェッカー」のウェブアプリケーション版を無償公開してくれました。
ウェブ情報やPDF文章から、根拠を自動で検索、抽出し、真偽を効率的に確認することができる、そうです。
「LLMファクトチェッカー」の使い方
LLMファクトチェッカーはこちらから使用ができます。
https://llmfactcheck.tdailab.com

私がアクセスした時点では、Googleアカウントのサインインが必要でしたので、サインインしてみます。

すると、このような質問画面が表示されました。
例文がいくつか出ていましたが「牛乳はおいしい。」とか!!笑
端的だな~・・と思っていたら、下の方に「入力は短く簡潔であるほど精度があがります」との一文が!
とりあえず、質問をしてみます。

日本人男性が結婚する平均年齢は28歳である。

テキストボックスに入力して「ファクトチェック」のボタンを押します。
すると、大体30秒ほどかかって・・・

結果が表示されました!

お!「Factual」とは、事実だ、ということです。
(適当に質問したのに当たってしまいました^^;)
「LLMファクトチェッカー」の回答の特徴
回答は、「事実」か「事実ではない」か、の2択
事実である、事実ではない、の根拠をサイトなどで見つけてくれ、提示してくれるわけですね。
したがって、例えばChatGPTが生成した長い文章の検証には向いてないかもしれません。
ひとつひとつ、「これは本当なの?」と思う事項について、チェックしていく、ということになるでしょうか。
事実ではない例でも、答えは出してくれない
次に事実ではない質問をしてみました。

日本人女性が結婚する平均年齢は25歳である。

赤文字で「Not Factual」と出ました。
事実ではなくても、答えとして、例えば「30歳です」という風に答えは出してもらえません。
根拠に上がっているリストから、答えを探せるので、導いてくれるということですね。
ただし、今回の質問のように「平均は・・」というような質問は、「事実」「事実ではない」の判定に幅があるように感じました。
例えば、上の質問を「日本人女性が結婚する平均年齢は30歳である」としたところ、「事実」の判定でした。
ただ、「根拠」で上がっていた【厚生労働省が発表している統計】では、29.4歳。
ざっくり30歳ってこと?!ということで、四捨五入形式なのかな??これを事実判定とするかどうかは、やはり、もう一度自分でのチェックをするか、質問を具体的にして試した方が良いかもしれません。
「LLMファクトチェッカー」の無料版はプラン次第?
どうやら、この「LLMファクトチェッカー」の完全無料版はどうやらトライアル版、という位置づけのようです。
今現在、無料版は提示される根拠は最大3件。より根拠をたくさん出したり、答えを出すまでの時間が早くなる、PDFをアップロードできる「スタンダードバージョン」は有料の模様。

操作画面の横にあった「プラン選択」をクリックしたら表示された画面。
使っているモデルがChatGPTなんですね!
ChatGPTの生成した答えを、ChatGPTを使ってファクトチェックする?というちょっと不思議な感覚・・。
細かい数値を扱うさい、証拠を調べるのに便利!
文章の正当性を効率的にチェックしたい、とか、より信頼性の高い文章を示したいときにファクトチェッカーを通し、根拠が出せるのはとても便利です。
通常なら自分で探して見つけないといけないところを、ささっと一覧表示してくれますから、「引用元」とか「参考元」などを探すにはとても便利ですね。
「LLMファクトチェッカー」https://llmfactcheck.tdailab.com
コメント