代表です。
以前、生成AIのChatGPTに発達障害支援を問うてみる、ということで記事を書きましたが、今回は正否を判定しやすい抗ADHD薬について聞いてみました。
ちなみに生成AIで一般的に知られた最初がChatGPTですね。生成AIとは色んな定義があるようですが、下記HPの解説がわかりやすい気がします。
そのまま引用すれば、「学習データをもとに、テキストや画像など新たなデータを生成するAI（人工知能）のこと」です。
使用する側から言えば、要するに対話的に疑問をぶつけて回答を得たり、画像を作ったりしてくれるAIであり、よくある企業のチャットボットと違って、様々な角度からの自由な質問にも答えてくれる、非常に柔軟性の高い回答装置、という印象です。
注意すべき「ハルシネーション」
そんなわけで私もよくこの生成AIにはよく疑問をぶつけていて、その答えはとても参考になっているのですが、一方で、必ずしも回答内容が正しいとは言えないのも事実。
生成AIのリスクについては例えば下記HPの解説が詳しいですが、その中でも普段使いの中で私が気をつけているのは、間違ったアウトプットの生成、「ハルシネーション」と呼ばれる現象です。
リンク先のページでは「生成AIの利用方法によっては、事実と異なる誤った情報/アウトプットを真実のように堂々と生成する」と解説されていますね。実のところ、生成AIの出す答えが本当に正しいのか?にはいつも頭を悩ませられます。
例えば以前もブログの中で紹介しましたが、お勧めのミステリーなど挙げてもらうと、完全に出鱈目な作品紹介をされたりしました。
2024年のお勧めのミステリーも紹介してもらいましたが、絶妙に違うタイトルと読みは同じだけど現実にはいない作家さんの作品を紹介してきました。それはそれで面白いんですが、出鱈目なのは変わりません。まあそういうのは調べればすぐわかりますので、まだ可愛いものです。
問題なのは、専門知識が要るような内容で、出鱈目が無いかということが心配なわけです。
ただ、私の場合、精神科医ですので、精神科関連のことについては専門知識を持ち合わせています。
ということで、精神科領域の中でも、特に薬に関しては回答が正解か否かはっきりわかりますので、今回は抗ADHD薬について検証してみたということです。
日本で使える抗ADHD薬について教えて下さい、と問うてみる
では、「日本で使える抗ADHD薬いついて教えて下さい｣というプロンプトで3種類の生成AIに聞いてみましょう。プロンプトとは、生成AIに投げかける文章のことです。どのようなプロンプトが適切な回答を得るのに必要か、については専門家が居るくらい大事なんですが、ここではシンプルに投げかけてみました。
そして、ここでは生成AIの先駆けChatGPTでは無料版の3.5と有料版の4に、Googleの開発したGemini Advanced、最近登場して非常に評価の高いClaude PROという3種、4つの生成AIに表記のプロンプトで回答を得ました。
回答には間違いも多い
さて、まずはChatGPTです。画像左が無料版の3.5、右が有料版の4による回答です。
明らかに間違いな部分をオレンジの枠で囲んでいます。
3.5は正直まるで信頼できる回答が得られていませんね。薬が何々系と分類されていますが、メチルフェニデート以外は間違っています。なぜか抗精神病薬のリスペリドン系との分類が入っている上に薬剤名も間違っています。そもそも抗ADHD薬の分類であるなら「中枢刺激薬」と「非中枢刺激薬」で分けられることが一般的で、このような形で分類されることもありません。
4の回答は、さすが有料版、薬の名前も基本的には正しいし、記述の多くが問題ありません。ですが、現在はADHD治療薬として日本では使われていない、｢リタリン」が入っています。いつの情報を掴んできたのでしょうか。
次にGoogle開発のGemini Advancedを見てみましょう。
これはなかなか優秀です。それぞれの薬剤にリンクが貼られており、どんな薬かを更に詳しく知ることもできますし、基本的に情報に間違いがありません。これは、貼られているリンク先から情報を得ていると考えられますが、そのようにどこから情報を得たのか、ということが明確であることが評価できるポイントと言えます。特に最後のリンク先には論文資料もあり、参考になります。リンク先が適当なのか、毎回安定しているかは注意が必要ですが、今回に関しては、詳しく薬を解説しているクリニックのHPに行きますね。特に問題ないと感じますが、欲を言えば、公的な解説記事へのリンクも載せてくれるほうが一般的には望ましいでしょう。
尚、Gemini Advancedでは1ヶ月前にも同じ質問を投げかけましたが、そのときは間違いも散見され、リンク先も貼られていませんでした。短期間に大きな進歩を感じます。
最後にClaude PROです。
随分コンパクトにまとめていますね。
内容的にはこちらもChatGPTと同じく、「リタリン｣が使用薬剤に入っているなど疑問点が幾つか見られます。
まとめとしては優秀ですが、1からどのような薬か知りたいという時には正直物足りないでしょう。
以上をまとめるとこんな感じになるでしょうか。あくまでも私の印象ですが。
総じて、ChatGPT3.5のような無料版生成AIによる回答は信頼性が低いと言えるでしょう。ただ、Googleの無料版生成AI、Geminiは他の生成AIに比べると良い気はしました。それでも生成AIによる回答は有料版のほうが望ましいのは確かで、お金を払うと情報の確度が上がる、とうのは当然とは言えるでしょうが、世知辛いですね。
個人的には、いずれの生成AIも、内容に関して一定の留保をつけて注意喚起している点は評価できると感じました。
まだ100%信頼はできない
3社による生成AIの回答比較をしましたが、どう感じられたでしょうか。
今回の結果からは、Gemini Advancedが素晴らしい、と感じられそうですが、実際に様々なプロンプトで回答をもらっていると、必ずしもそうではないこともわかります。
ここでは長くなるので例示しませんが、文章の作成/推敲などさせてみると、ChatGPTは生成AIらしく(?)文章の作成をさせるととても上手いと感じられます。GeminiはGoogle社らしく、正しい検索結果を持ってきますが、一方で文章の作成という面では、やや面白みに欠ける印象です。そしてClaudeはまだ知名度がイマイチと思いますが、ChatGPTに匹敵するような文章作成の面白みを感じます。そのClaudeに関して、他の2つと比較したHPもありましたので紹介しますね。
最後に今回の比較を通じて、生成AIの注意点を考えると、やはり現段階では100%信頼を置くことは難しいと感じました。
ただ、生成AIはツールとしては使いようであり、個人的には文章の推敲や、英文校正、プレゼン資料作りのヒントにはとても役立てており、無くてはならないものとして私には存在が大きいです。
限界を知りながら使っていきたいですね。
＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊
ライデックでは、ブログ以外でも様々な発達障害の情報を発信しています。気になる方は、公式HPや公式Twitterをチェックしてみてください。
⇢お気に入り登録、いいね等応援よろしくお願いいたします！
⇢また、読者のみなさまから紹介してほしい発達障害の話題や記事に対するコメントもお待ちしています！
＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊
発達特性研究所 (RIDC: Research Institute of Developmental Characteristics)
本記事は株式会社ライデックによって作成されました。できるだけ、簡単でわかりやすい言葉で記述しています。データの解釈や内容表現に誤りがあれば、コメント欄にてご指摘ください。また、弊社HPやTwitterにてさまざまな発達特性情報を発信していますので、興味のある方はそちらもチェックしてみてください。
