私自身、このブログや国内大手基礎体温アプリでの不妊治療アドバイスを担当していることもあり、ChatGPTの性能はとても興味深く、以前より、どの程度の精度で返答を返してくれるのか、日々検討を試みています。
今回、不妊治療分野におけるChatGPTのアドバイスを検討した報告がでてきましたのでご紹介いたします。

≪ポイント≫

ChatGPTは現在のウェブで提供されているリソースと比較的同程度の適切な情報を提供してくれますが、参照元が正しく提示できなかったり、捏造された事実の見分け方が専門家でないと困難なため、臨床医療現場で使用していくには、もう少し時間がかかりそうです。

≪論文紹介≫

Joseph Chervenak, et al. Fertil Steril. 2023 May 20;S0015-0282(23)00522-8.  doi: 10.1016/j.fertnstert.2023.05.151.

不妊治療関連の「ChatGPT」の返答を、米国疾病管理センター（CDC）ウェブサイトの不妊に関する17の「よくある質問」、Cardiff Fertility Knowledge Scale（CFKS）とFertility and Infertility Treatment Knowledge Score（FIT-KS）の不妊治療知識調査、米国生殖医学会（ASRM）委員会のCommittee Opinion “Optimizing Natural Fertility.”と比較しました。
2023年2月の1週間にわたり、上記の質問や要約された内容を「ChatGPT」に入力し、返答を2人の医師が1週間以上あけて3回評価をしています。
主なアウトカム評価項目
CDCからのFAQの場合：単語数、感情分析、事実記述など
不妊治療知識調査：公表された人口データに基づくパーセンタイル
Committee Opinion：結論に対する回答が、質問として言い換えられたかどうか、事実の欠落が確認されたかどうか。
結果：
ChatGPTは現状の性能は以下のとおりです。
CDCの質問について同様の長さ（ChatGPT 207.8 vs. CDC 181.0 words/response、p = NS）、事実内容（8.65 factual statements/response vs. CDC 10.41, p = NS）の回答を得たました。感情分析にも差がありませんでした。147個の記述のうち、9個（6.12%）が不正確と判断され、参考文献を引用した記述は1個（0.68%）のみでした。
CFKSについてはコホートの87パーセンタイル、FIT-KSについてはコホートの95パーセンタイルでした。
ASRMのCommittee Opinion "Optimizing Natural Fertility "の7つのサマリ全てにおいて欠落した記述がありました。

≪私見≫

個人的には、ChatGPTなどの対話型AIの医学分野での臨床応用はそう遠くないと感じています。様々なパターンを私自身も試していますが、本当に嘘でも納得してしまうというのが怖い部分でもあり、凄い部分でもあります。AIに限らず人に質問しても実は同様のことはあるわけですから、AIだけが悪いわけではありません。共存していけるくらい、上手くつかいこなせるくらいの知識のアップデートを行い続けていきたいと思います。

文責：川井清考（院長）

お子さんを望んで妊活をされているご夫婦のためのブログです。妊娠・タイミング法・人工授精・体外受精・顕微授精などに関して、当院の成績と論文を参考に掲載しています。内容が難しい部分もありますが、どうぞご容赦ください。

当ブログ内のテキスト、画像、グラフなどの無断転載・無断使用はご遠慮ください。

亀田IVFクリニック幕張