このページは、まだ未完成です。。。

nicotalk＆キャラ素材配布所 http://www.nicotalk.com/charasozai_kt.html （2024年5月16日）

概要

　chatGPT を研究の補助としてどれだけ使えるか試す。具体的にどんなことができて、どんなことができないのか、問題があるのかを探る研究として。

現時点で分かったこと、気になること

　ChatGPT はただ間違うだけでなく、ほとんどすべてのことをポジティブに変換してしまう。これは、ネガティブなポイントについて無関心であることに近しく、問題があると思われる。ポジティブなことの何が問題で、何がそうでないかはまだ見えていない。

　あと、ChatGPT は基本的に、人間の延長線上的な動作をしていて、人間が間違えたり、うまく答えを出せないようなことが起こるため、人間を超える存在としての期待はよくない。

　ChatGPTを含め、LLMは基本的に、学習データや事前プロンプトに依存して、返答する内容が大きく変わる。これはモデル作成者やモデルを調整した人々の主観や恣意的な視点が、強く反映されることを意味する。

　あと質問の仕方を大きくプロンプトに影響を及ぼす。文脈や背景などを十分に表現できていないと、期待したような回答を得られない可能性がある。また、使い方として、LLMが吐き出した内容を再びLLMに取り込むことで、回答が洗練されないか試すなどもある。

　AIと人は比べられないのではないかということについて調べるのもありかもしれない。

やれそうなこと

  • 具体的に問題のあるシーンを再現する
  • LLMの回答をLLM自身に評価させ、洗練されないか試す
  • 研究の案の意図が会話が進むにつれ崩壊するのか
  • 出力された回答の扱い方について、どんな項目がありそうか書き出す。
  • そもそも単純に、AIと人間の優劣がどうのという比較は適切ではないということについて調べる。

Ref