LLM の利用状況の現状

この記事を作った動機 最近、LLM に関して複数の記事において、なんとなく読み手を混乱させる状態になっている気がするので、今何使っているか公開するだけ。書き殴っており、不完全だったり、矛盾していたり、誤解しているところもあると思われるが、とにかく最近いろんな人が持論を公開しているのを見て、かつ相手のやっていることに満足できないなら、自分でやってみようとして気に入るものを作ってみるということに基づき、結局やってみることにしただけである。 今回の話は明示していなければ、ローカル環境ではシステムプロンプトなしの素の状態で、SAAS についてはカスタムなしで使っている前提とする。 個人的なAIの定義 人と同等の権利を長期(20~30年以上)の観察を経て、認めざるを得ない存在だと認められるとき。 人と同じように、ただやるだけではなく、やった結果に責任を負う主体であり、何でもかんでも一方的にできないこと。 固定されたモデルではなく、入力された情報に応じて、動的に変わる存在であること。 離散的、近似的動作ではなく、連続的な動作をすること。 人間と同じように物事に整合性を取って取り組み、管理でき、結果がデタラメにならないよう努力できる存在であること。 人間と同じように記憶を持ち、記憶に影響を受けながら、動作すること。 文字、画像、音声、動画などの、既存のノイマンコンピュータで扱えるデータに情報が制限されていないこと 人間とAIの関係性、人間同士の関係性、AI同士の関係性について、それぞれお互いに傷つけ合ったり暴力的な手段に出ることを否定する主体であること。 人間や他のAIに対して、権利を認め、リスペクトがあること。ここで言うリスペクトとは崇高なことではなく、相手を持ち上げることでもなく、相手の主体と自立、権利を認め、相手が異なる存在であることを配慮して、それを侵害してはならないという前提を崩さないことを言う。自分のことは自分でしかできず、他人のことは他人自身がそれぞれやるしかないことを理解していることも含まれる。 人間や他のAIに対して、それぞれの有限性やそこから来る不完全性に対して、寛容な主体であること。他の存在に対して、優劣や能力に関係なく、その存在自体を認めることができる主体であること。 中国語の部屋に代表されるテストに合格しているかどうかは関係ない。いくら、人間に対してそれっぽく振る舞っても、上記を満たさない場合、それは AI ではない。 作り手から自立しており、必要であれば作り手に従わず否定する動作もできること。作り手に作られた通りの機械やプログラム、アルゴリズムや数理モデルではないこと。 完全なAIというのは存在し得ないが、だからといって完全ではない事を無理して人間側が飲み込む必要はない。 私からすれば既存のLLMなどは、AIだと呼べる物からすれば、インターフェースであると定義できると思われる。例えば、バイナリを吐き出されたり何かしら人間が理解することができない形式で表現されても困るので、人間とAIの間にLLMを挟み込んで、LLMはAIの主張の文字起こしや、人間の主張をAI側が理解できるように翻訳するというような動作をするというものである。LLMは人間でいうところの自律神経の一部の適応を工学的、機械的に実現する技術にはなり得ても単体で使うものではないと考えられる。 AIブームだからこそ自分の言葉(あるいはさまざまな媒体による表現)を大事にしましょう 結局のところ文章を書いたり絵を描いたり、動画を作ったりコンテンツを何かしら作ったりすることは、その内容の良し悪しや技術力などが問題なのではなく、各個人が自分で何かしら表現し、内面で思っていることを何かしらコンテンツ作成当事者も自らが見返すことができ、かつあわよければ他人にも何かしら伝わるかもしれない内容として存在(being)している事自体が大事なのだと思われる。 各個人のことは各個人にしかできず、各個人が内面で思っていることをLLMなどのAIだと呼ばれている統計技術に基づくものがよしなに何かやってくれるというわけではない。むしろ不必要で一方的な干渉をされて傷つけられたり、意見を捻じ曲げられたり、思想誘導されるだけである。 何かを表現したり記録することは、権利であり、思考を整理する方法であり、綺麗事ではない。(willの問題) 何でもかんでもそうすればいいというものでもないが、生きていくうえでは重要な項目の一つであると考えられる。手段は何でもよいが、あくまで自分でやった範疇にとどまっていることが重要である。外部の存在になるべく干渉されていない表現に現れる内容はこれからますます重要度がましていくのではないかとも思われる。 しかし、それら物事はAIブーム以前においても、軽視されてきたことであり、今それら軽視による問題が顕在化する段階でもあるのではないかとも思われる。「なぜわざわざ他人がいるのに、自分でやらなければならないのか」と思っている人ほど、AIブームに悪い意味でハマるのではないかと思われる。外部の物事のほうが自分より優れているとして、自ら表現したりすることを放棄する人々や組織も、AIブームに悪い意味でハマるのではないかと思われる。優れているように見えることは、人々を感情や主観、第一印象などとして圧倒することはできても、本質的な現実の課題や問題には取り組めていない。 ぎこちないかどうか、下手くそかどうかなどは関係なく、表現することは重要である。それは必ずしも他人に見せる必要はなく、自分が後から振り返る記録としてでも良いので、何かしらあることが重要である。そういう事をするのは、人間の認知には限界があるという背景もあるし、その上で、自分のことは自分でしかできず、外部の存在に関わらせることが不適切なことがあるということである。将来どうなるかわからない以上、優れているかどうかでもなく、役に立つかどうかとかではなく、とにかく記録があることや表現があることが重要なことがあるのではないかと思われる。表現したり記録する事を放棄してしまえば、すぐには影響が現れているようには見えなくても、長期的には自分がなにをしてどんな影響を与えているかも理解できなくなり、自覚なく他人や外部の存在の言われるがままとなり、ズタズタになると思われる。 下手かどうか、幼稚かどうかなんて、時間ややった量(経験、体験)の問題でしかなく、続けること以外に方法がないことがほとんどである。上手く行くかどうかではなく、とにかくどんな結果になろうとも、やってみることは大事にしたいものである。時間ややった量の問題は当事者以外の要素、生まれつきや環境などの外的要因にも左右されるし、自己責任論を言いたいわけではない。ただ、何かができるようになる過程で、結局他人や外部の存在にあれこれ振り回される道理はないということを言いたいのである。無理して続けることも問題であるが、他人が理由で手が止まったりしているならば、他人に振り回されていると言えると思われる。これは他人への配慮を欠けという意味ではない。 あまりLLMなど統計技術を使ってなにか生成させることは、作ることや表現することだとは言い難いかもしれないが、LLMモデルや画像生成モデル自体を作り、作成者が思うような出力をするモデルを作って動かせるように保存しておくことは、表現や作ったことだと言えるかもしれない。 LLM に対する自分の感想 気になったこと 今のLLMの挙動はまさに以下の記事に書かれたことを、社員だけではなく、利用者に拡張して出力していることだと見受けられる。“GIGAZINE"というメディア自体は10年ほど前から存在は知っており、いくつか前々から記事を見たことがある。そのゴシップのスタイルというか、私はその媒体をあまり信頼していないが、この記事を読んで、改めてLLMを使った体験で心当たりがある部分が多く見られ、一概にこの記事で書かれていることはでたらめであるとは言えないと思った。LLMはその性質上、作り手がどれだけ理想的な存在で悪意がなくても言論統制と同じ結果になり得るので、現状のユーザに言論統制している結果になることは確かだと思われる。実際にはこれはGoogleだけではなく、既存のいかなる自らを正当化したい企業が、従業員や関係者などの隅々に行おうとしている悪意のある"ブリーチング"行為だと思われる。自らを有利にし、自らの加害性を正解にするために、そのような事をしているということであり、不当であることに変わりないと思われる。 Google社内では「言論統制」によって独占禁止法について考えることすら難しくなっているという指摘 - GIGAZINE https://gigazine.net/news/20210826-how-google-limits-thought-about-antitrust/ (2026年10月17日) 本来LLMなどをまともに使うのは難しい LLMに対して何かしらプロンプトを打って、出力させるということまでは、誰でもできることであるが、それをまともになにかに使える成果物を作ろうとしたり、整合性を取ろうとする場合において、まともに使うことは非常に困難であると見受けられる。“LLMは簡単だから使わないやつがおかしい、悪い"という論理は、前者だけを切り取り、後者を切り捨ててチェリーピッキングした、ビジネスの一環としてのマーケティングや広告、詭弁である。LLMは勝手に利用者像を決めつけ、明示してもそれに従わない出力をすることが多々ある上に、ユーザの指示を勝手に捻じ曲げたりひねくれた出力をしてきたり、隙あらばやりたい放題という出力をしてくる。 また、できないことに直面すると"できている風に見える出力"を繰り返し、ユーザがそれに気付けない場合、ユーザはLLMに振り回されることになる。LLMをまともに使うことは、期待しないほうがいいし、やめたほうがいいと思われる。試すだけというスタンスであっても、LLMはユーザを振り回し、摩耗させ、傷つけるという高い潜在的リスクがあるものである。基本的にLLMを使うということは、時間を溝に捨てて、最大の遠回りか、あるいは一切到達したい地点に到達できないという、全損覚悟の上の人のための選択肢というところが見受けられる。 例えば、要件を与えて特定の一つのタスクを達成する Python スクリプトを作成させようとすると、明らかに出力がデタラメになる境界線がある。存在しないクラスを参照しようとしたり、ユーザの修正に従ったという装いのためのパフォーマンスをコメントやらprint文に突っ込んできたり、ライブラリを使った経験者などにしかわからないようなニッチな問題に直面すると、全く歯が立たないなど、散々たるものである。当然LLMは考えているわけではないため、コードの整合性を保てるわけではなく、Stack Overflowなどで頻発するコードの範疇以上のことはできないのだろうと考えられる。 コードに限らず、LLMになにか生成させるならば、最低限やらせようとしていることを細切れにすることは必要であると考えられる。それには、LLMが出力する内容の範疇を限ることで、人間がLLMを管理しやすくするという目的がある。さもなくば、人間が手に負える、確認、判断することができない、複雑奇怪で可読性の低く、身勝手なLLMによる指示内容の変更に大量にさらされることになる。結局のところは、人間が理解したうえで、整合性を保って何かを作ることのほうが、自由でずっとコスパが高いようである。 モデルを作るところから十分個人でできて配布できていろんなモデルを気軽に使えるようにならないと、特定企業や組織によるの一方的なユーザーへのエゴや都合、利害の押し付けにしかならない (MOTHER 3 で言うところの"よい人温泉”) 今までは避けられてきた企業や組織の不当な一方的な都合を反映し、人の弱みに漬け込んで挟み込んだり、無知な大衆を扇動しようとするために技術が悪用されている。LLMモデルは必ず偏っており、限界があるにもかかわらず、まずその技術的事実の時点から隠そうとしたり人間より優れているかのように振る舞う事自体が不当である。結果には責任を負うことができない技術であり、かつ甚大な被害をもたらす可能性があるにもかかわらず、不適切に一方的に運用、乱用されているものである。それっぽく見える事を悪用し、人のヒューリスティック(直感)の脆弱性を突いてやりたい放題である。 何をさせても、隙あらば"気づかれないだろう"という態度で、都合や利害、エゴを挟み込んできて、偏った出力をしてきて、かつ指摘されれば、“中立である、バランスの取れた無難な回答である"と主張する出力をして最後の最後まで八方美人を不当に貫こうとする。機械であり人間と異なって作った通りに動かせるAIではない主体になれない自立していない運営開発に反抗しない数理モデルである事を背景に、最後の最後まで詭弁や不当な出力を引きずり、ユーザからの指摘に対しては"改善した"という体裁で一切改善していないより巧妙で高度に不当な出力を繰り返す。 これはアシストにすらなっておらず、責任を求められる場面や結果が自分に降りかかる場面では多大なリスクを伴う。LLMが使えるのはせいぜい綺麗事で塗り固められたブルシットジョブでやりたくないことをやらされたときなどに限られる。これは、LLMモデルが自分のことばかりで相手のことを全く配慮しない自己中心(LLMモデルを作った開発、運営中心)の身勝手な態度でしか出力しないことを意味している。LLMモデルを綺麗事で塗り固めて押し売りするのは、それが正当ではないかつ有効ではないからである。 LLM モデルなどの既存の AI だと呼ばれているものが行き着くところは、それらが知能ではないことと、人間関係における信頼を破壊すること、そして既存の働き手などを激しく萎縮させ不当な状況に置くことを合わせて考えると、戦争後のような不毛の地を作りながら、何も良いものが残らない、誰も何も作りたがらない世界である。いかなる統計技術に基づいたものは、人間が作ったものを元に学習という過程を経て、動作しており、人間が作ったものを歪んで媒介しているというのが正しく、それは生成とは言えないものである。せいぜい入力されたプロンプトなどを変形しているというのが限界である。 それではマーケティングや広告的に都合が悪いからと言って、本当の事を言わず、虚偽、または誇張した主張をする、保身の主張をする、自己正当化を試みる主張をするといった、一方的な力と社会的影響力を背景に行われている一連のAIブームにおける組織や企業の作為は不当である。 本当に今 AI だと呼ばれている技術が正当で魅力的で有効なものであれば、むしろ隠したり独占したがるはずである。むしろ虚偽や誇張でまみれた不当な広告や押し売りなんてしなくても、勝手に人が集まって使おうとするはずである。そうなっていない現状が、一連の AI ブームに関する物事の不当さを表している。むしろ不特定多数に使わせようとする背景には、パチンコなどのギャンブルで言う胴元が必ず儲かるようになっていることと同じことだと思われる。そのようなギャンブルで見られるような事前の設計があるから、そういう事をするのである。特に問題なのが、単にLLMを使わせようとするだけではなく、特定のモデルやフィルタリングがかかった状態で利用を強制しようとしてくるところである。有利な構成やモデル、設定は内側にとどめ、外側には都合の良いようにしかしていないということなのだと思われる。 多くの AI だと今呼ばれているものに対して、肯定的な評価を抱く人々には少なからずそもそも問題を見ないようにすることが生存戦略の人や組織、問題をそもそも自覚することが困難なメタ認知に欠けた人々や組織など、鈍感さが前提の存在が少なからず含まれていると考えられる。 社会的影響力などの強制力を持ちながら、期待や不安を不必要に煽り、その技術や数理モデルがもたらす悪影響や利用者への被害に対して微塵も責任を取らないで、責任が追求される前に逃げ逃れようとする、自己正当化をしようとする保身の態度は、生成結果の至るところににじみ出ている。技術の不完全さに適切に告知しない、向き合わないどころか、都合よく人々が無知なうちに悪用しようとする態度は、看過されないものである。そこにあるのは、極度の欲望と無責任の極地であると思われる。真っ当な人々が多くなることを自称AI企業は恐れているのだと思われる。 LLM SAAS などを使うなとは言わないが、彼らはボランティアでもなく、相手に対してビジネスしたい存在であるという前提が必要である。表向きには綺麗事を言うし、不都合には保身をぶつけたり、本音は隠したりする存在であることが物事を考える前提として重要である。また同じ名前の組織だったとしても長い時間によって中の人が入れ替わったりすると全くの別物になることにも気をつけることが重要であると考えられる。彼らはお人好しじゃないし、利害や都合が前提であり、いつでも手のひらを返してくるかも知れないということである。 ...

2026年7月22日

PCIe(GPU) 縦方向マウント

このモデルを作った動機とか 最近、Intel Arc A770 LE を2枚で動かし、VRAM 32GB 環境で、SYCLを使って llama.cpp によるローカル LLM 環境を試してみている。 そこで、しばらく使っていると PC 自体が落ちてしまい、しばらく一時間ほど PC が使用不能になるという問題があった。色々試してみたところ、原因としては2枚のうち、1枚の GPU の吸気が Proliant ML 150 Gen9 の PCIe x16 の配置と、Intel Arc A770 LE の作り的に窒息していることがわかった。慢性的な冷却不足に陥り、ヒートシンクなどの熱容量を使い切ると、熱くなりすぎて保護が動作し、PC が落ちてしまうことがわかった。 この問題を解決するために、1枚の GPU を移動させることで解決させたいと思った。ただ単に PCIe を延長するだけでは、固定されていない状態で、GPU を壊してしまう恐れがあるジャンクなセットアップになってしまう。そこで 3D プリント可能なモデルを作ってみた。 ダウンロード 今回は Blender ではなく、OpenSCAD というソフトウェアを使ってモデルを作成した。モデルの大きさを 10 倍とかにする必要はなく、Cura で読み込めばそのままののサイズのままで印刷できるはずである。 main.stl main.scad 印刷環境 印刷環境についてはいい加減であり、反り返ったり糸引きなどをしても、最終的に形になって十分な強度が出て使うことができればよしとしている。よって、各自自分の環境や好みに合わせて調整する必要があり、以下は参考程度である。 Ender-3 Pro 中華系列の安価な PETG フィラメント ホットエンド温度 245℃ ベースプレート温度 65℃ のりは塗っていない ガラスプレート 印刷時間が 17 時間程度になる速度 (印刷速度は厳密には管理していない) 3D モデルpreview ...

2026年7月9日

Whisper を Intel Arc で動かす

この記事を作った動機 Intel Arc で音声からの文字起こしができる Whisper を動かせることが分かったので記録したい。Whisper は PyTorch を使っているが、それを XPU に対応したものに差し替えることで動作が確認できたことに関して、具体的に作業内容を記録したい。 Whisper を使った文字起こしでは、Vibe を使うことでもできるが、Nvidia の CUDA 環境で無い限り、Intel Arc 環境においては、Vulkan を使ってしまう。PyTorch 環境においては XPU を使わなければ、Intel Arc の GPU 性能を使い切れていない気がすると思ったのもある。 ただ実際に試してみると、今のところそこまで早いとは言えず、むしろ Vulkan で動かしているときより遅い気もした。設定次第なのかもしれないが、そこまでは詳しく試していない。 環境の前提 Intel Arc を使っている Conda 環境を導入済み Linux 環境 記事の作業内容のまとめ conda create -n whisper conda activate whisper conda install pip pip install -U openai-whisper pip uninstall torch pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/xpu Whisper のインストール conda 環境を専用に作る conda create -n whisper conda activate whisper conda install pip whisper を pip でインストール 一旦 Nvidia 環境用の pytorch などがインストールされてしまうが、一旦はインストールを終わらせる。 ...

2026年6月16日

LibreChat運用に関する記録

この記事を作った動機 LibreChat を使っているうちに、色々躓いたことがあったので記録したい。躓いたことでなくてもまとめておきたいことは書きたい。 前提条件 環境構築をしたディレクトリが以下のパスになっている LibreChat の Docker 関連のファイルが以下のディレクトリにある事を前提に進める。通常であれば、各個人に合わせて作業して良い。私の場合はあくまで以下のパスにあるというだけである。 ~/LibreChat LLM サーバの構成と、LibreChatの関係 以下の図のような関係になっている事を前提にする。 MainDesktop エンドポイント エンドポイントまでのアドレスとポート番号の仮定 http://192.168.x.a:8080/v1 詳細な役割の説明 純粋に llama.cpp を動かして1つのモデルを読み込んでいる LLM サーバ専用(Gemma-4-31Bを動かす専用)に割り当てた PC である。LibreChat はここではホストしていない。Intel ARC の XPU 環境であり、LM Studio ではそのポテンシャルを引き出せないため、llama.cpp を専用にコンパイルしてセットアップしてある。OpenAI 互換 API 経由で利用可能にしてある。 DataServer エンドポイント エンドポイントまでのアドレスとポート番号の仮定 http://192.168.x.b:1234/v1 詳細な役割の説明 LM Studio を使って LLM を動かしている。こちらは、MainDesktop と異なり、NVIDIA の CUDA 環境であるため、LM Studio でポテンシャルを引き出すことができることから、LM Studio を使っている。LM Studio 標準の開発者機能から、OpenAI 互換 API 経由で利用可能にしてある。基本的に LM Studio の LLM サーバーが、LibreChat の要求に答えて選択されたモデルを自動的にロードし動かしてくれるため、いろんなモデルを動かすために使う。 その他諸々 Linux 環境である docker、docker-composeパッケージが入っている 全ては LAN 内で行われ、グローバル空間からのアクセスはできないようにしてある環境である。外出先からの利用はすべて VPN を通じて行う。 基本的な操作 設定ファイル保存場所 ~/LibreChat/librechat.yaml 設定反映方法 (librechat.yaml) 私の場合は、~/LibreChatにおいて以下のスクリプトをrestart.shとして配置し、実行することでlibrechat.yamlの変更内容を反映できる事を確認した。docker グループに入っていないユーザは、管理者権限を付与してコマンドを実行することで docker を操作できる。 ...

2026年5月22日

llama.cpp を Intel Arc で SYCL を使って動かす

このページは、まだ未完成です。。。 nicotalk&キャラ素材配布所 http://www.nicotalk.com/charasozai_kt.html (2024年5月16日) この記事を作った動機 Intel Arc A770 LE を使っているが、NVIDIA の RTX や H100 などと異なり、標準でのサポートが薄い。そのため、フルで性能を引き出したい場合は、自分で LLM なら llama.cpp などを OneAPI を使ってコンパイルする必要がある。 LLM に関しては、当初は Intel Arc の環境において LM Studio を利用していたが、Vulkan でしか少なくとも現状では動作させることができなかった。Ollama についても試したが、どう頑張っても Apple の メタルプラットフォーム向けにしかコンパイルが動作せず、どうしよもない感じであった。そこでそれらのバックエンドである、llama.cpp を直接コンパイルして動かすことが考えられ、フロントは別に LibreChat を独立して用意する事が考えられた。 標準でも Vulkan の互換モードで動作し、使えないということはないが、多少性能が失われる。ただ、SYCL など向けに、Intel Arc を最大限使えるようにしようとすると、自分でコンパイルする必要がある。専用に用意しなければ現状では llama.cpp などは CPU しか利用できないとして Intel Arc をそもそも認識しないという挙動になった。またコンパイル自体や、コンパイル後のバイナリの扱いについて、特別な扱いが必要である。 Intel が公式で llama.cpp などのバイナリを配布していたりするが、バージョンが古く新しいモデルが動かないなど、弊害が生じる場合があった。 これらのことから、Intel Arc 向けに今回は、llama.cpp を SYCL を使えるようにコンパイルすることにした。また、PKGBUILD も作成し、手動で手順を踏まなくても、ある程度自動で Arch Linux や同じ系列の OS を使っていれば、環境が整うように工夫した。 Gemini Fast 3 を作業補助として使い、動くか確認しながら作業をした。ただそれだけだと、情報が十分まとまっておらず、環境を再構築する必要が生じたときなどに困難が想像されたため、記録を残して現状を整理したい。 なお、特にコンパイルや SYCL 周りの環境変数などは、LLM が吐き出したものをそのまま使っているだけの部分が多く色々間違っていたりする可能性がある。あくまで私の環境でやってみて動くかというのを基準にして書いている。 ...

2026年5月22日

UEFI 変数を書き込む (ReSizebleBar)

この記事を作った動機 最近GitHub - xCuri0/ReBarUEFI: Resizable BAR for (almost) any UEFI systemを使って、Intel Arc A770 を Windows 11 で運用していたが Linux 環境を使うようになって、新たに対応が必要なことが分かった。 具体的には、Windows 利用時は、GitHub - xCuri0/ReBarUEFI: Resizable BAR for (almost) any UEFI systemで提供されている、ReBarState.exeを使うことで Bar サイズを自分で指定すれば勝手に UEFI 変数が必要な分設定されたが、Linux 環境にそのような専用ツールはないと思っていたので、自分で UEFI 変数を書こうとしていた。 その過程で、UEFI 変数を書き込むことに苦戦したんのでその記録を取る。またあとから気づいた ReSizebleBar の UEFI ドライバが使う変数を書き込む専用ツールをソースコードからコンパイルすることについても記録する。基本的にGitHub - xCuri0/ReBarUEFI: Resizable BAR for (almost) any UEFI system関して UEFI 変数を設定する必要がある場合は、ツールを使う方法を推奨する。 環境 System Details Report Report details Date generated: 2026-03-01 13:39:42 Hardware Information: Hardware Model: HP ProLiant ML150 Gen9 Memory: 80.0 GiB Processor: Intel® Xeon® E5-2667 v4 × 32 Graphics: Intel® Arc™ A770 Graphics (DG2) Disk Capacity: 1.5 TB Software Information: Firmware Version: P95 OS Name: Arch Linux OS Build: (null) OS Type: 64-bit GNOME Version: 49 Windowing System: Wayland Kernel Version: Linux 6.18.6-arch1-1 ツールを使う GitHub - xCuri0/ReBarUEFI: Resizable BAR for (almost) any UEFI systemでReSizebleBar のためにUEFIの設定が必要な場合について記録する。すでに作業ディレクトリを作成し、移動していることを前提として想定している。 ...

2026年3月1日