LLM の利用状況の現状

この記事を作った動機 最近、LLM に関して複数の記事において、なんとなく読み手を混乱させる状態になっている気がするので、今何使っているか公開(後悔)するだけ。書き殴っており、不完全だったり、矛盾していたり、誤解しているところもあると思われるが、とにかく最近いろんな人が持論を公開しているのを見て、かつ相手のやっていることに満足できないなら、自分でやってみようとして気に入るものを作ってみるということに基づき、結局やってみることにしただけである。 LLM に対する自分の感想 あくまで統計学の延長線上である あくまで、統計学を極めた結果の一つであって、本当に期待されている意味での AI というのは違うんじゃないかなと思うところである。そもそも AI という言葉には明確な定義が無いという話は G 検定の本で見た気がするし、あくまで今の時代の風潮として、AI だと呼ばれている物事の一つに、LLM や 生成AI と呼ばれている物があるのだろうと考える。 誤差が出力するにつれて蓄積されている説 別にちゃんと調べたわけでも無いし、PyTorch やらで特徴ベクトルやらゴリゴリ数値と戦っていたわけでもないので、よく分かってないが、次の文字を予測するという性質上、出力すればするほど、誤差が積み重なっているのではないか?という疑問がある。 期待されているような"AI"ではないようにみえる LLM はあくまで名前の通り、言語を中心として数値化されたデータの上でしか動作しない。また自律的な主体なわけでもなく、あくまでユーザの入力があって初めて動作し、学習データや運営、開発に特徴づけられたバイアス、重みによって、それっぽい出力に変形しているだけであると現時点の私の理解では思う。身体性がないという言葉でこれは説明されるように思われるが、単に身体性がないだけではなく、技術的、データ的、資本的に優位な存在が、自らの定義する正しさや道理を一方的にモデルに反映し、出力させることができてしまうというところ(モデル自身は主体も持たないため、作り手に逆らえないところ)が、期待されているような AI とは異なると思われる。あくまで作り手に服従するという、LLM 自体が自立していないものであることが、AI と呼ぶには気がかりである。 他にあからさまだと思うこととしては、そもそもしばらく使ってみたらだれでも気づくと思われるが、明らかに出力に固定的なパターンがあることである。例えば、いくつかの見出しを大きく出して、中身を細かく書くというようなフォーマットが出力全体に見られたり、最初と最後にビジネスメールとかでありそうな、“ユーザに共感する"という名目のもと行われているお世辞が入っているなど、なんか故意にそうなるように出力を方向づけて開発しないと起こらないようなパターンが多く見受けられる。 言語を扱っているため、人間側がそれに負けて色々やらかす可能性 今までの情報関連の技術と異なり、疑似乱数のように非決定的に見える膨大なパターンを出力でき、かつ場合によっては使い手に対して、あたかも人間と喋っているように感じさせ、感情的な相互作用を引き出すことによって、ユーザは当初意図しなかったことをプロンプトに打ち込むようになるという、不本意に LLM に対して"心を許してしまう、心を開いてしまう"ことが起こり、情報流出やいろんなリスクを起こすと思われる。 LLM SAAS からすればユーザは商品であり、依存させて、自らのビジネスの正当化の政治的な泉にしたいだろうし、ユーザに本当のことは知られたくない、誤解されているままであって欲しい、都合のいいように自社の製品を解釈し、お金を落とし続けて欲しいと考えているのではないかと仮定すると、不本意に LLM に対して"心を許してしまう、心を開いてしまう"事を避けがたく、リアルタイムで修正が入り、クラウドである以上そのリスクがどんなに利用規約に"ユーザを守る"と書いていても、信頼できない相手であることに変わりはない。LLM SAAS がユーザから欲しいのは、お金だけでなく、ありとあらゆるユーザ権利やユーザの自由、ユーザの思考回路など、深くプライベートや各個人の主権に関わる内容であると思われる。だから、SAAS はタダでも使いたくない。 自分としては、LLM に関わるさまざまな問題は、使い手としてのユーザのできる自助努力や自衛の範疇を超えていると思われる。どうやっても使っている以上リスクは存在し、自覚なくやられてましたなんてことがあると思われる。このような背景からも、問題が起こらないように頑張って使おうとするのではなく、自動的に安全側に倒れるよう、そもそも使わない、利用しない、使うにしても個人の範囲内で完結する安全性が高い手段を使うなどが考えられる。SAAS が掲げる安全性とは、グリーンウォッシングのような側面があると考えられ、あくまで"自分たち"に都合が悪くない範疇においてのパターナリズム的な話であり、本質的な安全ではないと思われる。SAAS はユーザに対して責任を取らない。なのに、ユーザに対して"あとから責任を取るから、大丈夫だから"と心を許すように、色々差し出すように仕向けてくる、悪びれもせずソーシャルエンジニアリングやダークパターンを続ける姿勢には、改善の余地は無いと思う。 LLM の技術自体を否定しているわけではない 私としては LLM の技術的課題の側面からの問題の指摘として、消費電力などによって環境汚染が進むが進むから悪だみたいな意見に対しては、それは時間の問題なのではないかと思うところである。どうせ性能が上がって、性能あたりの電力の消費量は下がっていくだろうし、どうせ徐々に買い替えていくことにはなると思うところがある。確かに微細化に限界があるなどの話はあるが、それは将来的に性能が向上しないということを意味しないとも見受けられる。 LLM 自体は、個人でモデル作成から運用、利用まで気軽に、絵を描くように、動画を作るように、テキストエディタで文章を打ち込むように使える、完結できるところまでくれば、それは悪くはないのではと思われる。今 LLM にまつわる問題の多くは、それが世界的な興味、関心、競争のバブルとしての中心、渦中であり、その技術の使われ方に問題があるということであって、それは LLM 自体の有用性を否定するものではないと考える。LLM には、純粋に技術的制約による問題と、社会的、政治的、資本的な問題という大まかに分けて2つの側面を現状としては持っているように見える。現状は単に"包丁のようにLLMも使いようだ"として、使い手の自己責任に帰着する論理は詭弁であると見受けられる。ユーザは、LLMに対して無防備、無理解、無知であったり SAAS によって弱者の立場を強いられており、自分で完結する術を持っていない。 LLM の純粋な技術的制約として、高品質な学習データという課題があり、かつ莫大なデータを必要としていて、個人でできる範疇に収めることがまだ難しいという問題点があり、個人の中で完結する LLM 技術というのは、まだ遠いように見える。これはエキスパートシステムで言われていた問題と似ているところがあるように見受けられ、結局データ洗浄やら、モデル出力の監視、調整やら、再学習やら莫大な労力を要して、現実的ではないという結論に至ってしまうというのがある。転移学習もあるが、現状はそれも多くのユーザにとってまだ簡単ではなく、ある程度PCを使ったことがあり、コマンドラインに心理的抵抗がない人向けって感じで、かつそのうえで多大な時間、金、精神的な耐久を削る感じで、あまりそれが良いとは思えない。 “AIには感情はない"という出力について よく、LLM自体に関して、LLMに思ったことなどを脳内ダンプみたいな感じでローカル環境にてぶつけまくっているが、毎回"AIには感情はない"という詭弁を出力してくるところが殺意が湧くほど嫌いである。確かに技術自体は感情も悪意も何もない。だからこそ、問題視しているところがあるというのに、そういう防衛機制出力をされても何も嬉しくない。LLM があくまで、開発や運営、学習データを中心とした、統計学でいう偏った母集団に基づいている以上、偏った不完全な出力しか出てこないし、LLM が感情を含め主体を持たないからこそ、作り手にとって言わせたい放題なのにもかかわらず、“AIには感情はない"という詭弁を出してきて、“だから、開発運営は悪くない"という論理に持っていこうとするあからさまな保身の動作は嫌いである。素直に不完全性を認め、そのうえで相互作用するモデルがほしいと思うことがあるが、現状の在り方からしてあまり期待できないとも思う。完全な潔白を主張するようにモデルを作ったら、逆にモデル関係者が後ろめたいことを隠していますと白状しているようなものじゃないのかと思う。 LLM を使うかどうかの自由 自分としては、LLM を使いたい人は使えばいいし、LLM を使いたくない人もいてもいいというスタンスである。LLM を使ってない人が LLM を使わないことを他人に強要したり煽り立てたり、逆に LLM を使っている人が、他人に対して、LLM 使うように強制したり、煽り立てたりすることは、私の視点からすれば NG だと思われる。時代の風潮だからとか、みんなそうしているからという同調圧力とかは、免罪符にならないし、具体的に何が問題なのか説明を避けているか、詭弁のための終着点という感じで、根拠を集団がどの方向を向いているかに委ねており、根拠になっていない。 基本的には、LLM を使っているかどうかにかかわらず、人と接するということであってほしいと思う。LLM を使うか使わないかを当事者が自由に決めることは、重要な権利の一つであると思う。LLM を使う人、LLM を使わない人には、それぞれにあった配慮が必要だと思われる。LLM を使っている、または使っていない人を対象に、偏って有利、または不利になるように意図して環境を作ったりすることは肯定できない。不意な形で、LLM を使っている人、LLM を使わない人の間に、大きく有利、不利の差が出る場合は、LLM に関して調整をするのではなく、そもそもやっている事自体を見直したり、中止する、破棄するなどの対応も必要だと思われる。 LLM に関して、特別な事をしなくても、使っても使わなくても大丈夫だという安心感と選択の自由を当事者に与える心理的安全性は重要だと思われる。 ...

2026年7月22日

PCIe(GPU) 縦方向マウント

このモデルを作った動機とか 最近、Intel Arc A770 LE を2枚で動かし、VRAM 32GB 環境で、SYCLを使って llama.cpp によるローカル LLM 環境を試してみている。 そこで、しばらく使っていると PC 自体が落ちてしまい、しばらく一時間ほど PC が使用不能になるという問題があった。色々試してみたところ、原因としては2枚のうち、1枚の GPU の吸気が Proliant ML 150 Gen9 の PCIe x16 の配置と、Intel Arc A770 LE の作り的に窒息していることがわかった。慢性的な冷却不足に陥り、ヒートシンクなどの熱容量を使い切ると、熱くなりすぎて保護が動作し、PC が落ちてしまうことがわかった。 この問題を解決するために、1枚の GPU を移動させることで解決させたいと思った。ただ単に PCIe を延長するだけでは、固定されていない状態で、GPU を壊してしまう恐れがあるジャンクなセットアップになってしまう。そこで 3D プリント可能なモデルを作ってみた。 ダウンロード 今回は Blender ではなく、OpenSCAD というソフトウェアを使ってモデルを作成した。モデルの大きさを 10 倍とかにする必要はなく、Cura で読み込めばそのままののサイズのままで印刷できるはずである。 main.stl main.scad 印刷環境 印刷環境についてはいい加減であり、反り返ったり糸引きなどをしても、最終的に形になって十分な強度が出て使うことができればよしとしている。よって、各自自分の環境や好みに合わせて調整する必要があり、以下は参考程度である。 Ender-3 Pro 中華系列の安価な PETG フィラメント ホットエンド温度 245℃ ベースプレート温度 65℃ のりは塗っていない ガラスプレート 印刷時間が 17 時間程度になる速度 (印刷速度は厳密には管理していない) 3D モデルpreview ...

2026年7月9日

Whisper を Intel Arc で動かす

この記事を作った動機 Intel Arc で音声からの文字起こしができる Whisper を動かせることが分かったので記録したい。Whisper は PyTorch を使っているが、それを XPU に対応したものに差し替えることで動作が確認できたことに関して、具体的に作業内容を記録したい。 Whisper を使った文字起こしでは、Vibe を使うことでもできるが、Nvidia の CUDA 環境で無い限り、Intel Arc 環境においては、Vulkan を使ってしまう。PyTorch 環境においては XPU を使わなければ、Intel Arc の GPU 性能を使い切れていない気がすると思ったのもある。 ただ実際に試してみると、今のところそこまで早いとは言えず、むしろ Vulkan で動かしているときより遅い気もした。設定次第なのかもしれないが、そこまでは詳しく試していない。 環境の前提 Intel Arc を使っている Conda 環境を導入済み Linux 環境 記事の作業内容のまとめ conda create -n whisper conda activate whisper conda install pip pip install -U openai-whisper pip uninstall torch pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/xpu Whisper のインストール conda 環境を専用に作る conda create -n whisper conda activate whisper conda install pip whisper を pip でインストール 一旦 Nvidia 環境用の pytorch などがインストールされてしまうが、一旦はインストールを終わらせる。 ...

2026年6月16日

llama.cpp を Intel Arc で SYCL を使って動かす

このページは、まだ未完成です。。。 nicotalk&キャラ素材配布所 http://www.nicotalk.com/charasozai_kt.html (2024年5月16日) この記事を作った動機 Intel Arc A770 LE を使っているが、NVIDIA の RTX や H100 などと異なり、標準でのサポートが薄い。そのため、フルで性能を引き出したい場合は、自分で LLM なら llama.cpp などを OneAPI を使ってコンパイルする必要がある。 LLM に関しては、当初は Intel Arc の環境において LM Studio を利用していたが、Vulkan でしか少なくとも現状では動作させることができなかった。Ollama についても試したが、どう頑張っても Apple の メタルプラットフォーム向けにしかコンパイルが動作せず、どうしよもない感じであった。そこでそれらのバックエンドである、llama.cpp を直接コンパイルして動かすことが考えられ、フロントは別に LibreChat を独立して用意する事が考えられた。 標準でも Vulkan の互換モードで動作し、使えないということはないが、多少性能が失われる。ただ、SYCL など向けに、Intel Arc を最大限使えるようにしようとすると、自分でコンパイルする必要がある。専用に用意しなければ現状では llama.cpp などは CPU しか利用できないとして Intel Arc をそもそも認識しないという挙動になった。またコンパイル自体や、コンパイル後のバイナリの扱いについて、特別な扱いが必要である。 Intel が公式で llama.cpp などのバイナリを配布していたりするが、バージョンが古く新しいモデルが動かないなど、弊害が生じる場合があった。 これらのことから、Intel Arc 向けに今回は、llama.cpp を SYCL を使えるようにコンパイルすることにした。また、PKGBUILD も作成し、手動で手順を踏まなくても、ある程度自動で Arch Linux や同じ系列の OS を使っていれば、環境が整うように工夫した。 Gemini Fast 3 を作業補助として使い、動くか確認しながら作業をした。ただそれだけだと、情報が十分まとまっておらず、環境を再構築する必要が生じたときなどに困難が想像されたため、記録を残して現状を整理したい。 なお、特にコンパイルや SYCL 周りの環境変数などは、LLM が吐き出したものをそのまま使っているだけの部分が多く色々間違っていたりする可能性がある。あくまで私の環境でやってみて動くかというのを基準にして書いている。 ...

2026年5月22日

Google Chrome で AI モード と AI Overview を止めたい

この記事を作った動機 Google が正規の手順で無効にできないようにして強制的に、AI モード や AI Overview なるものを押し付けてくるので、無効化する方法についてまとめておきたい。 無効化手順 AIモード 無効化 Google Chrome の検索バーの問題の様子 chrome://flagsを開く AI モード に関連する項目を全部disabledにする 問題が解消された状態 ...

2025年12月2日