LibreChat運用に関する記録

Fri, 22 May 2026 13:52:17 +0900

この記事を作った動機

　LibreChat を使っているうちに、色々躓いたことがあったので記録したい。躓いたことでなくてもまとめておきたいことは書きたい。

前提条件

環境構築をしたディレクトリが以下のパスになっている

　LibreChat の Docker 関連のファイルが以下のディレクトリにある事を前提に進める。通常であれば、各個人に合わせて作業して良い。私の場合はあくまで以下のパスにあるというだけである。

~/LibreChat

LLM サーバの構成と、LibreChatの関係

　以下の図のような関係になっている事を前提にする。

MainDesktop エンドポイント

エンドポイントまでのアドレスとポート番号の仮定
http://192.168.x.a:8080/v1
詳細な役割の説明
　純粋に llama.cpp を動かして1つのモデルを読み込んでいる LLM サーバ専用(Gemma-4-31Bを動かす専用)に割り当てた PC である。LibreChat はここではホストしていない。Intel ARC の XPU 環境であり、LM Studio ではそのポテンシャルを引き出せないため、llama.cpp を専用にコンパイルしてセットアップしてある。OpenAI 互換 API 経由で利用可能にしてある。

DataServer エンドポイント

エンドポイントまでのアドレスとポート番号の仮定
http://192.168.x.b:1234/v1
詳細な役割の説明
　LM Studio を使って LLM を動かしている。こちらは、MainDesktop と異なり、NVIDIA の CUDA 環境であるため、LM Studio でポテンシャルを引き出すことができることから、LM Studio を使っている。LM Studio 標準の開発者機能から、OpenAI 互換 API 経由で利用可能にしてある。基本的に LM Studio の LLM サーバーが、LibreChat の要求に答えて選択されたモデルを自動的にロードし動かしてくれるため、いろんなモデルを動かすために使う。

その他諸々

Linux 環境である
docker、docker-composeパッケージが入っている
全ては LAN 内で行われ、グローバル空間からのアクセスはできないようにしてある環境である。外出先からの利用はすべて VPN を通じて行う。

基本的な操作

設定ファイル保存場所

~/LibreChat/librechat.yaml

設定反映方法 (librechat.yaml)

　私の場合は、~/LibreChatにおいて以下のスクリプトをrestart.shとして配置し、実行することでlibrechat.yamlの変更内容を反映できる事を確認した。docker グループに入っていないユーザは、管理者権限を付与してコマンドを実行することで docker を操作できる。

LM-Studio on Nyanmo main blog