ラズパイ4でローカルLLM

Raspberry pi 4 +Gemma 2:2bでローカルLLMを動かしてみました。
推論から発話まですべてラズパイで処理しています。

SSHでラズパイに接続し、プログラムを実行。
ターミナルからプロンプト（テキスト）を入力し、AIとチャットを行います。

推論結果は機械音声で発話。
LEDの色で状態を確認。アイドル中は緑、推論中は赤点滅、回答中は青点滅。

• Raspberry Pi4 ModelB 4GB
• OLEDディスプレイモジュール（ 0.96インチ、白色）
• イルミネーション テープライト（ダイソー製 30LED 1m）
• 小型モノラルスピーカー
• DAC搭載 USB Type-C変換アダプター
• USB Type-C - Type-A 変換アダプタ
• ぷにゅグニュ脳みそ
• ラボポッド ディスプレイケース

• LLM：gemma2:2b
• LLM実行ツール：Ollama
• 音声合成：eSpeak NG
• 開発言語：Python