qinfu が 2024年10月31日16時11分08秒 に編集
初版
タイトルの変更
ラズパイ4でローカルLLM
タグの変更
RaspberryPi4
AI
メイン画像の変更
記事種類の変更
製作品
本文の変更
## 概要 Raspberry pi 4 +Gemma 2:2bでローカルLLMを動かしてみました。 推論から発話まですべてラズパイで処理しています。 ## デモ動画 @[youtube](https://www.youtube.com/embed/HAye1aipkuo?si=Xq_8YeBlYdbyXr9j) ## 内容 SSHでラズパイに接続し、プログラムを実行。 ターミナルからプロンプト（テキスト）を入力し、AIとチャットを行います。 推論結果は機械音声で発話。 LEDの色で状態を確認。アイドル中は緑、推論中は赤点滅、回答中は青点滅。 ## 開発環境 ### ハードウェア - Raspberry Pi4 ModelB 4GB - OLEDディスプレイモジュール（ 0.96インチ、白色） - イルミネーション テープライト（ダイソー製 30LED 1m） - 小型モノラルスピーカー - DAC搭載 USB Type-C変換アダプター - USB Type-C - Type-A 変換アダプタ - ぷにゅグニュ脳みそ - ラボポッド ディスプレイケース ### ソフトウェア - LLM：gemma2:2b - LLM実行ツール：Ollama - 音声合成：eSpeak NG - 開発言語：Python ## 概略図 