Nakajima_Haruto が 2024年01月28日23時20分15秒 に編集
コメント無し
本文の変更
# 1背景 世の中には色とりどりな景色が広がっています。 我々が生活している日本には海があり、山があり、街があり、そこには数えきれない生き物がいます。 景色とはその時その瞬間にしか味わうことができない儚いものです。そんな景色、色を"音"として表現したいと思い、色で奏でる楽器[[Colorful Sun]]を制作いたしました。 どんな人でも簡単に演奏ができるデザイン設計になっています! みんなで景色を奏でましょう!! # 2.用意したもの | 名称 | 概要 | |:---:|:---| | Spresenseメインボード | Arduino互換ボードコンピュータ | | Spresense拡張ボード | microSDスロットやヘッドフォンジャック等様々なインターフェースが使えるようにするもの | | Adventure3 Pro | FLASHFORGE製の3Dプリンター 樹脂筐体の印刷に使用 | | PLAフィラメント | 樹脂筐体の材料 | | ネジ | 直径2mmのネジ:4本 | | スピーカー | 3.5mmオーディオジャックの入力ができるもの | # 3.仕組み  1.カメラから任意の画像を数秒ごとに取得する 2.画像をSpresenseを介して学習済みデータに認識させる 3.認識した結果の色と対応する音を判定する 4.判定結果に該当する音をスピーカーから出力する # 4.機械学習 はじめに、色を認識させるため①NNC(Neurarl Network Console)を用いて機械学習を行います。 今回は4色(赤,黄,青,緑)の判別を目標とする。事前にそれぞれの色の画像データを400枚程度収集しました。これらのデータから②構造自動探索機能を用いて学習を行いました。 以下のネットワーク構造を使用しました。  学習の結果、正答率は50%ほどになりました。 # 4.工作   Fusion360を用いて筐体の設計を行いました.裏面からSpresenseを筐体の中に挿入することができます。 蓋はネジを用いて閉じることができます。 また筐体の円周を纏っている棘が尖っていて、怪我をする恐れがあるという意見を頂いたため下記のような修正を加えました。 # 5.プログラム ```arduino:Lチカの例
#define LED_PIN 13
#include <Camera.h> #include "Adafruit_ILI9341.h" #include <DNNRT.h> #include <SDHCI.h> #define TFT_DC 9 #define TFT_CS 10 Adafruit_ILI9341 display = Adafruit_ILI9341(TFT_CS, TFT_DC);
void setup() { pinMode(LED_PIN, OUTPUT);
#define OFFSET_X (104) #define OFFSET_Y (0) #define CLIP_WIDTH (112) #define CLIP_HEIGHT (224) #define DNN_WIDTH (28) #define DNN_HEIGHT (28) #define BEEP_PIN 8 // ビープ音のためのピン SDClass SD; DNNRT dnnrt; DNNVariable input(DNN_WIDTH*DNN_HEIGHT); const char label[4] = {'0','1','2','3'};//0:赤,1:青,2:黄,3:緑 void playTone(int note) { switch(note) { case 0: // ド tone(BEEP_PIN, 262, 100); // 262Hzで100ミリ秒 break; case 1: // レ tone(BEEP_PIN, 294, 100); // 294Hzで100ミリ秒 break; case 2: // ミ tone(BEEP_PIN, 330, 100); // 330Hzで100ミリ秒 break; case 3: // ファ tone(BEEP_PIN, 349, 100); // 349Hzで100ミリ秒 break; } delay(100); // 音を100ミリ秒鳴らした後に次の処理に移る
}
void loop() { digitalWrite(LED_PIN, HIGH); delay(1000); digitalWrite(LED_PIN, LOW); delay(1000);
void CamCB(CamImage img) { if (!img.isAvailable()) { Serial.println("Image is not available. Try again"); return; } // カメラ画像の切り抜きと縮小 CamImage small; CamErr err = img.clipAndResizeImageByHW(small, OFFSET_X, OFFSET_Y, OFFSET_X + CLIP_WIDTH - 1, OFFSET_Y + CLIP_HEIGHT - 1, DNN_WIDTH, DNN_HEIGHT); if (!small.isAvailable()){ putStringOnLcd("Clip and Resize Error:" + String(err), ILI9341_RED); return; } // 認識用モノクロ画像を設定 uint16_t* imgbuf = (uint16_t*)small.getImgBuff(); float *dnnbuf = input.data(); for (int n = 0; n < DNN_HEIGHT * DNN_WIDTH; ++n) { dnnbuf[n] = (float)(((imgbuf[n] & 0xf000) >> 8) | ((imgbuf[n] & 0x00f0) >> 4)) / 255.; } // 推論の実行 dnnrt.inputVariable(input, 0); dnnrt.forward(); DNNVariable output = dnnrt.outputVariable(0); int index = output.maxIndex(); // 推論結果の表示 String gStrResult; if (index < 11) { gStrResult = String(label[index]) + String(":") + String(output[index]); Serial.println(gStrResult); if (label[index] >= '0' && label[index] <= '3') { playTone(label[index] - '0'); // 数字に対応する音を鳴らす } } else { gStrResult = String("Error"); } // 推論結果のディスプレイ表示 img.convertPixFormat(CAM_IMAGE_PIX_FMT_RGB565); display.drawRGBBitmap(0, 0, (uint16_t*)img.getImgBuff(), 320, 224); putStringOnLcd(gStrResult, ILI9341_YELLOW);
}
void putStringOnLcd(String str, uint16_t color) { display.fillScreen(ILI9341_BLACK); display.setTextColor(color); display.setTextSize(2); display.setCursor(0, 0); display.println(str); } void setup() { Serial.begin(115200); // SDカードの挿入待ち while (!SD.begin()) { putStringOnLcd("Insert SD card", ILI9341_RED); } // SDカードにある学習済モデルの読み込み File nnbfile = SD.open("model.nnb"); // 学習済モデルでDNNRTを開始 int ret = dnnrt.begin(nnbfile); if (ret < 0) { putStringOnLcd("dnnrt.begin failed" + String(ret), ILI9341_RED); return; } display.begin(); display.setRotation(3); pinMode(BEEP_PIN, OUTPUT); // ビープ音のピンを出力として設定 theCamera.begin(); theCamera.startStreaming(true, CamCB); } void loop() { }
``` # 6.デモ動画 # 7.工夫点 # 8.今後の予定 # 9.終わりに ## 10.用語説明 ①NNC ソニーネットワークコミュニケーションズ株式会社がリリースした、ニューラルネットワーク構築ツール ②構造自動探索機能 ニューラルネットワーク構造を自動的に変更しながら、指定された時間や探索回数に達するまで、さまざまなネットワーク構造で繰り返し学習を行い、それらの結果を比較できる機能 ### 11.参考文献