コメント無し

# 背景 世の中には色とりどりな景色が広がっています。 我々が生活している日本には海があり、山があり、街があり、そこには数えきれない生き物がいます。

どんな人でも簡単に演奏ができるデザイン設計になっています! みんなで景色を奏でましょう!!

# 用意したもの | 名称 | 概要 | |:---:|:---| | Spresenseメインボード | Arduino互換ボードコンピュータ | | Spresense拡張ボード | microSDスロットやヘッドフォンジャック等様々なインターフェースが使えるようにするもの | | Adventure3 Pro | FLASHFORGE製の3Dプリンター 樹脂筐体の印刷に使用 | | PLAフィラメント | 樹脂筐体の材料 | | ネジ | 直径2mmのネジ:4本 | | スピーカー | 3.5mmオーディオジャックの入力ができるもの | |リチウムポリマー電池| 持ち運びの負担にならないもの| |昇圧モジュール|リチウムポリマー電池とUSBを繋ぐもの| # 仕組み 

# 機械学習


# 工作

 

# プログラム ```arduino:Lチカの例 #include <Camera.h> #include "Adafruit_ILI9341.h" #include <DNNRT.h> #include <SDHCI.h> #define TFT_DC 9 #define TFT_CS 10 Adafruit_ILI9341 display = Adafruit_ILI9341(TFT_CS, TFT_DC); #define OFFSET_X (104) #define OFFSET_Y (0) #define CLIP_WIDTH (112) #define CLIP_HEIGHT (224) #define DNN_WIDTH (28) #define DNN_HEIGHT (28) #define BEEP_PIN 8 // ビープ音のためのピン SDClass SD; DNNRT dnnrt; DNNVariable input(DNN_WIDTH*DNN_HEIGHT); const char label[4] = {'0','1','2','3'};//0:赤,1:青,2:黄,3:緑 void playTone(int note) { switch(note) { case 0: // ド tone(BEEP_PIN, 262, 100); // 262Hzで100ミリ秒 break; case 1: // レ tone(BEEP_PIN, 294, 100); // 294Hzで100ミリ秒 break; case 2: // ミ tone(BEEP_PIN, 330, 100); // 330Hzで100ミリ秒 break; case 3: // ファ tone(BEEP_PIN, 349, 100); // 349Hzで100ミリ秒 break; } delay(100); // 音を100ミリ秒鳴らした後に次の処理に移る } void CamCB(CamImage img) { if (!img.isAvailable()) { Serial.println("Image is not available. Try again"); return; } // カメラ画像の切り抜きと縮小 CamImage small; CamErr err = img.clipAndResizeImageByHW(small, OFFSET_X, OFFSET_Y, OFFSET_X + CLIP_WIDTH - 1, OFFSET_Y + CLIP_HEIGHT - 1, DNN_WIDTH, DNN_HEIGHT); if (!small.isAvailable()){ putStringOnLcd("Clip and Resize Error:" + String(err), ILI9341_RED); return; } // 認識用モノクロ画像を設定 uint16_t* imgbuf = (uint16_t*)small.getImgBuff(); float *dnnbuf = input.data(); for (int n = 0; n < DNN_HEIGHT * DNN_WIDTH; ++n) { dnnbuf[n] = (float)(((imgbuf[n] & 0xf000) >> 8) | ((imgbuf[n] & 0x00f0) >> 4)) / 255.; } // 推論の実行 dnnrt.inputVariable(input, 0); dnnrt.forward(); DNNVariable output = dnnrt.outputVariable(0); int index = output.maxIndex(); // 推論結果の表示 String gStrResult; if (index < 11) { gStrResult = String(label[index]) + String(":") + String(output[index]); Serial.println(gStrResult); if (label[index] >= '0' && label[index] <= '3') { playTone(label[index] - '0'); // 数字に対応する音を鳴らす } } else { gStrResult = String("Error"); } // 推論結果のディスプレイ表示 img.convertPixFormat(CAM_IMAGE_PIX_FMT_RGB565); display.drawRGBBitmap(0, 0, (uint16_t*)img.getImgBuff(), 320, 224); putStringOnLcd(gStrResult, ILI9341_YELLOW); } void putStringOnLcd(String str, uint16_t color) { display.fillScreen(ILI9341_BLACK); display.setTextColor(color); display.setTextSize(2); display.setCursor(0, 0); display.println(str); } void setup() { Serial.begin(115200); // SDカードの挿入待ち while (!SD.begin()) { putStringOnLcd("Insert SD card", ILI9341_RED); } // SDカードにある学習済モデルの読み込み File nnbfile = SD.open("model.nnb"); // 学習済モデルでDNNRTを開始 int ret = dnnrt.begin(nnbfile); if (ret < 0) { putStringOnLcd("dnnrt.begin failed" + String(ret), ILI9341_RED); return; } display.begin(); display.setRotation(3); pinMode(BEEP_PIN, OUTPUT); // ビープ音のピンを出力として設定 theCamera.begin(); theCamera.startStreaming(true, CamCB); } void loop() { } ``` # プロトタイピング動画 [オズの魔法使い法によるプロトタイピング動画](https://youtu.be/4E5XaPe5phc) ＊音は映像に後付けしています。

# 工夫点

# 今後の課題

### 参考文献