コメント無し

1.

2. - モバイルUSBバッテリー - タッパー

1. それをもとに、白黒・28x28サイズにしてデータセットを作成 1. 「02_binary_cnn」から新規project作成

1. 新たにデータセットを作成し直しやり直したところ、accuracy 0.9047 と好成績だった（と思う）

1. 試しにCNNではなく2層NNで同様のデータセットを用いて検討したが accuracy0.7333 だったため却下 1. さらに上記④のプロジェクト（猫と人間で学習）で「構造自動探索」を行って成績向上をめざした

1. プロジェクトを右クリック→エクスポート→NNBを選択→[model.nnb]をFAT32でフォーマットしておいたmicroSDの直下に保存した

windows版CNNでは画像認識はうまく構成されたと思います。

# スケッチ

参考図書　オライリー・ジャパン　[SPRESENSEではじめるローパワーエッジAI](https://www.amazon.co.jp/SPRESENSE%E3%81%A7%E3%81%AF%E3%81%98%E3%82%81%E3%82%8B%E3%83%AD%E3%83%BC%E3%83%91%E3%83%AF%E3%83%BC%E3%82%A8%E3%83%83%E3%82%B8AI-Make-PROJECTS-%E3%82%BD%E3%83%8B%E3%83%BC%E3%82%BB%E3%83%9F%E3%82%B3%E3%83%B3%E3%83%80%E3%82%AF%E3%82%BF%E3%82%BD%E3%83%AA%E3%83%A5%E3%83%BC%E3%82%B7%E3%83%A7%E3%83%B3%E3%82%BA%E6%A0%AA%E5%BC%8F%E4%BC%9A%E7%A4%BE/dp/4873119677/ref=sr_1_1?__mk_ja_JP=%E3%82%AB%E3%82%BF%E3%82%AB%E3%83%8A&crid=3H6KCDZVNX9MN&keywords=SPRESENSE%E3%81%A7%E3%81%AF%E3%81%98%E3%82%81%E3%82%8B%E3%83%AD%E3%83%BC%E3%83%91%E3%83%AF%E3%83%BC%E3%82%A8%E3%83%83%E3%82%B8AI&qid=1664028683&sprefix=spresense%E3%81%A7%E3%81%AF%E3%81%98%E3%82%81%E3%82%8B%E3%83%AD%E3%83%BC%E3%83%91%E3%83%AF%E3%83%BC%E3%82%A8%E3%83%83%E3%82%B8ai%2Caps%2C185&sr=8-1)　太田 義則 　著

``` c:NCCで認識し撮影する diff_c #include <Camera.h> #include <DNNRT.h> #include <SDHCI.h> #include <stdio.h>

#define BAUDRATE (115200) #define TOTAL_PICTURE_COUNT (20)

SDClass theSD; DNNRT dnnrt;

const int DNN_width = 28; const int DNN_height = 28; const float threshold = 0.65;

boolean save_flag = false; int take_picture_count = 0; DNNVariable input(DNN_width * DNN_height);

void printError(enum CamErr err)　 // カメラ　エラーコード { Serial.print("Error: "); switch (err) { case CAM_ERR_NO_MEMORY: Serial.println("No memory"); break;

default: break; } }

void CamCB(CamImage img) { if (!img.isAvailable()) return; // カメラ画像の切り抜きと縮小 CamImage small_image; CamErr err = img.clipAndResizeImageByHW(small_image, 48, 8, 271, 231, DNN_width, DNN_height);

// 縮小に失敗したらリターン if (!small_image.isAvailable()) return;

// 認識用モノクロ画像を設定 uint16_t* Imgbuf = (uint16_t*)small_image.getImgBuff(); float *dnnbuf = input.data(); for (int n = 0; n < DNN_height*DNN_width; ++n) { dnnbuf[n] = (float)(((Imgbuf[n] & 0xf000) >> 8) | ((Imgbuf[n] & 0x00f0) >> 4))/255.0; }

// 推論結果 dnnrt.inputVariable(input, 0); dnnrt.forward(); DNNVariable output = dnnrt.outputVariable(0);

if((output[0] > threshold)) { save_flag = true; Serial.println("DNNRT recognized the picture as a cat."); } else { Serial.println("dnnrt couldn't recognize."); } }

void setup() { CamErr err; Serial.begin(BAUDRATE); while (!Serial) { ; } // SDカードにある学習済モデルの読み込み File nnbfile = theSD.open("model.nnb"); if (!nnbfile) { Serial.print("nnb not found"); return; } // 学習済モデルでDNNRTを開始 int ret = dnnrt.begin(nnbfile); if (ret < 0) { Serial.print("Runtime initialization failure. "); Serial.print(ret); Serial.println(); return; }

Serial.println("Prepare camera"); err = theCamera.begin(); if (err != CAM_ERR_SUCCESS) { printError(err); } Serial.println("Prepare camera"); theCamera.begin();

Serial.println("Start streaming"); theCamera.startStreaming(true, CamCB);

Serial.println("Set Auto white balance parameter"); theCamera.setAutoWhiteBalanceMode(CAM_WHITE_BALANCE_DAYLIGHT);

Serial.println("Set still picture format"); err = theCamera.setStillPictureImageFormat( CAM_IMGSIZE_QUADVGA_H, CAM_IMGSIZE_QUADVGA_V, CAM_IMAGE_PIX_FMT_JPG);

if (err != CAM_ERR_SUCCESS) { printError(err); } pinMode(LED0, OUTPUT); // LED準備 }

void loop() { sleep(1); if (take_picture_count < TOTAL_PICTURE_COUNT) { Serial.println("call takePicture()"); CamImage img = theCamera.takePicture();

if(save_flag) { if (img.isAvailable()) { char filename[16] = {0}; sprintf(filename, "CAT%03d.JPG", take_picture_count);

Serial.print("Save taken picture as "); Serial.print(filename); Serial.println("");

theSD.remove(filename); File myFile = theSD.open(filename, FILE_WRITE); myFile.write(img.getImgBuff(), img.getImgSize()); myFile.close();

// 撮影をLEDでも 視認できるようにする digitalWrite(LED0, HIGH); delay(1000); digitalWrite(LED0, LOW); delay(10); } else { Serial.println("Failed to take picture"); } take_picture_count++; } save_flag = false; } else { Serial.println("END."); dnnrt.end(); theCamera.end(); } }

``` しかし猫の画像をカメラ前においても撮影することができずうまくいきませんでした。 これが結構　ハマってしまいました。 色々変数を変えたりnnbファイルを作り直したりして原因を探りました。 はじめはCamErrを記述していませんでしたので上記スケッチのように加えたところ ”No Memory"を返しているために撮影できないことがわかりました サンプルスケッチ[camera]の記述を利用していましたが、 setStillPictureImageFormatを CAM_IMGSIZE_QVGA_H, CAM_IMGSIZE_QVGA_V, CAM_IMAGE_PIX_FMT_JPG); に修正したところ無事撮影することができました。 PCモニターに猫の写真を表示するとそれを認識して撮影します。 シリアルモニタでも確認できますが、LED点灯でも確認できるようにしました。 ## 撮影サンプル モニターに映し出した猫を撮影しました   犬 の写真や、猫のぬいぐるみでは撮影してくれなかったので　うまく認識しているようです。 ## ケース 100均で購入したタッパーにカメラを出す穴を開けて モバイルバッテリーと接続したSpresenseを入れることにしました    ## 今後の展望 in vitroでは撮影できていましたが、コンテスト期限直前になってしまい 実際に屋外で猫の撮影を試すことまでは間に合いませんでした。 今後は屋外放置し野良猫をうまく撮影できるかの検証と、 バッテリーの持ちなどについて検証してみたいと思います。 ## 考察 初めてAIを導入し、neural network console を用いたカメラ撮影を行いました。 全く知識がないところから始めましたが、NNCは予想していたより導入は易しく初心者においても適切な機構だと感じました。 サンプルスケッチからスケッチを組めるものだと安易に思っていたところが調整に手間取りましたが、 参考書をにらめっこしながら、目標としていたエッジAIをどうにか構築することができました。 spresenseはGPS機能も有しているので 今後はその機能を使った作品にも挑戦していきたいと思います。 spresenseは初心者にも導入しやすく、様々な用途に応用できるデバイスだと体感することができました。