コメント無し

# RGBやYUVの2次元配列で画像処理 EMOIC-PIC用にSpresense-Arduinoスケッチを開発する際のサンプルコードです。 - takeStillPicture_SD(); //静止画(640*480)を1枚撮影し、SDカードにJPEG形式で保存する。 - putStringOnLCD(String str, int line, int color); //ディスプレイの下半分に指定行(0-5)の位置に文字列を指定色で左右中央に1行表示する。 - displayImage(); //RGB565の3配列(160*120)をカラー画像としてディスプレイ右に表示する。 - グローバル変数picture_eval_score //連続撮影される入力画像の評価値を納める。 - グローバル変数Y[160][120] //Y(輝度)信号の配列。値は0-255の範囲 - グローバル変数U[160][120] //U(色)信号の配列。値は0-15の範囲 - グローバル変数V[160][120] //V(色)信号の配列。値は0-15の範囲 - グローバル変数R[160][120] //画像処理出力用配列R。値は0-31の範囲 - グローバル変数G[160][120] //画像処理出力用配列G。値は0-63の範囲 - グローバル変数B[160][120] //画像処理出力用配列B。値は0-31の範囲 ### ユーザコード開発

``` #include <stdio.h> #include <Camera.h> #include <Adafruit_ILI9341.h> #include <SDHCI.h> #define TFT_DC (9) #define TFT_CS (10) // ディスプレイの縦横の大きさ #define DISPLAY_WIDTH (320) #define DISPLAY_HEIGHT (240) // CAM_IMGSIZE_VGA_H(640), CAM_IMGSIZE_VGA_V(480)の1/4 #define IMAGE_X_SIZE (160) #define IMAGE_Y_SIZE (120) #define TOTAL_PICTURE_COUNT (5) SDClass theSD; Adafruit_ILI9341 display = Adafruit_ILI9341(TFT_CS, TFT_DC); uint8_t Y[CAM_IMGSIZE_QQVGA_H][CAM_IMGSIZE_QQVGA_V]; // 160*120, [0-255] uint8_t U[CAM_IMGSIZE_QQVGA_H][CAM_IMGSIZE_QQVGA_V]; // 160*120, [0-15] uint8_t V[CAM_IMGSIZE_QQVGA_H][CAM_IMGSIZE_QQVGA_V]; // 160*120, [0-15] uint8_t R[CAM_IMGSIZE_QQVGA_H][CAM_IMGSIZE_QQVGA_V]; // 160*120, [0-31] uint8_t G[CAM_IMGSIZE_QQVGA_H][CAM_IMGSIZE_QQVGA_V]; // 160*120, [0-63] uint8_t B[CAM_IMGSIZE_QQVGA_H][CAM_IMGSIZE_QQVGA_V]; // 160*120, [0-31] uint16_t drawImageBuf[CAM_IMGSIZE_QQVGA_H*CAM_IMGSIZE_QQVGA_V]; int take_picture_count = 0; int picture_eval_score = 0; // 320*240液晶ディスプレイの下半分に指定行(0-5)の高さに文字列を指定色で左右中央に1行表示する。 // ILI9341_BLACK (_RED, _GREEN, _BLUE, _WHITE etc.) // コードを変更しないでください。 void putStringOnLCD(String str, int line, int color) { int len = str.length(); display.fillRect(0, DISPLAY_HEIGHT/2+line*18+6, DISPLAY_WIDTH-1, DISPLAY_HEIGHT/2+(line+1)*18+5, ILI9341_BLACK); display.setTextSize(2); int sx = DISPLAY_WIDTH/2 - len/2*12; if (sx < 0) sx = 0; if (line < 0) sx = 0; else if (line > 5) sx = 5; display.setCursor(sx, DISPLAY_HEIGHT/2+line*18+8); display.setTextColor(color); display.println(str); } // 静止画(640*480)を1枚撮影し、SDカードにJPEG形式で保存する。 // コードを変更しないでください。 void takeStillPicture_SD() { putStringOnLCD("Taking Still Picture", 2, ILI9341_WHITE); CamImage still_img = theCamera.takePicture(); if (still_img.isAvailable()) { char filename[16] = {0}; sprintf(filename, "PICT%03d.JPG", take_picture_count); theSD.remove(filename); File myFile = theSD.open(filename, FILE_WRITE); myFile.write(still_img.getImgBuff(), still_img.getImgSize()); myFile.close(); putStringOnLCD("SD card saved", 2, ILI9341_WHITE); } else { putStringOnLCD("ERROR: Take Still Picture", 2, ILI9341_RED); } } // RGB565の3配列(160*120)をカラー画像としてディスプレイ右に表示する。 // コードを変更しないでください。 void displayImage() { for (int n = 0; n < IMAGE_X_SIZE*IMAGE_Y_SIZE; n++) { uint8_t r5 = R[(int)(n%CAM_IMGSIZE_QQVGA_H)][n/CAM_IMGSIZE_QQVGA_H]; uint8_t g6 = G[(int)(n%CAM_IMGSIZE_QQVGA_H)][n/CAM_IMGSIZE_QQVGA_H]; uint8_t b5 = B[(int)(n%CAM_IMGSIZE_QQVGA_H)][n/CAM_IMGSIZE_QQVGA_H]; drawImageBuf[n] = (uint16_t)(((uint16_t)r5 & 0x001F)<<11) | (((uint16_t)g6 & 0x003F)<<5) | ((uint16_t)b5 & 0x001F); } display.drawRGBBitmap(DISPLAY_WIDTH/2, 0, drawImageBuf, CAM_IMGSIZE_QQVGA_H, CAM_IMGSIZE_QQVGA_V); } // Spresenseカメラライブラリのコールバック関数。撮影フレーム毎に入力カラー画像をYUVの3配列（160*120）に格納する。 // ユーザはこの中に画像を評価するコードを記述し、得られた評価値をグローバル変数picture_eval_scoreに書き込む。 void CamCB(CamImage img) { if (!img.isAvailable()) return; display.drawRGBBitmap(0, 0, (uint16_t *)img.getImgBuff(), CAM_IMGSIZE_QQVGA_H, CAM_IMGSIZE_QQVGA_V); img.convertPixFormat(CAM_IMAGE_PIX_FMT_YUV422); uint16_t* imgbuf = (uint16_t*)img.getImgBuff(); for (int n = 0; n < IMAGE_X_SIZE*IMAGE_Y_SIZE; n++) { Y[(int)(n%CAM_IMGSIZE_QQVGA_H)][n/CAM_IMGSIZE_QQVGA_H] = (uint8_t)(((imgbuf[n] & 0xf000) >> 8) | ((imgbuf[n] & 0x00f0) >> 4)); U[(int)(n%CAM_IMGSIZE_QQVGA_H)][n/CAM_IMGSIZE_QQVGA_H] = (uint8_t)((imgbuf[n] & 0x0f00) >> 8); V[(int)(n%CAM_IMGSIZE_QQVGA_H)][n/CAM_IMGSIZE_QQVGA_H] = (uint8_t)(imgbuf[n] & 0x000f); } //////// USER CODE ///////// // Y[X座標(0-159)][Y座標(0-119] 値域[0-255] // U[X座標(0-159)][Y座標(0-119] 値域[0-15] 無色は8 // V[X座標(0-159)][Y座標(0-119] 値域[0-15] 無色は8 // 画像左上が原点で、Xは右方向、Yは下方向 /////////////// ここから //////////////// // 例：YUVの平均値を算出し、ディスプレイに表示する。 int ave_Y = 0, ave_U = 0, ave_V = 0; for(int y = 0; y < 120; y++) { for(int x = 0; x < 160; x++) { ave_Y += Y[x][y]; ave_U += U[x][y]; ave_V += V[x][y]; } } ave_Y /= 160*120; ave_U /= 160*120; ave_V /= 160*120; picture_eval_score = ave_Y; // char message[32] = {0}; sprintf(message, "%d: %d %d %d", take_picture_count, ave_Y, ave_U, ave_V); putStringOnLCD(message, 5, ILI9341_WHITE); // 例：画像処理した結果を、ディスプレイに表示する。 for(int y = 0; y < 120; y++) { for(int x = 0; x < 160; x++) { if (Y[x][y] > 128) { // Yが128より明るい画素をグリーンにする。 R[x][y] = 0; G[x][y] = 63; B[x][y] = 0; } else { // Yが128以下の画素をグレーにする。 R[x][y] = 10; G[x][y] = 10; B[x][y] = 10; } } } displayImage(); //RGB565の3配列をカラー画像としてディスプレイ右に表示する /////////////// ここまで //////////////// } // Spresenseとっディスプレイを初期化します。Spresenseカメラのプレビュー画像のフレームレートを5fps、160*120画素、YUV422形式に設定します。 // Spresenseカメラの静止画を640*480画素のJPEGに設定します。 // コードを変更しないでください。 void setup() { CamErr err; display.begin(); display.setRotation(3); display.fillScreen(ILI9341_BLACK); while (!theSD.begin()) { putStringOnLCD("Insert SD card", 2, ILI9341_GREEN); } display.fillScreen(ILI9341_BLACK); err = theCamera.begin(1, CAM_VIDEO_FPS_5, CAM_IMGSIZE_QQVGA_H, CAM_IMGSIZE_QQVGA_V, CAM_IMAGE_PIX_FMT_RGB565); err = theCamera.setAutoWhiteBalanceMode(CAM_WHITE_BALANCE_AUTO); err = theCamera.setStillPictureImageFormat(CAM_IMGSIZE_VGA_H, CAM_IMGSIZE_VGA_V, CAM_IMAGE_PIX_FMT_JPG); err = theCamera.startStreaming(true, CamCB); } // ユーザはこの中に画像の評価値に基づいて静止画を撮影するか否かを判断するコードを記述します。 // takeStillPicture_SD()をコールすると、撮影画像1枚をSDカードに保存します。保存処理に1秒程度要することに留意してください。 void loop() { /////////////// ここから //////////////// sleep(1); // Robot move & stay // Camera take if (take_picture_count == TOTAL_PICTURE_COUNT) { putStringOnLCD("TOTAL_PICTURE_COUNT END", 2, ILI9341_GREEN); theCamera.end(); exit(0); } // Image analysis // Decision make if(picture_eval_score > 100) { takeStillPicture_SD(); take_picture_count++; } /////////////// ここまで //////////////// } ```