デモ動画

経緯

2023年 SPRESENSE™ 活用コンテストに応募するにあたり、「パリピ神棚」というコンセプトを掲げました。そして、紆余曲折の末に出来上がったものがこちらです。

ちなみに裏側はこうなってます。

謝辞

ソニーセミコンダクタソリューションズさん、今回もチャレンジしがいのあるコンテストを企画していただきありがとうございました。
また、SPRESENSE関連製品各種をモニター提供していただきありがとうございました。
本作品には下記のすばらしいライブラリ等を使用させていただきました。
LovyanGFX（超高速なグラフィックスライブラリ）
SP_Audio（オーディオライブラリ）
MM-S50MV 用 Arduinoライブラリ
nepils（NeoPixelライブラリ）
PlatformIO integration for Sony CXD5602GG Spresense boards
これらのライブラリ等のおかげで開発が捗りました。
本当にありがとうございました。

部品

下記はハードウェア部品です。

下記はソフトウェア部品です。（microSDカードのルートフォルダに配置）

※例によってビットマップはペイントで手作りしました。音声ファイルはAudacityで編集しました。

設計図

• 下記はSPRESENSE拡張ボードとLCD、NeoPixelの配線図です。
  

• 下記はLCDとのピン接続（SPI）です。

• 下記はNeoPixelとのピン接続（PWM）です。VDD（赤）とVSS（黒）はACアダプター接続です。

• TOFセンサーはSPRESENSE本体にAdd-onボード接続（SPI）です。

反省文（ポエム）

前回の反省から、今回は「SPRESENSEではじめるローパワーエッジAI 」と「はじめての「SonyNNC」改訂版」の二冊を入手しました。


これらの資料によって、Spresenseのポテンシャルを最大限引き出すことができるようになり、カメラ映像から柏手（かしわで）を認識できるようになるはず・・・

・・・だったのですが、いかんせん業務多忙につきカメラAIの実装は間に合いませんでした。
しかし、次回のコンテストには、いよいよ「カメラAIをインターフェース」とした作品を提出できる予感がしています・・・！！

ちなみに今回は、Arduino IDEではなくPlatformIOでビルドできるようになったので断然開発作業が捗りました。
Arduino IDEだとビルドの度に2～3分ぐらいかかるところ、PlatformIOならば1分かからずにアップロードまで終わります。
この勢いに乗ってSpresense SDKが使えるようになると、より開発が捗る気がしますね・・・！！

ということで、moruxa先生の次回作にご期待ください・・・！！（今度こそ・・・今度こそ・・・）

ソースコード

main.cpp
#define LGFX_AUTODETECT
#define LGFX_USE_V1

#include <SDHCI.h>
SDClass SD;
#include "LGFX_SPRESENSE_sample.hpp"
#include <SP_AudioPlayer.h>
#include <MM-S50MV.h>
#include <Adafruit_NeoPixel_Spresense.h>

static LGFX lcd;

SP_AudioPlayer player;

const uint16_t NUM_PIXELS = 60;
const uint16_t PIN = 6;
Adafruit_NeoPixel_Spresense strip(NUM_PIXELS, PIN);

int cnt = 0;
int wait = 500;
int remain = 1;

void disp(int n)
{
  static LGFX_Sprite canvas(&lcd);
  char buf[8];
  snprintf(buf,8,"/%d.bmp",n+1);
  canvas.createFromBmpFile(SD, buf);
  canvas.pushRotateZoom(120, 160, 0.f, 1.0, 1.0);
}

void setup(void)
{
  Serial.begin(115200);
  randomSeed(analogRead(0));

  /* Initialize Player */
  player.begin();
  player.volume(80); /* 120 ~ -1020(?) */
  // player.setFs(44100); /* Change from the default 48kHz to 44.1kHz */
  player.setBitlen(16); /* same as the default */
  player.setChannel(2); /* same as the default */

  lcd.init();
  lcd.startWrite();
  lcd.clear(TFT_BLACK);
  //lcd.clear(TFT_WHITE);
  lcd.setColorDepth(16);  // LCDを16bitカラーモードに設定する。
  lcd.setSwapBytes(true); // バイト順変換を有効にする。
  lcd.invertDisplay(false);
  lcd.setRotation(2);

  MMS50MV.begin();
  MMS50MV.skip(256);
  delay(500);
  MMS50MV.set(MMS50MV_CMD_MODE, MMS50MV_MODE_SYNC); // sync mode.
  delay(500);
  MMS50MV.skip(256);
  MMS50MV.sync();                                    // sync.
  MMS50MV.set(MMS50MV_CMD_MODE, MMS50MV_MODE_NOMAL); // normal mode.
  delay(500);
  MMS50MV.set(0x10, 0); // 256frames/s
  delay(500);
  MMS50MV.skip(256);

	strip.begin();
	strip.setBrightness(50);
	strip.show();

  cnt = 4;
  wait=250;
}

void disp2(int n){
    lcd.setCursor(0, 20);
    lcd.setTextColor(TFT_BLACK, TFT_WHITE);
    lcd.setFont(&fonts::Font2);
    lcd.setTextSize(2);
    lcd.printf("%2d\n", n);
}

// Input a value 0 to 255 to get a color value.
// The colours are a transition r - g - b - back to r.
uint32_t Wheel(byte WheelPos) {
  WheelPos = 255 - WheelPos;
  if(WheelPos < 85) {
    return strip.Color(255 - WheelPos * 3, 0, WheelPos * 3);
  }
  if(WheelPos < 170) {
    WheelPos -= 85;
    return strip.Color(0, WheelPos * 3, 255 - WheelPos * 3);
  }
  WheelPos -= 170;
  return strip.Color(WheelPos * 3, 255 - WheelPos * 3, 0);
}

void loop(void)
{
  int dis = MMS50MV.get();
  if (dis < 500)
  {
    cnt--;
    lcd.setCursor(100, 140);
    lcd.setTextColor(TFT_WHITE, TFT_BLACK);
    lcd.setFont(&fonts::Font4);
    lcd.setTextSize(4);
    lcd.printf("%d\n", cnt);
  }
  else {
    if (cnt < 4) lcd.clear(TFT_BLACK);
    cnt = 4;
  }

  if (cnt == 0)
  {
    cnt = 4;
    player.wavplay("/mnt/sd0/zinja-ne.wav", false);
    for (int i = 0; i < 30; i++)
    {
      disp(i % 7);
      //disp2(i);
      for(int x=0; x<strip.numPixels(); x++) {
        strip.setPixelColor(x, Wheel((x+i*8) & 255));
      }
      strip.show();
      delay(i*i);
    }
    disp(random(0, 6));
    remain = 20;
  }

  delay(wait);

  if (remain > 0)
  {
    remain--;
    //disp2(remain);
    if (remain == 0){
      for(int x=0; x<strip.numPixels(); x++) {
        strip.setPixelColor(x, 0);
      }
      strip.show();
      lcd.clear(TFT_BLACK);
    }
  }
}

LGFX_SPRESENSE_sample.hpp
#pragma once

#define LGFX_USE_V1

#include <LovyanGFX.hpp>

// SPRESENSEでLovyanGFXを独自設定で利用する場合の設定例

/*
このファイルを複製し、新しい名前を付けて、環境に合わせて設定内容を変更してください。
作成したファイルをユーザープログラムからincludeすることで利用可能になります。
複製したファイルはライブラリのlgfx_userフォルダに置いて利用しても構いませんが、
その場合はライブラリのアップデート時に削除される可能性があるのでご注意ください。
安全に運用したい場合はバックアップを作成しておくか、ユーザープロジェクトのフォルダに置いてください。
//*/


/// 独自の設定を行うクラスを、LGFX_Deviceから派生して作成します。
class LGFX : public lgfx::LGFX_Device
{
/*
 クラス名は"LGFX"から別の名前に変更しても構いません。
 AUTODETECTと併用する場合は"LGFX"は使用されているため、LGFX以外の名前に変更してください。
 また、複数枚のパネルを同時使用する場合もそれぞれに異なる名前を付けてください。
 ※ クラス名を変更する場合はコンストラクタの名前も併せて同じ名前に変更が必要です。
 名前の付け方は自由に決めて構いませんが、設定が増えた場合を想定し、
 例えば SPRESENSE でSPI接続のILI9341の設定を行った場合、
  LGFX_SPRESENSE_SPI_ILI9341
 のような名前にし、ファイル名とクラス名を一致させておくことで、利用時に迷いにくくなります。
//*/


// 接続するパネルの型にあったインスタンスを用意します。
//lgfx::Panel_GC9A01      _panel_instance;
//lgfx::Panel_GDEW0154M09 _panel_instance;
//lgfx::Panel_HX8357B     _panel_instance;
//lgfx::Panel_HX8357D     _panel_instance;
//lgfx::Panel_ILI9163     _panel_instance;
lgfx::Panel_ILI9341     _panel_instance;
//lgfx::Panel_ILI9342     _panel_instance;
//lgfx::Panel_ILI9481     _panel_instance;
//lgfx::Panel_ILI9486     _panel_instance;
//lgfx::Panel_ILI9488     _panel_instance;
//lgfx::Panel_IT8951      _panel_instance;
//lgfx::Panel_SH110x      _panel_instance; // SH1106, SH1107
//lgfx::Panel_SSD1306     _panel_instance;
//lgfx::Panel_SSD1327     _panel_instance;
//lgfx::Panel_SSD1331     _panel_instance;
//lgfx::Panel_SSD1351     _panel_instance; // SSD1351, SSD1357
//lgfx::Panel_SSD1963     _panel_instance;
//lgfx::Panel_ST7735      _panel_instance;
//lgfx::Panel_ST7735S     _panel_instance;
//lgfx::Panel_ST7789      _panel_instance;
//lgfx::Panel_ST7796      _panel_instance;


// SPIバスのインスタンスを用意します。
  lgfx::Bus_SPI       _bus_instance;   // SPIバスのインスタンス

public:

  // コンストラクタを作成し、ここで各種設定を行います。
  // クラス名を変更した場合はコンストラクタも同じ名前を指定してください。
  LGFX(void)
  {
    { // バス制御の設定を行います。
      auto cfg = _bus_instance.config();    // バス設定用の構造体を取得します。

      cfg.spi_mode = 3;             // SPI通信モードを設定 (0 ~ 3)
      cfg.freq_write = 30000000;    // 送信時のSPIクロック
      cfg.freq_read  = 16000000;    // 受信時のSPIクロック
      cfg.pin_dc   =  14;            // SPIのD/Cピン番号を設定  (-1 = disable)
      cfg.spi_port =  4;            // Arduino拡張ボードの場合は 4 

      _bus_instance.config(cfg);    // 設定値をバスに反映します。
      _panel_instance.setBus(&_bus_instance);      // バスをパネルにセットします。
    }

    { // 表示パネル制御の設定を行います。
      auto cfg = _panel_instance.config();    // 表示パネル設定用の構造体を取得します。

      cfg.pin_cs           =    10;  // CSが接続されているピン番号   (-1 = disable) HW CSピンの場合は-1を指定
      cfg.pin_rst          =     15;  // RSTが接続されているピン番号  (-1 = disable)
      cfg.pin_busy         =    -1;  // BUSYが接続されているピン番号 (-1 = disable)

      // ※ 以下の設定値はパネル毎に一般的な初期値が設定されていますので、不明な項目はコメントアウトして試してみてください。

      cfg.panel_width      =   240;  // 実際に表示可能な幅
      cfg.panel_height     =   320;  // 実際に表示可能な高さ
      cfg.offset_x         =     0;  // パネルのX方向オフセット量
      cfg.offset_y         =     0;  // パネルのY方向オフセット量
      cfg.offset_rotation  =     0;  // 回転方向の値のオフセット 0~7 (4~7は上下反転)
      cfg.dummy_read_pixel =     8;  // ピクセル読出し前のダミーリードのビット数
      cfg.dummy_read_bits  =     1;  // ピクセル以外のデータ読出し前のダミーリードのビット数
      cfg.readable         =  true;  // データ読出しが可能な場合 trueに設定
      cfg.invert           = false;  // パネルの明暗が反転してしまう場合 trueに設定
      cfg.rgb_order        = false;  // パネルの赤と青が入れ替わってしまう場合 trueに設定
      cfg.dlen_16bit       = false;  // データ長を16bit単位で送信するパネルの場合 trueに設定
      cfg.bus_shared       =  true;  // SDカードとバスを共有している場合 trueに設定(drawJpgFile等でバス制御を行います)

// 以下はST7735やILI9163のようにピクセル数が変更できるドライバでのみ設定してください。
//    cfg.memory_width     =   240;  // ドライバICがサポートしている最大の幅
//    cfg.memory_height    =   320;  // ドライバICがサポートしている最大の高さ

      _panel_instance.config(cfg);
    }

    setPanel(&_panel_instance); // 使用するパネルをセットします。
  }
};