オタマミン自動演奏 - (未完)

光の明度で演奏する楽器、オタマミン(明和電機)の自動演奏装置を目指したものです。
以前raspberry pico向けに作成した作品のあまりに酷い音感を何とかしようと頑張りました。

以下のように動作するものを目指していました。

LEDをSpresensの高精度なPWMにより制御しオタマミンの音階を変化させる (実装)
オタマミンの演奏をアナログマイクで読み取る(実装)
FFTによる周波数解析によりPWMによる明度と音階の周波数を突合 (途中)
MIDIファイルを読み込み自動演奏(未実装)
３台のオタマミンによる和音(未実装)

LEDをオタマミンのセンサ部に、マイクをオタマミンのスピーカー部に近づけるように設置します。

FFT処理を別コアとする必要がありましたが、手軽さを優先したことでFIFOエラーが出ています。


Lチカの例#include
#include <fcntl.h>
#include <nuttx/timers/pwm.h>

#include <Audio.h>
AudioClass *theAudio;
const int mic_channel_num = 1;

#include "FFT.h"
/*-----------------------------------------------------------------*/
/*
 * FFT parameters
 */
/* Select FFT length */

//#define FFT_LEN 32
//#define FFT_LEN 64
//#define FFT_LEN 128
//#define FFT_LEN 256
//#define FFT_LEN 512
#define FFT_LEN 1024
//#define FFT_LEN 2048
//#define FFT_LEN 4096

/* Number of channels*/
//#define MAX_CHANNEL_NUM 1
//#define MAX_CHANNEL_NUM 2
#define MAX_CHANNEL_NUM 1

#define SAMPLING_RATE   16000 // ex.) 48000, 16000

#define OVERLAP         (FFT_LEN/2)  // ex.) 0, 128, 256

FFTClass<MAX_CHANNEL_NUM, FFT_LEN> FFT;

/*-----------------------------------------------------------------*/
/*
 * Detector parameters
 */
#define POWER_THRESHOLD       30  // Power
#define LENGTH_THRESHOLD      30  // 20ms
#define INTERVAL_THRESHOLD    100 // 100ms

#define BOTTOM_SAMPLING_RATE  131 // 131Hz  C3
#define TOP_SAMPLING_RATE     988 // 988kHz B5

#define FS2BAND(x)            ((x)*FFT_LEN/SAMPLING_RATE)
#define BOTTOM_BAND           (FS2BAND(BOTTOM_SAMPLING_RATE))
#define TOP_BAND              (FS2BAND(TOP_SAMPLING_RATE))

#define MS2FRAME(x)           (((x)*SAMPLING_RATE/1000/(FFT_LEN-OVERLAP))+1)
#define LENGTH_FRAME          MS2FRAME(LENGTH_THRESHOLD)
#define INTERVAL_FRAME        MS2FRAME(INTERVAL_THRESHOLD)

/*-----------------------------------------------------------------*/
/* Allocate the larger heap size than default */

USER_HEAP_SIZE(64 * 1024);


#define PWMDEV "/dev/pwm0\0"
#define PWMFREQ 2000
void setup() {

  Serial.begin(115200);
  while (!Serial);

  Serial.println("Init Audio Library");
  theAudio = AudioClass::getInstance();
  theAudio->begin();

  Serial.println("Init Audio Recorder");
  /* Select input device as AMIC */
  theAudio->setRecorderMode(AS_SETRECDR_STS_INPUTDEVICE_MIC,0,0x20000,true);

  theAudio->initRecorder(AS_CODECTYPE_PCM, "/mnt/sd0/BIN", AS_SAMPLINGRATE_16000, AS_CHANNEL_MONO);
  Serial.println("Rec start!");
  theAudio->startRecorder();
  delay(100);
  FFT.begin(WindowHanning, 1, (FFT_LEN / 2));
}

int fd = -1;

void pwm_write(int freq, int duty){
  struct pwm_info_s info;
  if(fd == -1){
      fd = open(PWMDEV, O_RDONLY);
  }else{
      ioctl(fd, PWMIOC_STOP, 0);
  }
  info.frequency = freq;
  info.duty      = duty;
  ioctl(fd, PWMIOC_SETCHARACTERISTICS, (unsigned long)((uintptr_t)&info));
  ioctl(fd, PWMIOC_START, 0);
}

#define AVG_FILTER (8)

void avgFilter(float dst[FFT_LEN]) {
  static float pAvg[AVG_FILTER][FFT_LEN/2];
  static int g_counter = 0;

  if (g_counter == AVG_FILTER) g_counter = 0;

  for(int i=0; i<FFT_LEN/2; ++i) {
    pAvg[g_counter][i] = dst[i];
    float sum = 0;
    for(int j=0; j < AVG_FILTER; ++j) {
      sum += pAvg[j][i];
    }
    dst[i] = sum / AVG_FILTER;
  }
  ++g_counter;
}

void fft(void *buffer){
  int      ret, i;
  static int pos=0;
  static float pDst[FFT_LEN/2];
  int index;
  float max, peak;
  delay(10);
  FFT.put(buffer, FFT_LEN);
  delay(10);
  while(!FFT.empty(0))
    FFT.get(pDst,0);
  arm_max_f32(pDst, FFT_LEN/2.56, &max, &index);
  peak = index * (SAMPLING_RATE / FFT_LEN);
  printf("res: peak %f, max %f ", peak, max);
}

int j = 10000;
void loop() {
  int i, fd, sample = 1, pos = 0, err;
  static const int32_t buffer_sample = FFT_LEN;
  static const int32_t buffer_size = buffer_sample * sizeof(int16_t);
  static char  buffer[2][buffer_size];
  uint32_t read_size;
  printf("start [%d] ", j);

  /* Read frames to record in buffer */
  for(pos = 0; pos < buffer_size;){
    err = theAudio->readFrames(&(buffer[0][pos]), buffer_size - pos, &read_size);
    if (err != AUDIOLIB_ECODE_OK && err != AUDIOLIB_ECODE_INSUFFICIENT_BUFFER_AREA) {
      printf("Error err = %d\n", err);
      sleep(10);
      theAudio->stopRecorder();
      exit(1);
    }
    pos += read_size;
    sleep(1);
  }
  memcpy(buffer[1], buffer[0], buffer_size);
  fft(buffer[1]);
  sleep(1);
  printf("\n");
  pwm_write(PWMFREQ, j);
  j += 10000;
  if(j == 70000) j = 10000;
}

作品としては完成しませんでしたが、プロジェクト未達の原因を共有することで得られることがあればと思い以下に記載します。

作品応募の際の技術的な条件の調査不足
　当初、拡張ボードのイヤホンジャックがモノラルであるという条件に気づかず開発を続けていた。
　発覚が期限１か月前となっており、直前の無理な方針修正をしてしまった。
方針修正後のスケジュール考慮不足
　以前作成した作品をベースにすることで時間短縮を図ろうとした。
　結果的には新たな要素（アナログマイク）の調査が行き届かず、部品の再手配を数回発生させることで時間を浪費した。
ライブラリ仕様の調査不足
　録音とFFTをシリアルに実行するのであればマルチコアの処理を省略できるのでは？と甘い考えを持ってしまっていた。
　期限を意識するあまりに十分な仕様調査をせずに見切り発車をしたことが原因。

貴重な機会を与えていただき、期待を頂いた中で期限内に達成できず、申し訳ありませんでした。
自身の学び、全国のオタマミンユーザの方に向けて、本作品の開発を継続したいと思います。