身の回りの危険を知らせる回転灯

生活をする上で身の回りには様々な危険があります。例えば、交通事故や害獣による人的被害、熱中症などがあります。そこで、SPRESENSEに様々なセンサを搭載して身の回りの危険を検知し、回転灯の点灯やLoRa通信を用いて危険を知らせるデバイスを製作しました。

製作した回転灯、受信端末の構成は以下のとおりになります。

SPRESENSEに搭載したセンサ、通信モジュールを以下の構成図に示します。回転灯はNPNトランジスタによるスイッチング回路を介してSPRESENSEに接続しています。

「SPRESENSEメインボード」、「SPRESENSE HDRカメラボード」、「LoRa Add-onボード」はモニター提供して頂きました。

名称	型番	概要
回転灯		Amazonで購入
SPRESENSEメインボード	CXD5602PWBMAIN1	メインマイコン
SPRESENSE拡張ボード	CXD5602PWBEXT1	SDカードスロット、GPIOピンを利用
SPRESENSE HDRカメラボード	CXD5602PWBCAM2W	害獣の検出に利用
LoRa Add-onボード	DTH-SSLR	回転灯のデータ送受信に利用
加速度センサ	MPU6050	衝撃検知に利用
大気圧温度センサ	BMP180	大気圧、気温取得に利用
CO2センサ	SCD4x	大気中CO2濃度測定に使用
SDカード 4GB		学習済データの保存に利用

SPRESENSEやセンサ、通信モジュールを利用して以下の機能を実装しました。

購入した回転灯は、主にDCモータ1個とLED1個で構成されていました。SPRESENSE単体では回転灯を動作させるために必要な電流を出力する事ができないため、以下のスイッチング回路を介して回転灯と接続することで制御しています。

以下のプログラムにより、3秒おきに点灯と消灯を繰り返すことを確認できました。

回転灯チカ
void setup() {
  pinMode(2, OUTPUT);
}
void loop() {
  digitalWrite(2, HIGH); 
  delay(3000); 
  digitalWrite(2, LOW);
  delay(3000); 
}

ここにツイートが表示されます

デバイスに搭載したセンサを利用して身の回りの危険を検知する機能の実装を行いました。

加速度センサを利用して衝撃を検知し、閾値を超えた場合回転灯が点灯するプログラムです。プログラムには、「MPU6050」ライブラリを使用しました。回転灯を車に搭載することで、事故の検出や盗難の検出に利用できると思います。

衝撃の検出
#include <Wire.h>
#include <MPU6050.h>

MPU6050 mpu;

void setup() {
  Serial.begin(115200);

  Wire.begin();
  mpu.initialize();

  pinMode(2, OUTPUT);
  digitalWrite(2, LOW);

  if (!mpu.testConnection()) {
    Serial.println("MPU6050 connection failed");
    while (1)
      ;
  } else {
    Serial.println("MPU6050 connection successful");
  }
}

void loop() {
  if (detectImpact(1.1)) {  // 閾値を1.2gとして衝撃を感知
    Serial.println("Impact detected!");
    digitalWrite(2, HIGH);
    delay(3000);
    digitalWrite(2, LOW);
  }

  delay(100);
}

bool detectImpact(double threshold) {
  int16_t ax, ay, az;
  mpu.getAcceleration(&ax, &ay, &az);

  double ax_g = ax / 16384.0;  // 加速度センサの値をg単位に変換
  double ay_g = ay / 16384.0;
  double az_g = az / 16384.0;

  double magnitude = sqrt(ax_g * ax_g + ay_g * ay_g + az_g * az_g);  // 加速度の大きさを計算

  return magnitude > threshold;  // 閾値を超えたらtrueを返す
}

大気圧温度センサとCO2センサを利用し、CO2濃度上昇による人体への悪影響や高温多湿による熱中症の危険を警告するプログラムです。「Adafruit_BMP085」、「SparkFun_SCD4x_Arduino_Library」ライブラリを使用しました。

環境センサを利用した警告
#include <Wire.h>

#include <Adafruit_BMP085.h>
Adafruit_BMP085 bmp;

#include "SparkFun_SCD4x_Arduino_Library.h"
SCD4x scd4x;

void lchika() {
  digitalWrite(2, HIGH);
  delay(3000);
  digitalWrite(2, LOW);
}

void setup() {
  Serial.begin(115200);
  Wire.begin();

  pinMode(2, OUTPUT);
  digitalWrite(2, LOW);

  if (!bmp.begin()) {
    Serial.println("Could not find a valid BMP085 sensor, check wiring!");
    while (1) {}
  }

  if (scd4x.begin() == false) {
    Serial.println(F("Sensor not detected. Please check wiring. Freezing..."));
    while (1)
      ;
  }
}

void loop() {
  if (scd4x.readMeasurement())
  {

    // CO2濃度2000ppm以上で点灯

    if (scd4x.getCO2() > 2000) {
      lchika();
    }

    // WBGT値早見表より、熱中症厳重警戒以上で点灯

    float tmp = bmp.readTemperature();

    if (tmp > 37) {
      lchika();
    } else if (20 + (38 - tmp) * 5 < scd4x.getHumidity()) {
      lchika();
    }
  }

  delay(500);
}

最近、熊や猪などによる人的被害のニュースをよく目にします。そこで、SPRESENSEとHDRカメラボードを利用して熊や猪などの害獣を検出し警告するプログラムを作成しました。実装にあたり以下のサイトを参考にしました。

SPRESENSE で小型AIカメラを作ってみた！ - 息子と一緒に Makers

Spresenseを活用したAI駐車場監視システム - Fooping

ニューロンモデルの作成には、ソニー独自のAIツールである「Neural Network Console」を利用しました。GUIの操作で完結するので機械学習初学者でもモデルの作成を行えました。

参考サイトのプログラムを参考に、熊や猪を検出し警告するプログラムを作成しました。熊と猪の検出はできたものの、熊を猪と判定したり猪を熊と判定するなど誤検知する問題が確認できました。今後、判定精度を向上のため、学習データ数を増やしたりパラメータの調整を行いたいです。

害獣検出するプログラムの実装の際に以下の2点に躓きました。

「Neural Network Console」を利用して、モデルを評価する際に混同行列が表示されない
- NNC Windows版で混同行列が表示されない件についてを参考に、ネットワークの出力クラス数が正しく設定することで解決しました。
clipAndResizeImageByHW()を実行の際に、「Invalid parameter is detected.」が発生してしまう
- convertPixFormat()によりピクセルフォーマット変換をした画像データのりサイズはエラーを吐く？ので、convertPixFormat()をリサイズを行ったデータに対して実行することで解決しました。

回転灯で取得した各種センサのデータを、別端末に送信するためLoRa Add-on ボードを利用しました。製品ページで公開されているプログラムを参考に、環境センサ（大気圧温度センサ、CO2センサ）で取得したデータを受信端末に送信しました。送信の際には、「Arduino_JSON」ライブラリを利用しJSONフォーマットのデータ送信する仕様にしました。

LoRA_Add-onボードを用いたデータの送信（抜粋）
JSONVar myObject;

myObject["CO2"] = (int)scd4x.getCO2();
myObject["Temperature"] = scd4x.getTemperature();
myObject["Humidity"] = scd4x.getHumidity();

myObject["Temperature_"] = bmp.readTemperature();
myObject["Pressure_"] = bmp.readPressure();

String jsonString = JSON.stringify(myObject);

if (lora.SendFrame(config, (uint8_t *)jsonString.c_str(), strlen(jsonString.c_str())) == 0) {
  SerialMon.printf("send succeeded.\n");
  SerialMon.printf("\n");
} else {
  SerialMon.printf("send failed.\n");
  SerialMon.printf("\n");
}

受信端末で受信したデータを、シリアル通信でPCに転送することでグラフとして描画しました。プログラムはPython言語を用いて作成しました。

グラフ描画プログラム
import serial
import json
import matplotlib.pyplot as plt

# シリアルポートの設定
serial_port = 'COM7' 
baud_rate = 115200 

# シリアルポートを開く
ser = serial.Serial(serial_port, baud_rate)

# データを格納するためのリスト
temperature_data = []
humidity_data = []

# 初期グラフ設定
fig, ax1 = plt.subplots()

# 温度用の軸設定（左側）
ax1.set_xlabel('Time')
ax1.set_ylabel('Temperature', color='tab:red')
ax1.tick_params(axis='y', labelcolor='tab:red')

# 湿度用の軸設定（右側）
ax2 = ax1.twinx()
ax2.set_ylabel('CO2', color='tab:blue')
ax2.tick_params(axis='y', labelcolor='tab:blue')

try:
    while True:
        # シリアルポートから行を読み取る
        line = ser.readline()

        if line:  # 行が空でないことを確認
            data = json.loads(line)

            # 温度と湿度をリストに追加
            temperature_data.append(data['Temperature'])
            humidity_data.append(data['CO2'])

            # データの可視化
            ax1.plot(temperature_data, label='Temperature', color='tab:red')
            ax2.plot(humidity_data, label='CO2', color='tab:blue')

            # 軸の範囲を固定
            ax1.set_ylim(0, 40)  # 温度の範囲
            ax2.set_ylim(0, 2000)  # 湿度の範囲

            # 凡例の設定
            lines, labels = ax1.get_legend_handles_labels()
            lines2, labels2 = ax2.get_legend_handles_labels()
            ax2.legend(lines + lines2, labels + labels2, loc='upper left')

            plt.pause(0.1)  # グラフを更新

            ax1.lines = []
            ax2.lines = []

except KeyboardInterrupt:
    print("Program terminated")

finally:
    ser.close()

環境センサ（大気圧温度センサ、CO2センサ）で取得したデータの他にも、HDRカメラボードを使用して検出した害獣の情報を送信するなど様々な用途に使用できることが確認できました。

SPRESENSEに様々なセンサを搭載して身の回りの危険を検知し、回転灯の点灯やLoRa通信を用いて危険を知らせるデバイスを製作しました。。SPRESENSEではArduino言語を使用してプログラムを作成できるので、豊富な既存ライブラリを利用して開発することが出来ます。加えて、従来のArduino言語でプログラミングできるマイコンでは難しい、機械学習を用いた機能の実装を簡単に行えるので強力なデバイスだと思いました。他にもマルチコアなど様々な特徴があるので今後使用したいです。

期末課題やテストが迫って来ているので実装は一旦お休みしますが、今後は以下のイメージのように見た目を整えて行きたいと考えています。電子工作系のコンテストへの参加は久々でしたが、楽しんで取り組むことができました。また、記事投稿を行うのはこの投稿が初めてなので、これを機にアウトプットの習慣をつけていきたいと思います。