S1TA が 2025年01月24日17時49分04秒に編集

コメント無し

本文の変更

# 0.はじめにはじめまして、Unity/XRエンジニアの高原と申します。業務でUnityを使ってXR系のアプリ開発をしています。(最近はAppleVisionProで色々やってます。) 普段ハードウェア系の開発には携わっていないのですが、今回弊社でSPRESENSE™ 活用コンテストに参加するというお話を伺ったため、 Unity/XRエンジニアとしてコンテンツ開発に協力することになりました。本記事ではコンテストに応募するために制作した「空間監視カメラ」について解説をしていこうと思います。 # 1.空間監視カメラとは？ **Todo:完成動画添付** 空間監視カメラはSPRESENSE（Spresense HDRカメラボード）を活用し、通常は2Dでしか見られない監視カメラの映像を3D空間内の情報として確認することができる監視カメラVRビューワーアプリです。(Quest3スタンドアロンVRアプリ) 通常の監視カメラではカメラのある地点からの映像しか確認することができませんが、空間監視カメラは物理的なカメラの設置場所に関係なく、3D空間内の自由な視点から監視が可能となります。仕組みとしては、まず監視対象となる空間をあらかじめ3Dスキャンして3Dモデルを作成します。そしてSpresense HDRカメラボードのリアルタイムの監視映像から動体を検出し、3D空間上に反映します。この時、動体の深度情報も計測することで3D空間内の適切な位置に配置することが可能となります。VRアプリとしているため、ユーザーは任意の視点から空間を自由に確認することが可能です。また、今回ビューワーにカメラ映像を表示するだけでなく、画像を生成AIモデルであるClaude Sonnet 3.5に入力し、現在カメラに写っている映像について文章で説明する機能も実装しました。 # 2.全体処理構成

![](https://camo.elchika.com/c1a0c0da8e160d6be6f9ae0ef97bd48be8da287c/687474703a2f2f73746f726167652e676f6f676c65617069732e636f6d2f656c6368696b612f76312f757365722f65323637633361362d383136612d343436342d613331312d3637653835616665373530362f32386133386534372d366434662d343335362d616464662d386431323733393238353230/)

![キャプションを入力できます](https://camo.elchika.com/cea243a4b83871a976ec6047d70b9e6b368cb35c/687474703a2f2f73746f726167652e676f6f676c65617069732e636f6d2f656c6368696b612f76312f757365722f65323637633361362d383136612d343436342d613331312d3637653835616665373530362f36613438353366302d663432622d343631622d613933322d393736313230323465373939/)

# 3.カメラハードウェア側構成

**Todo:松丸さんに記載してもらう**

**Todo:カメラの外観画像添付**

## 部品 ## ハードウェア設計図 ## 組み立て手順

現実空間に配置したカメラに使用した部品は下記になります。

| 部品名 | 個数 | 役割 | | - | - | - | | SPRESENSEメインボード[CXD5602PWBMAIN1] | 1 | 制御用メインボード | | SPRESENSEカメラボード [CXD5602PWBCAM1] | 1 | カメラモジュール | | ToFセンサーボード（SPRESENSE用）（MM-S50MV） | 1 | 深度情報取得 | | SPRESENSE Wi-Fi Add-onボード iS110B | 1 | 画像、深度情報送信用 | | 筐体 | 1 | 3Dプリンタで作成 | | Raspberry Pi 4 | 1 | WEBサーバー用 |

# 4.Unityソフトウェア側構成 ## シーン構成 ## クラス図 ## スクリプト詳細 # 5.おわりに