初版

Boom!ヒーロー!! - ポーズを決めろ！その瞬間、キミは主役のヒーローだ -

製作品

# Boom!ヒーロー!! - ポーズを決めろ！その瞬間、キミは主役のヒーローだ # はじめに 皆さんこんにちは！今回は、Sony Spresenseを使って誰でも簡単にヒーローになれるシステム「Boom!ヒーロー!!」を作りました。 「ポーズを決めるだけで、その瞬間がアメコミ風の写真になったら楽しいのでは？」——そんなアイデアから生まれたこのプロジェクト。 Spresense Camera Boardで撮影した写真を、Google Gemini AIが自動でアメコミ風に変換し、Web、LINE、MetaMeで楽しめます。 Spresenseの高画質カメラと高速シリアル通信を活かし、撮影から通知まですべて自動化。ポーズを決めるだけで、あなたもヒーローになれます！ # デモ動画 まずは実際の動作を動画でご覧ください！ @[youtube](https://www.youtube.com/watch?v=hNwM6x5h1pM) ポーズを決めてから、自動でアメコミ風の写真がLINEに届くまでの一連の流れが確認できます。 # 本作品の評価ポイント ## 1. Spresense Camera Boardのフル活用 - **高画質撮影**: ヒーロー写真として十分なクオリティを実現 - **連続自動撮影**: イベント会場で長時間稼働し、参加者全員を撮影 - **コンパクト設計**: 小型軽量で設置場所を選ばない ## 2. 高速シリアル通信 - **リアルタイム画像転送**: 撮影直後にJPEG画像をPC/Macに転送 - **シンプルな接続**: USB 1本で動作、特別なハードウェア不要 - **役割分担設計**: Spresenseは撮影に専念、重い処理はクラウドに委譲 ## 3. AIとの連携による賢い判定 - **ポーズ検出機能**: Gemini AIと連携し、「ヒーローポーズ」を自動判定 - **無駄な処理を削減**: ポーズが決まった写真のみ変換、効率的なシステム - **完全自動化**: 人の手を介さず、撮影→判定→変換→共有が自動実行 ## 4. エンターテイメント体験の提供 - **アメコミ風変換**: AIが写真を自動でヒーローアート化 - **即座に共有**: LINE、Web、MetaMeの3つのプラットフォームで楽しめる - **イベント活用**: デジタルサイネージとしても機能するWebアプリ ## 5. 技術統合力 - **IoT × AI × クラウド**: Spresenseを起点に複数の技術を統合 - **処理時間最適化**: 撮影からLINE通知まで約20-50秒 - **スケーラビリティ**: クラウド活用で大量の参加者にも対応可能 # システム構成 ## Spresense自動撮影フロー 1. **ポーズ決定**: ユーザーがカメラの前でヒーローポーズを決める 2. **自動撮影**: Sony Spresense Camera Boardが自動撮影 3. **シリアル通信**: 115200bpsでJPEG画像をPythonスクリプトに転送 4. **AI判定**: Google Gemini AI 2.5 Flashで人物・ポーズの有無を判定 5. **条件分岐**: ポーズが検出された場合のみ、次のステップへ進む 6. **AI変換**: アメコミ風に自動変換（太い輪郭線、鮮やかな色彩、効果音追加） 7. **アップロード**: Supabase Storageに保存 8. **通知・共有**: LINEプッシュ通知、Webギャラリー更新、MetaMeに反映  **ポイント**: カメラが連続撮影していても、ポーズが決まった瞬間だけが変換されるので無駄がありません。 # Spresenseカメラの実装 Sony Spresense Camera Boardを使った自動撮影がこのシステムの心臓部です。 ## Spresenseを選んだ理由 - **マルチコアプロセッサ**: 6コアのARM Cortex-M4F搭載 - **高画質カメラインターフェース**: Camera Boardとの組み合わせで高品質撮影 - **低消費電力**: 長時間のイベント利用に最適 - **コンパクト**: 設置場所を選ばない小型サイズ ## シリアル通信による画像転送 撮影した画像は**シリアル通信（115200bps）**でPythonスクリプトに転送されます。 **メリット**: - Spresenseはカメラに専念、重い画像処理はクラウド側に任せる役割分担 - USB接続だけで動作するシンプルな実装 - 高速転送でストレスフリー Pythonスクリプト（`integrated_photo_system.py`）が、Spresenseから受信した画像をGemini AIに送信し、「人の顔」と「ポーズ」の有無を判定。両方がYESの場合のみ、アメコミ風変換処理に進みます。 # Gemini AIによる画像処理 Google Gemini AI 2.5 Flashが2つの役割を担います： ## 1. ポーズ判定 Spresenseから送られた画像を分析し、人の顔とポーズの有無をJSON形式で返します。意味のある写真だけを選別します。 ## 2. アメコミ風変換 ポーズが検出された画像を、以下の特徴を持つアメコミ風スタイルに変換： - **太い輪郭線**: キャラクターを際立たせる - **鮮やかな色彩**: ビビッドで目を引く色使い - **効果音追加**: 「BOOM!」「POW!」などのコミック風エフェクト  AIがコミックアートの特徴を理解して変換するため、単なるフィルター加工とは違う高品質な仕上がりです。 # 共有機能 変換された画像は、複数のプラットフォームで楽しめます。 - **LINE通知**: 変換完了と同時にプッシュ通知、友達への共有も簡単 - **Webアプリ**: リアルタイムスライドショー、ギャラリー表示、LIFF連携 - **MetaMeギャラリー**: バーチャル世界で写真を展示 イベント会場で大画面に映せば、デジタルサイネージとしても活用できます。 # 技術スタック | カテゴリ | 技術 | |---------|------| | **ハードウェア** | Sony Spresense Main Board<br>Sony Spresense Camera Board | | **IoT統合** | Python（シリアル通信） | | **AI/画像処理** | Google Gemini AI 2.5 Flash<br>MetaMeクラウドレンダリング | | **クラウド** | Supabase (Storage + Edge Functions) | | **メッセージング** | LINE Messaging API + LIFF | | **フロントエンド** | Next.js + TypeScript + Tailwind CSS | | **ホスティング** | GitHub Pages | | **XR体験** | MetaMeバーチャル世界 | # ユースケース - **🎉 イベント会場**: 参加者の写真をリアルタイム表示 - **🎊 パーティー**: 撮影した写真を全員にLINEで共有 - **🎮 エンターテイメント施設**: 誰でも楽しめるフォトブース体験 # まとめ 「誰でもヒーローになれる」——それがこのプロジェクトのコンセプトです。 **Sony Spresenseの力**を最大限に引き出し、AI、クラウド、メッセージングアプリと組み合わせることで、「ポーズを決めるだけでヒーローになれる」という体験を実現しました。 Spresenseの高画質カメラ、高速通信、低消費電力という特徴が、このシステムを支えています。イベント会場で長時間稼働させても問題なく、参加者全員にヒーロー体験を届けられるのは、Spresenseのおかげです。 ## リンク **GitHub**: https://github.com/4geru/spresense-playground **Webアプリ**: https://4geru.github.io/spresense-playground/lp