はじめに

皆さんこんにちは！今回は、Sony Spresenseを使って誰でも簡単にヒーローになれるシステム「Boom!ヒーロー!!」を作りました。

「ポーズを決めるだけで、その瞬間がアメコミ風の写真になったら楽しいのでは？」——そんなアイデアから生まれたこのプロジェクト。
Spresense Camera Boardで撮影した写真を、Google Gemini AIが自動でアメコミ風に変換し、Web、LINE、MetaMeで楽しめます。

Spresenseの高画質カメラと高速シリアル通信を活かし、撮影から通知まですべて自動化。ポーズを決めるだけで、あなたもヒーローになれます！

デモ動画

まずは実際の動作を動画でご覧ください！

ポーズを決めてから、自動でアメコミ風の写真がLINEに届くまでの一連の流れが確認できます。

本作品のポイント

1. Spresense Camera Boardのフル活用

• 高画質撮影: ヒーロー写真として十分なクオリティを実現
• 連続自動撮影: イベント会場で長時間稼働し、参加者全員を撮影
• コンパクト設計: 小型軽量で設置場所を選ばない

2. 高速シリアル通信

• リアルタイム画像転送: 撮影直後にJPEG画像をPC/Macに転送
• シンプルな接続: USB 1本で動作、特別なハードウェア不要
• 役割分担設計: Spresenseは撮影に専念、重い処理はクラウドに委譲

3. AIとの連携による賢い判定

• ポーズ検出機能: Gemini AIと連携し、「ヒーローポーズ」を自動判定
• 無駄な処理を削減: ポーズが決まった写真のみ変換、効率的なシステム
• 完全自動化: 人の手を介さず、撮影→判定→変換→共有が自動実行

4. エンターテイメント体験の提供

• アメコミ風変換: AIが写真を自動でヒーローアート化
• 即座に共有: LINE、Web、MetaMeの3つのプラットフォームで楽しめる
• イベント活用: デジタルサイネージとしても機能するWebアプリ

5. 技術統合力

• IoT × AI × クラウド: Spresenseを起点に複数の技術を統合
• 処理時間最適化: 撮影からLINE通知まで約20-50秒
• スケーラビリティ: クラウド活用で大量の参加者にも対応可能

システム構成

Spresense自動撮影フロー

1. ポーズ決定: ユーザーがカメラの前でヒーローポーズを決める
2. 自動撮影: Sony Spresense Camera Boardが自動撮影
3. シリアル通信: 115200bpsでJPEG画像をPythonスクリプトに転送
4. AI判定: Google Gemini AI 2.5 Flashで人物・ポーズの有無を判定
5. 条件分岐: ポーズが検出された場合のみ、次のステップへ進む
6. AI変換: アメコミ風に自動変換（太い輪郭線、鮮やかな色彩、効果音追加）
7. アップロード: Supabase Storageに保存
8. 通知・共有: LINEプッシュ通知、Webギャラリー更新、MetaMeに反映

ポイント: カメラが連続撮影していても、ポーズが決まった瞬間だけが変換されるので無駄がありません。

Spresenseカメラの実装

Sony Spresense Camera Boardを使った自動撮影がこのシステムの心臓部です。

Spresenseを選んだ理由

• マルチコアプロセッサ: 6コアのARM Cortex-M4F搭載
• 高画質カメラインターフェース: Camera Boardとの組み合わせで高品質撮影
• 低消費電力: 長時間のイベント利用に最適
• コンパクト: 設置場所を選ばない小型サイズ

シリアル通信による画像転送

撮影した画像は**シリアル通信（115200bps）**でPythonスクリプトに転送されます。

メリット:

• Spresenseはカメラに専念、重い画像処理はクラウド側に任せる役割分担
• USB接続だけで動作するシンプルな実装
• 高速転送でストレスフリー

Pythonスクリプト（integrated_photo_system.py）が、Spresenseから受信した画像をGemini AIに送信し、「人の顔」と「ポーズ」の有無を判定。両方がYESの場合のみ、アメコミ風変換処理に進みます。

Gemini AIによる画像処理

Google Gemini AI 2.5 Flashが2つの役割を担います：

1. ポーズ判定

Spresenseから送られた画像を分析し、人の顔とポーズの有無をJSON形式で返します。意味のある写真だけを選別します。

2. アメコミ風変換

ポーズが検出された画像を、以下の特徴を持つアメコミ風スタイルに変換：

• 太い輪郭線: キャラクターを際立たせる
• 鮮やかな色彩: ビビッドで目を引く色使い
• 効果音追加: 「BOOM!」「POW!」などのコミック風エフェクト

AIがコミックアートの特徴を理解して変換するため、単なるフィルター加工とは違う高品質な仕上がりです。

共有機能

変換された画像は、複数のプラットフォームで楽しめます。

• LINE通知: 変換完了と同時にプッシュ通知、友達への共有も簡単
• Webアプリ: リアルタイムスライドショー、ギャラリー表示、LIFF連携
• MetaMeギャラリー: バーチャル世界で写真を展示

イベント会場で大画面に映せば、デジタルサイネージとしても活用できます。

技術スタック

ユースケース

• イベント会場: 参加者の写真をリアルタイム表示
• パーティー: 撮影した写真を全員にLINEで共有
• エンターテイメント施設: 誰でも楽しめるフォトブース体験

まとめ

「誰でもヒーローになれる」——それがこのプロジェクトのコンセプトです。

Sony Spresenseの力を最大限に引き出し、AI、クラウド、メッセージングアプリと組み合わせることで、「ポーズを決めるだけでヒーローになれる」という体験を実現しました。

Spresenseの高画質カメラ、高速通信、低消費電力という特徴が、このシステムを支えています。イベント会場で長時間稼働させても問題なく、参加者全員にヒーロー体験を届けられるのは、Spresenseのおかげです。

リンク

GitHub: https://github.com/4geru/spresense-playground
Webアプリ: https://4geru.github.io/spresense-playground/lp