toppan_yamanaka が 2025年01月30日11時49分49秒に編集

コメント無し

メイン画像の変更

メイン画像が変更されました

本文の変更

## 概要本記事では、Spresenseと感圧センサを組み合わせ、感圧によってPCを操作するデバイスの製作方法をご紹介します。Spresenseで取得した感圧センサの値をシリアル通信でPCに送信し、PC側ではPythonのライブラリpyautoguiを用いて、マウス操作やキーボード入力などを制御します。GUIで作成した設定アプリにより、どの感圧レベルでどの操作を行うかを自由に設定できます。マウス操作、キーボード入力だけでなく、複数のキーの組み合わせやマウスクリックの種類（左クリック、右クリックなど）も設定可能です。これにより、従来のキーボードやマウスとは異なる、カスタマイズされた新しいインターフェースを実現できます。 ## 背景・動機

従来のPC操作インターフェースであるキーボードやマウスは、長時間の使用で手や腕に負担がかかる場合があります。また、特定の作業においては、より直感的でシンプルな操作が求められることがあります。感圧センサを用いることで、より自然で負担の少ない、新しいPC操作方法をご提案します。プレゼンテーションのスライド送り、音楽プレイヤーの操作、ゲームのコントローラーなど、様々な用途に応用可能です。操作内容をGUIで自由に設定できることで、ユーザーそれぞれのニーズに合わせた高度なカスタマイズが可能になります。

●従来のPC操作インターフェースであるキーボードやマウス　〇一般的　×長時間の使用で手や腕に負担　×特定の作業においては、より直感的でシンプルな操作が求められる

●左手デバイスの活用　◎ショートカットのカスタマイズ　〇入力種類の多さ　×キーボードから手を離さなくてはならず、腕の動きの負担が追加　×スペースをとる ★感圧センサデバイス　◎ショートカットのカスタマイズ　〇入力種類の多さ　**◎どこでも貼り付けてデバイス化** 　**◎省スペース** 感圧センサを用いることで省スペースで様々なショートカットを設定でき、少ない負担でPC操作が劇的に書いて気になります。プレゼンテーションのスライド送り、音楽プレイヤーの操作、ゲームのコントローラーなど、様々な用途に応用可能です。操作内容をGUIで自由に設定できることで、ユーザーそれぞれのニーズに合わせた高度なカスタマイズが可能になります。

## 部品表 | 部品名 | 個数 | 役割 | | - | - | - | | SPRESENSEメインボード[CXD5602PWBMAIN1] | 1 | 感圧読み取り用 | | 直線型接触位置+感圧センサ（FSLP）| 2 | 感圧センサ | ## 構成図 ## ソースコード ### Spresense側 ### PC側 (Python) ## 設定アプリ(GUI)について設定アプリでは、以下の機能を実装します。 * 感圧レベルと操作の対応を視覚的に設定。 * マウス操作（左クリック、右クリック、中クリック、移動など）の設定。 * キーボード入力（単一キー、複数キーの組み合わせ）の設定。 * 設定内容の保存と読み込み。 GUIライブラリ（plotly dash）を用いて、これらの機能を実装します。具体的なGUIの設計は、今後の展望で示します。 ## 技術要素 * **Spresense メインボード:** 感圧センサからの値を取得し、シリアル通信でPCに送信します。 * **感圧センサ:** 圧力に応じて抵抗値が変化するセンサです。今回は、スイッチサイエンスで販売されている「フィルム型力覚センサ」を例に説明します。 * **PC:** Spresenseから送信されたデータを受信し、設定に基づいてpyautoguiを用いてPCを制御します。 * **シリアル通信:** SpresenseとPC間のデータ通信に使用します。USB接続を使用します。 * **Python (pyautoguiライブラリ):** PC側で動作するプログラムを記述するために使用します。pyautoguiは、マウス操作、キーボード入力、画面操作などを自動化するためのライブラリです。 * **設定アプリ (GUI):** 感圧レベルとPC操作の対応を視覚的に設定するためのアプリケーション。PythonのTkinterやPyQtなどのGUIライブラリを使用して作成します。 * **設定ファイル (JSONなど):** 設定アプリで設定した内容を保存するためのファイル。 ## 工夫点・苦労点 * 感圧センサの値を安定して読み取るための工夫（ノイズ除去など）。 * pyautoguiを用いたスムーズなPC操作の実現。 * 様々なアプリケーションに対応するための操作マッピングの設計。 * ユーザーが簡単に設定を変更できるような直感的なGUIの設計。 ## 今後の展望 * 複数の感圧センサを用いた、より複雑な操作の実現。 * ジェスチャー認識など、他のセンサとの組み合わせ。 * 特定のアプリケーションに特化したコントローラーの開発。 * 設定アプリのGUIの具体的なデザインと実装。例えば、スライダーで感圧レベルを調整したり、ドロップダウンリストで操作を選択したりするインターフェースを検討。 ## 写真・動画