公開日：2022/07/09

21st Season

#21-7　空中マウスの別解

　前回、Arduino標準MouseライブラリとTFTシールドのタッチパネルを使って、ペンタブレットを作成しました。今回はその流れで空中マウスを作って見ようと思います。

　実は、過去に一度、空中マウスを作ったことがありました(下記事)。

　　「#10-2　空中マウスを作ってみよう」

　上の記事では、STM32と加速度センサを使いました(下図)。センサチップはMPU9250です。



　センサチップMPU9250は、3軸加速度センサ、3軸ジャイロセンサと、AK8963(3軸磁気センサ)を搭載しています。「#10-2　空中マウスを作ってみよう」の記事で試作した時は、この内、加速度センサを使いました。
　加速度センサで重力加速度の方向を検知して、そこから機体を傾けることで、傾けた方向へマウスポインタを動かす、と言うアルゴリズムになっていました。



　これはこれでアリかな？と思うのですが、マウスカーソルの移動を停止したい場合には、機体を水平位置で静止させる必要があって、これが少〜し使い難いかな？って思っていました。

別解はジャイロとDUE

　さて、今回作る別解は、恐らく市販の空中マウスなどでも採用されているであろう、ジャイロセンサを使います。また、ArduinoとしてはHIDマウスのデバッグがし易いArduino DUE(下図)を使います。

マウスボタン

　今回も2個のマウスボタンに対応します。
　2端子タクトスイッチを使ったボタンの実装方法は前回こちらで解説済みです(下図、参考)。



　今回はマウスボタン以外に、マウスとしての機能をON／OFFするためのマスタスイッチを1個追加します。
　空中マウスをプレゼンテーション等に使う時、マウス操作をする時以外はマウスモードOFFにしておくと、カーソルがふらふら動かないとか、U/Iとしての利点があるためです。PCにUSB接続した時の空中マウスの状況によって、起動後いきなりカーソルが動いてしまうのは嬉しくないため、起動直後のモードはマウスモードOFFとしてあります。
　マスタスイッチはトグルスイッチにしてあるので、1回押すとマウスモードON、もう一回押すとOFF、の様にトグルします。マウスモードがONになると、LED_BUILTINが光るようになっているので、この状態で目視確認できます。

マウスレポートレート

　Mouseライブラリについての解説はこちらです。
　今回使うのは、Arduino標準Mouseライブラリですので、Arduino IDEをインストールした時一緒にインストールされています。

　Mouseライブラリを使う時、いつも、ざっくり適当に決めていたのですが、本来であればレポートレートを確定しておかないとなりません。
　マウスのレポートレートと言うのは、マウスがPCに対して、マウスの移動量をレポート(報告)する間隔のことを指します。

• レポートレートが速いと：
• 繊細なマウスの動きも、随時PCにレポートされるので、スムースなマウス操作が可能。
• 一々PC側がマウスからのレポートを受け付けるため、PCに余計な負荷がかかる。
• ゲームやe-sports等に使われるようなゲーミングマウスでは、高速なレポートレートを設定できるものが多い。
• 人間のマウス操作に追従して、リアルタイムに動作をPCに伝えることができる。
• レポートレートが遅いと：
• マウスカーソルがカクカク動いたり、速く動かそうとしているのに、レポートの上限値でクリップされて、一定以上速く動かせない。
• USB通信とPC側の負荷は低下する。
• レポート間隔がレポートレートで律速するため、人間のマウス操作がPCに伝わるまで、若干のタイムラグがある。
• ただし、ゲームなど、咄嗟の操作に反応しなければならない用途でない限り、問題になることは、まず無い。
• 普通にWindowsを操作するだけなら、そんなにシビアな高レートは必要ないはず。

　現在使っているゲーミングマウスのレポートレートを確かめたところ、1,000Hzに設定されていました。

　　1,000Hz → 1ms間隔かぁ〜。

　DUE(Cortex-M3 @84MHz)の実力をもってすれば、出来なくもないかな……。でも、空中マウスでゲームプレイする人は、いないだろうし、「普通のマウス」で良いのだけど？と、調べてみたところ、「普通のマウス」は、レポートレート100Hz程度らしいです。

　　100Hz → 10ms間隔

　うん。まあ、こんな所でしょう。今回は、マウスレポートレートを100Hzでプログラムすることにしました(下の定数で設定)。

　　const　int　air_msec_ITVL=10;　　// air: mouse move interval [ms]

空中マウスプログラム

　完成したプログラムを以下にリンクしておきます。

　　完成プログラム：air_mouse_gyr.ino


　基本的に、空中マウスとして自立するようになっています。プログラム先頭付近の「#define　USE_SERIAL」を有効にしてコンパイルすると、シリアルモニタから以下のコマンドを実行することができます。

　　シリアルモニタコマンド仕様：

• wr1,<reg_addr_hex>,<data_hex>
• I2Cを使い、MPU9250のレジスタアドレス<reg_addr_hex>へデータ<data_hex>を書き込みます。
• <reg_addr_hex>、<data_hex>は16進数で指定して、<data_hex>は8ビットデータです。
• rd1,<reg_addr_hex>
• I2Cを使い、MPU9250のレジスタアドレス<reg_addr_hex>からデータを読み出して表示します。
• gyr,<count>[,<interval_ms>]
• MPU9250のジャイロセンサ測定値を読み出して、表示します。
• 表示回数は<count>回で、<interval_ms>間隔で読み出します。
• <interval_ms>を省略した場合、<interval_ms>＝250ms(1秒間に4回)と見なします。
• who
• help

　すべて、デバッグ用のコマンドです。デバッグする時以外は、「#define　USE_SERIAL」を無効にしてコンパイルしてください。

回路図

　回路図を起こしてみました。以下図となります。



　回路図って程の物でもないですが……（１＾＿＾；）。

ジャイロセンサ

　「#10-2　空中マウスを作ってみよう」の時、ジャイロセンサは使わなかったのですが、MPU9250を使うついでにレジスタの読み出しだけは実施していました。

　今回、本格的にジャイロセンサを使って見る、と言う事でデータシートを読み直してみました。

　　MPU9250のデータシートを検索(別ウインドウが開きます)

　ただね……、見つかったデータシートを読む限り、ちょっと言葉足らずと言うか説明不足が否めなくて、完全には理解できませんでした。と、言う前提で、筆者の読解できた範囲で解説を続けるので、ご了解ください。


　MPU9250のジャイロセンサは、デフォルト(電源投入状態)で常に測定されていて、レジスタ値が適時書き換わっています。レジスタは以下の通りです。

• まず、好感の持てるビッグエンディアンはGoodです（１＾−＾）ｄ。
• GYRO_OUTレジスタは、16ビットAD変換値[LSB]だという説明がありますが、実際に回転させながら読み出してみると、どうやら16ビット符号付整数値が読み出せます。
• 回転方向は、x軸 → y軸 → z軸 → x軸 → y軸と回転する方向が正です。
• もしくは、中心となる軸の正方向に右ねじをねじ込む方向が正です。
• 例）y軸周りの回転(GYRO_YOUT)の場合、z軸 → x軸方向に近道で回転する側が正、逆回転が負です。
• G_OFFSETレジスタは、GYRO_OUTレジスタのオフセットをキャンセルするためのレジスタみたいです。
• MPU9250を机上に置いて、静止させた状態でGYRO_OUTレジスタを読み出すと、本来は3軸ともすべて0が読み出せるはずです。∵静止していて、回転していない。
• ところが、何か決まったオフセット(固定値)が読み出せることに気が付きます。
• どうやらジャイロセンサには、「オフセットが付いている物」みたいです。
• オフセット値は個体差があるので、チップによって異なるオフセットが読み出せるはずです。
• これを予め測定し、校正して使う時に使うレジスタだと思われます。

　さて、レジスタの仕様としては、解り易いのです。ここまでは理解できましたが、問題はここから先です。

• GYRO_OUTレジスタの説明：
• GYRO_OUT＝Gyro_Sensitivity×angular_rate
• Nominal Conditions
• FS_SEL＝0
• Gyro_Sensitivity＝131LSB/(°/s)
• G_OFFSETレジスタの説明：
• OffsetLSB＝G_OFFSET×4÷2^FS_SEL
• OffsetDPS＝G_OFFSET×4÷2^FS_SEL÷Gyro_Sensitivity
• Nominal Conditions
• FS_SEL＝0
• Gyro_Sensitivity＝2¹⁶LSB÷500dps
• ※dps＝degrees per second、[°/s]
• FS_SELフィールド：　フルスケール選択フィールド
• 0＝250dps
• 1＝500dps
• 2＝1,000dps
• 3＝2,000dps

　これ(↑)、同じこと言ってます？考えれば考えるほど、良く解らなくなる。
　G_OFFSETレジスタの方は、「FS_SELによって割り算する値が変わりますよ」と言っているのに、GYRO_OUTレジスタの方は、「FS_SELに関係なく131で割ると[°/s]に換算できる」って言っている様に読める。
　131の根拠も、2¹⁶LSB÷500dpsなんだけど、FS_SELでフルスケール(dps)値を変更できるのに、常に500dpsで割り算して良いの？ってなる。
　極めつけは、「Nominal Conditions」 → 「公称条件」。普通に読み解くと、「公称条件を満たした時、示された数式が有効」なのでは？と、すると、FS_SEL＝0(250dps)の設定時に有効な式なの？他の設定では使えないの？

　ダメ。理解できない……。


　ギブアップする前に、もう一度、頭を整理してみました。

• ジャイロセンサはFS_SELフィールドに0〜3を設定する事で、測定レンジ(フルスケール、Full Scale)を250〜2,000[dps]に設定できる。
• 測定レンジは、フルスケールを指定するのだから、16ビット符号付整数値の絶対値最大値(2¹⁵)がフルスケールになる、と考えるのが自然。
• この場合の換算値：
• Gyro_Sensitivity＝2¹⁵LSB÷FS
• FSはFS_SELで指定したフルスケール、電源投入後のデフォルトはFS_SEL＝0(250dps)なので、FS＝250。
• ∴Gyro_Sensitivity＝2¹⁵LSB÷250dpsで、あるべき。
• うん、なるほどね、解ったよ……（１＾−＾；）。分母子×2倍すると、データシートと同じ式だ。
• 2¹⁵LSBを2¹⁶LSBと書き、250dpsを500dpsなどと書くから、紛らわしい！
• 従って、もし、FS_SEL＝3(2,000dps)に設定して使う場合の換算値は：
• Gyro_Sensitivity＝2¹⁵LSB÷FS＝2¹⁵LSB÷2,000dps≒16.4[LSB/dps]

　恐らく、これで正解。もっと解りやすいデータシート書けなかったのか（１＠＿＠）？？


　幸い、今回の空中マウスでは回転角度の絶対値[°]は必要ないので、角度への換算はしませんでした。GYRO_OUTレジスタを読み出し、MSB側8ビット程度を使ってマウスカーソルを動かしています。

オフセットキャンセル

　オフセットが嫌ですね〜。
　ジャイロセンサには、個体差のあるオフセットが付いているので、これを何とかしないとなりません。もし、オフセットが一定以上大きかった場合、MPU9250を静止させているにもかかわらず、マウスが一定方向に動き続けてしまうことになるからです。

　一番簡単なのは、以下の方法ですね。

• １）MPU9250を机上に置くなど、静止させてください。
• ２）【gyr】コマンドを使って、ジャイロセンサの測定値を読み出し、オフセット(固定値)を読み取ってください。
• ３）読み取ったオフセットをプログラムの定数に設定してからコンパイルしてください。

　オフセットには個体差があるので、全ての個体で上の校正を実施しなければならないのは面倒ですが、一番楽なので、この方法を採用します。

　ジャイロセンサのオフセット値を知るために予備実験をしましょう。
　こちらの回路を組んで、プログラム(air_mouse_gyr.ino)をDUEに書き込んでください。この時、プログラム先頭付近の「#define　USE_SERIAL」を有効にしてコンパイルしてください。

　　予備実験サンプル：【 】内はシリアルモニタからの送信データ
　　【gyr,32】
　　OK+ gyr -313 -31 46
　　OK+ gyr -347 -22 5
　　OK+ gyr -350 -1 -21
　　　　：
　　　　：　(中略)
　　　　：
　　OK+ gyr -344 26 41
　　OK+ gyr -328 10 -2
　　OK+ gyr -344 18 4
　　OK: gyr

　MPU9250を机の上などに静かに置いた状態で上のコマンドを実行し、実行が終わるまで静止させておいてください。

　以下表および以下図に、手元のMPU9250での測定結果をまとめておきます。

※単位は全てLSB、ジャイロセンサのデータレジスタGYRO_OUTの読み出し値その物。

• 上のデータは、筆者手元のMPU9250を使った測定値です。
• 個体によって異なる結果が出るはずです。
• 250ms間隔で測定したデータを、時系列でグラフにしました。
• MPU9250を静止させた状態で測定しているので、期待値は全て0LSBとなるはずです。
• オフセットと、AD変換器の変換誤差や、アナログ量に乗ったノイズなどの変動分によって、期待値0からの偏差がある様です。
• それでも、y軸、z軸に関しては、まあ、0付近の値が読めたと言って良いでしょう。
• 読み出し値は16ビット符号付整数なので、値の範囲は−32,768〜32,767[LSB]ですから、その内の4LSBとか26LSBなら、ほぼ0とみなして良いと思います。
• ただ、x軸がひどい。平均で−340LSBの偏差がありました。
• −340LSBは、約9ビットに相当します。
• つまり、16ビット読み出し値の内、下位8ビットを無視しても、1ビットのオフセットが残ってしまう計算です。
• また、ノイズなのか、AD変換精度の問題なのか、どの軸のデータも、60〜80[LSB]程の幅を持って計測されました。
• これだけ値がばらつくということは、32回測定の平均値では足りないかもしれません。
• もっと精密に測定したい方は、【gyr,32】コマンドの数値を大きくして見てください。
• ※これって、もう、16ビットなんて精度は持っていないんだよ。8ビットで十分だったのじゃないか？⇒MPU9250
• なお、MPU9250の設置方向を変えても、目立った変化はありませんでした。
• もしかして、MPU9250の設置方向次第では異なる値が読めるのではないか？と思い、設置方向を変えながら測定してみたのですが、その様な傾向は認められませんでした。
• ジャイロセンサのアルゴリズムを完全には理解していないのですが、ぱっと見、重力加速度の影響を受けてオフセット値が変わるのではないのかな？
• まあ、実測してみた感じでは、そんなことは無いみたいだった。

　上の予備実験で測定したオフセットの平均値を定数へ設定して、プログラム(air_mouse_gyr.ino)を完成させます。

　　const　int　gyr_OFST_X=-340;　　// gir: gyro sensor offset [lsb]
　　const　int　gyr_OFST_Y=4;
　　const　int　gyr_OFST_Z=26;


　ここからは蛇足になってしまうけど、少し考察しておきます。
　オフセットを見破れば良いので、少し工夫をすると自動的にオフセットキャンセルする方法も、あるかもしれません。

• １）一定時間毎にジャイロセンサの測定値を読み出す。
• ２）MPU9250が「静止している」状態を判定する。
• ３）「静止」していたら、その時の測定値をリングバッファに更新する。
• ４）リングバッファ内データの平均値(移動平均)を取ると、それがオフセット。
• このアルゴリズムのキーテクニック🔑は、２）の「静止状態判定」。
• １）で一定時間毎に測定しているので、前回測定値と今回測定値がほぼ等しかったら、「静止している」とみなす、とか。

　本節の様なキャリブレーションが不要になるので、興味のある方は工夫してみては？

回転軸

　手元のMPU9250モジュール(下図)の場合、表面のシルクに座標軸が描画されています。



　上図でも確認できると思います。3軸周りの回転は、この軸でレポートされます。今回、DUEをHIDマウスにして、機体を回転させることでマウスカーソルを操作しますので、DUEとMPU9250の固定方向がミソです。

　下図が、今回のプログラム(air_mouse_gyr.ino)で前提とした、DUEとMPU9250の固定方向です。



※上写真の様に、シールド基板とブレッドボードを使って、DUEとMPU9250の位置関係を固定しました。位置関係が固定できさえすれば、方法は問いません。

　上図の向きで、DUE＋MPU9250を両手でつかんで操作する場合、左右へ振るとz軸周り、上下に振るとy軸周りの回転が検出されます。……x軸周りの回転は、今回使いません。
　使用するモジュールが異なったり、上図と別な角度で固定したりすると、回転軸とマウス移動方向の対応がプログラム(air_mouse_gyr.ino)と不整合となって、期待した動作になりません。
　固定方向を上図に合わせるか、不可能な場合は、プログラム(air_mouse_gyr.ino)の方を変更して使ってください(以下、コード該当箇所)。

　　// gyro to mouse pointer mapping
　　dx=-(gyr_z - gyr_OFST_Z);　　// 左右dx → z軸周り(符号反転)
　　dy=-(gyr_y - gyr_OFST_Y);　　// 上下dy → y軸周り(符号反転)

※ジャイロセンサのオフセットキャンセルは、オフセットレジスタ(G_OFFSET)を使わず、上の様にプログラムで実施しています。

　なお、ジャイロセンサは、回転速度(回転の方向と速さ)を検出可能なセンサですが、べつにMPU9250を独楽の様に回転させる必要は無くて、DUE＋MPU9250を手首や肘、肩、腰などを中心として回転させた状態でも、検出できます。
　人間が手に持って操作する限り、普通に動かすと関節を中心とした回転運動になるため、ジャイロセンサで問題なく検出できます。逆に、手に持った状態で回転を伴わない様に上下・左右に振り回すことの方が、相当難しいと思いますよ。

山は越えた実験

　実験はジャイロセンサのオフセットを測定した予備実験によって山を越えていますので、後は実際に空中マウスとして使って見るだけです。

　プログラム(air_mouse_gyr.ino)をコンパイルしてDUEに書き込んでください。

　外部回路をDUEに接続(回路図、ボタンの実装)、MPU9250とDUEの位置関係を以下図の通りに固定してください。



　DUEのネイティブUSBポートをPCのUSB端子に接続してください。

※もし、PCに接続した時、マウスとして認識されないようなら、一度DUEのリセットボタンを押してみてください。DUEのネイティブUSBポートだけをPCに接続した時、リセットを掛けないとHIDマウスとして機能しない様な気がします。


　DUEが空中マウスになった筈ですので、忘れずにマスタスイッチを押してマウスモードに入れてから、マウスカーソルを操作してみましょう。その様子を以下動画にしておきましたのでご確認ください。




　多分、操作性としてはマウスに大きく劣ります。空中マウスの真骨頂は、プレゼンテーションなどスクリーンに映し出した画面を、その場で操作したい時です。マウスを動かすテーブルや台などが無くても、空中の動作でマウスカーソルを操作することができますCool！