

カメラモジュールでPreviewを取得して、じゃんけんの手判定を行うプログラムを実装しています。  
Arduino IDEのサンプルスケッチ（camera, number_recognition）と、NNCのサンプルプロジェクト（hand-
sign）を組み合わせています。  
Previewをクリップ&リサイズし、グレースケールに変換してモデルに読み込ませており、グーとパーは認識できるのですが、チョキが認識できません。

Preview取得のカメラ設定は以下の通りです。  
・5fps  
・CAM_WHITE_BALANCE_INCANDESCENT  
・CAM_IMAGE_PIX_FMT_YUV422 -> GRAYに変換  
・320*240 -> 中央224*224を28*28にクリップ&リサイズ

撮影時はカメラを白いデスク天板20cm上に固定して、室内照明(LED)+カメラ付近からiPhoneのライトを使用しています。

またカメラ映像を確認したいのですが、Previewの出力方法も併せて知りたいです。

この設定でチョキが認識できない原因について、ご意見よろしくお願いいたします。


CC BY-SA 4.0
2019-05-10T08:10:50.527
54870
2019-07-15T04:26:14.633
2019-05-14T00:30:38.613
32982
32982
question
spresense
Sony SPRESENSEでのhand-sign認識とCameraのPreview書き出し


認識結果は学習に使ったデータセットと、設計したニューラルネットワークに依存するので原因を特定するのは難しいですね。例えば、LeNetのような”畳み込みニューラルネットワーク”と、お使いの環境で取得した
”グー”、”チョキ”、”パー” の十分な量の学習用データがあれば、認識率は自ずと向上していくと思います。

LeNet は、Neural Network Console にサンプルプロジェクトがあるので参考にしてください。

また、  
[GitHubからSpresense
SDKを取得したが、dnnrt_hand_signが含まれていない](https://ja.stackoverflow.com/questions/56382/github%E3%81%8B%E3%82%89spresense-
sdk%E3%82%92%E5%8F%96%E5%BE%97%E3%81%97%E3%81%9F%E3%81%8C-dnnrt-hand-
sign%E3%81%8C%E5%90%AB%E3%81%BE%E3%82%8C%E3%81%A6%E3%81%84%E3%81%AA%E3%81%84)
ですでに回答しましたが、次のURLにハンドサインのスケッチがあります。

<https://github.com/takayoshi-k/algyan_spresense_ai_hands_on/releases/download/tmp_version/rps_sample.zip>

Preview については、上記の圧縮ファイル内にLCDのドライバがありますので流用できると思います。


CC BY-SA 4.0
2019-07-15T04:26:14.633
56651
2019-07-15T04:26:14.633
27334
54870
answer