Arduinoを使用して手話をテキストに翻訳する方法は?

私たちは、テクノロジーは、普通の人々であろうと特別な能力のある個人であろうと、誰もが、そして善のためにアクセスできるべきであることを一貫して受け入れてきました。イノベーションの基本的な利点は、個人を征服するのではなく、個人を助けるために、個人を関与させ、改善することです。



テキストに署名

話すことができない人々は、メッセージを伝えるためにさまざまなコミュニケーション手段を使用します。それらの最も一般的なものは手話です。手話は、ジェスチャーモダリティを使用してメッセージを伝える言語です。手話は、話すことも聞くこともできない人々の間で一般的です。それで、これはあなたが手話を他の人々が理解できるいくつかのテキストに翻訳するのを助けるプロジェクトです。



Arduinoを使用してSignto textトランスレータを作成するにはどうすればよいですか?

それでは、さらにデータを収集して分析し、回路を作成して、マイクロコントローラーでコードを書き込むことに移りましょう。



ステップ1:前提条件

作業を始める前に、使用する装置を収集して調査することをお勧めします。以下のリストは、このプロジェクトに必要なすべてのアイテムを示しています。



  • Arduino UNO
  • オス/メスジャンパーワイヤー
  • 抵抗器(470オーム)
  • ブレッドボード/ベロボード
  • 女性ヘッダー
  • グローブ

ステップ2:装置のセットアップ

Flexセンサーを使用してジェスチャを検出します。フレックスセンサーは、曲げるたびに異なる抵抗と異なる角度を与えるセンサーです。分圧器構成で接続された2つのピンがあります。これらのピンのArduinoへの接続を以下に示します。

回路図

FLEX 1、FLEX 2、FLEX 3、FLEX 4、FLEX 5はフレックスセンサーであり、RES1、RES2、RES3、RES4、RES5は470オームの抵抗器です。すべてのフレックスセンサーの1つのポイントが共通であり、5Vがそれに適用されます。もう一方の端では、すべての抵抗器の一方の脚が共通であり、アースに接続されています。 Arduinoピンへの入力は、0〜1023のアナログデータを受信し、コードでデジタル形式に変換されます。



フレックスセンサーがどのように機能するかがわかっているので、すべてのフレックスセンサーを手袋の指に取り付けます(接着剤の使用は避けてください)。上の画像に示すように、ジャンパー線をすべてのフレックスセンサーにはんだ付けし、Veroboardに接続します。接続を慎重にはんだ付けし、導通テストを実行します。導通テストが失敗した場合は、はんだ付けされた接続を再確認して修正してください。

ステップ3:Arduino入門

Arduino IDEをお持ちでない場合は、から最新バージョンをダウンロードしてください。 Arduino

  1. ArduinoをPCに接続し、[コントロールパネル]> [ハードウェアとサウンド]> [デバイスとプリンター]に移動して、Arduinoが接続されているポートの名前を確認します。私のPCではCOM14です。お使いのパソコンによって異なる場合があります。

    ポート番号の検索

  2. Arduino IDEを開き、ボードを「Arduino / GenuinoUno」に設定します。

    セッティングボード

  3. Arduino IDEを開き、以前にPCでオブザーバーしたポートを設定します。

    設定ポート

  4. 次に、以下に添付されているコードをダウンロードし、[アップロード]ボタンをクリックしてArduinoボードにアップロードします。

    アップロード

ダウンロードリンク: ここをクリック

ステップ4:コード

コードはよくコメントされていますが、これがどのように機能するかについての一般的な説明です。

  1. コードの最初に、Arduinoの5つのアナログピンが初期化され、フレックスセンサーで使用されます。 ArduinoからのVccよりも、回路で使用される4.7kオームの抵抗が初期化されます。次に、ストレートフレックスセンサーの抵抗と90度の角度での抵抗が初期化されます。これらの初期化は、コードの記述に役立ちます。
  2. void setup() Arduinoのボーレートを初期化し、5つのアナログピンすべてをINPUTとして使用するように初期化する関数です。ボーレートは、マイクロコントローラが通信する速度です。
  3. void loop() サイクルで何度も何度も連続して実行される関数です。この機能では、すべてのアナログ値が読み取られ、デジタル値に変換されます。次に、分圧器の式を使用して抵抗を計算し、その抵抗を介してフレックスセンサーの曲げ角度を計算します。

コードを理解してアップロードしたら、手袋を着用し、さまざまなジェスチャーを行ってテキストに翻訳します。コードでは、選択した指の動きの組み合わせをさらに追加し、それに応じてメッセージを表示できます。手話がテキストに変換されたことがわかります。

ステップ5:高度

このプロジェクトは、手話をテキストに変換し、シリアルモニターに表示することを目的としています。使用するマイクロコントローラーはArduinoであるため、ArduinoにはWiFiモジュールが組み込まれていないため、このデバイスはArduinoがデータケーブルを介してPCに接続されている場合にのみ機能します。このプロジェクトをもう少し面白くするには、外部WiFiモジュールを追加するか、Arduinoの代わりにESPモジュールを使用して、データケーブルを取り除き、WiFiを介した音声翻訳へのサインを楽しむことができます。