Googleのリアルタイムハンドトラッキングアルゴリズムは、スマートフォンを使用して手話認識を改善します

リアルタイムのハンドトラッキング

手話は世界中の何百万もの人々によって使用されています。研究者たちは、ジェスチャーを理解し、それを人間が理解できる言語に自動的に変換できるテクノロジーの構築に取り組んできました。しかし、そのようなプロジェクトは正確さの点で大きな成功を収めていません。

Googleは最近、リアルタイムの手の追跡に使用できるアルゴリズムを開発しました。インテリジェントシステムは、機械学習を活用して手の地図を作成します。地図はカメラやスマートフォンを使って作成されます。ほとんどのシステムが素早い手の動きを正確に捉えることができないという事実を否定することはできません。 Googleは、この調査でこの問題に具体的に取り組んでいます。興味深いことに、以前にアルゴリズムによって処理されたデータの量が制限されています。

リアルタイムハンドトラッキングはどのように機能しますか？

既存のプロジェクトのほとんどは、完全な手のサイズと位置を検出することによって手話を翻訳します。この研究で。研究者たちは、さまざまなサイズの長方形を扱う必要をなくしました。 Googleのシステムは、正方形の手のひらを認識するだけです。次に、指に対して別の分析プロセスが実行されます。

てぶり

研究者は、機械学習アルゴリズムをトレーニングするために約30.000の手の画像を使用しました。これらの画像は、さまざまな照明条件とポーズで撮影されました。次に、システムは、手のポーズと、ボールや幸福などの既知のエンティティのリストとを比較することにより、ジェスチャを検出します。グーグルはジェスチャー認識を ブログ投稿 。

次に、指の状態のセットを事前定義されたジェスチャのセットにマッピングします。この簡単で効果的な手法により、基本的な静的ジェスチャを妥当な品質で推定できます。既存のパイプラインは、複数の文化からのジェスチャーのカウントをサポートしています。アメリカ、ヨーロッパ、中国、そして「親指を立てる」、閉じた握りこぶし、「OK」、「ロック」、「スパイダーマン」などのさまざまな手話。

PCパフォーマンステスト

最終的なハンドトラッキングアルゴリズムは、速度と精度の点で最先端の結果を生み出します。アルゴリズムはMediaPipeフレームワークを使用して実行します。この手法は、手話領域における大きな進歩のようです。まだ改善の余地はたくさんありますが。手話のより良い理解を作成します。誰でもこの作業を拡張して、顔の表情と両手を使用して、より良い結果を得ることができます。

グーグルからの言葉はありませんが、グーグルがこのリアルタイムのハンドトラッキング技術を改善して製品に使用できる可能性があります。一方、コードをいじりたい場合は、 GitHubで公開されています 。