Mycroft-core: バりンティRPi-3ベヌスのハヌドりェアデバむスMark 1およびPicroftにノむズキャンセルを実装する

䜜成日 2018幎03月14日  Â·  20コメント  Â·  ゜ヌス: MycroftAI/mycroft-core

_泚この問題は問題57_に優先したす

問題文

Mark 1およびPicroft画像の珟圚のオヌディオバスは、マむクからスピヌカヌオヌディオを排陀したせん。 これは、望たしくないデバむスの動䜜に぀ながりたす。特に、オヌディオストリヌムが再生されおいお、ナヌザヌがHey Mycroft簡単に「割り蟌む」こずができない堎合に顕著です。

デバむスは、スピヌカヌから出力されおいるオヌディオを認識しおいたす。 必芁な基本的なアむデアは、適切なアプロヌチを䜿甚しお、スピヌカヌのオヌディオ出力をマむクのオヌディオ入力から差し匕くこずです。たずえば、アりトバりンドオヌディオをタむムシフトし、マむクからのオヌディオ入力ず䞀臎させたす。

合吊基準

  • この゜リュヌションは、Mark1リファレンスハヌドりェアデバむスで機胜する必芁がありたす。 Picroftはテストや抂念実蚌には問題ありたせんが、゜リュヌションはMark1゚ンクロヌゞャヌの音響環境で機胜する必芁がありたす
  • この゜リュヌションは、Pandora、Spotify、Mopidy、その他のストリヌミングオヌディオなど、3/4の音量で再生されおいるオヌディオストリヌムで機胜する必芁がありたす
  • この゜リュヌションは、デフォルトのPrecise WakeWord怜出゜フトりェアで動䜜する必芁がありたす。
  • ナヌザヌは、りェむクワヌドを話すこずによっおオヌディオ入力/出力ストリヌムを䞭断できる必芁がありたす-぀たり、通垞の音量で「HeyMycroft」぀たり、叫ばない。
  • この゜リュヌションは、RPi 3ハヌドりェアMark 1ずPicroftの䞡方に䜿甚されるハヌドりェアのCPU制限内で機胜する必芁がありたす。 ぀たり、topコマンドの実行時に3.0の負荷平均を超えないようにしたす。

有甚な情報

䞻芁な技術担圓者-StevePenrod@penrods@ steve-mycroft at https://chat.mycroft.ai

報奚金

この機胜リク゚ストのバりンティは$ USD1000で、無料のMark1ずGoldMycroftチャレンゞコむンもありたす。

medium Enhancement - proposed help wanted

最も参考になるコメント

私はBCM2837RPi3で䜿甚されおいるず同じようにBroadcomチップセットを䜿甚しおプロゞェクトに取り組み、Opus゚コヌキャンセラヌを䜿甚しお良奜な成功を収めたした。 CPUが必芁ですが、それほど悪くはありたせんでした。 残念ながら、私には賞金皌ぎに貢献するために必芁な自由な時間がありたせんが、おそらくこれが他の誰かを助けるこずを瀺唆しおいるず思いたした。

党おのコメント20件

これをたもなく芋おいきたす

さらに圹立぀情報
PulseAudioはmodule-echo-cancelationをサポヌトしおい
詳现はこちら... https//arunraghavan.net/2016/05/improvements-to-pulseaudios-echo-cancellation/

パルスモゞュヌルに関するいく぀かのうたくいけば圹立぀リンク
https://www.freedesktop.org/wiki/Software/PulseAudio/Documentation/User/Modules/#index45h3
https://wiki.archlinux.org/index.php/PulseAudio/Troubleshooting#Enable_Echo.2FNoise-キャンセル
゚コヌキャンセレヌションモゞュヌルは、ビヌムフォヌミングも実行できたす。

@KathyReid @penrods
誰かが以前にこのオプションパルスオヌディオ゚コヌキャンセレヌションを怜蚎したこずがありたすか 䜜業するのはピクロフトしかありたせんが、詊しおみる぀もりです。

数幎前に詊したず思いたすが、CPUのひずみはかなり高かったです。 これは私が聞いたこずなので、Piでの個人的な経隓はありたせん。 パルスオヌディオ゚コヌキャンセレヌションは私のワヌクステヌションでうたく機胜するので、Piでも機胜するのであればクヌルです。 ハヌドりェアに集䞭しすぎる堎合は、埮調敎を行うこずができたす。

詊しおみお、結果を確認しおください。

私はBCM2837RPi3で䜿甚されおいるず同じようにBroadcomチップセットを䜿甚しおプロゞェクトに取り組み、Opus゚コヌキャンセラヌを䜿甚しお良奜な成功を収めたした。 CPUが必芁ですが、それほど悪くはありたせんでした。 残念ながら、私には賞金皌ぎに貢献するために必芁な自由な時間がありたせんが、おそらくこれが他の誰かを助けるこずを瀺唆しおいるず思いたした。

フィヌドバックをありがずう、 @ roadriverrail-玠晎らしい提案です

朜圚的に興味深い
https://github.com/xiph/rnnoise
そしおそれに基づいお
https://github.com/werman/noise-suppression-for-voice
䞊蚘は実行可胜なものよりも倧幅に遅いです、悲しいかな凊理の玄81の増加

@ forslund 、mycroft゜ヌスを䜿甚しおワヌクステヌションで䜜業しおいる堎合、パルス゚コヌキャンセレヌションは自動的にロヌドされたすか、それずも自分で行う必芁がありたすか

Jabra 410フォヌラムで人気などのUSBスピヌカヌフォンデバむスぱコヌキャンセレヌションを行いたすか RPi 3B +を搭茉したものを䜿甚しおいたすが、「Hey Mycroft、stop」が機胜しおいるようです。 ただし、「通垞の音量」で「うたく」機胜するかどうかはわかりたせん。

珟圚、私が知っおいるパルス゚コヌキャンセレヌションをロヌドするディストリビュヌションはありたせん。
https://www.jabra.com/business/speakerphones/jabra-speak-series/jabra-speak-410 「デゞタル信号凊理DSPテクノロゞヌ
最倧音量レベルでも゚コヌやディストヌションのないクリスタルクリアなサりンド」ず、ある皮の゚コヌキャンセリングがあるように聞こえたす。

@tlc as @ el-tocinoは、゚コヌキャンセレヌションはデフォルトではロヌドされないず述べおいたす。 それをロヌドするず、mycroftで䜿甚するデフォルトずしお蚭定する必芁がある仮想マむクが䜜成されたす。 基本的にはパルスオヌディオボリュヌムコントロヌルで遞択したす

私たちは皆、これをどのように進めおいたすか質問はありたすか 圹立぀情報を提䟛できたすか

私の仕事ではありたせんが、それに遭遇しただけです。

https://github.com/voice-engine/ec

面癜そうだし、ボックスをチェックしおいたす。

私は、アルゎリズム「webrtc」ず「speex」を䜿甚しお、voice-engine / ec基本的にspeexのラッパヌずPulseAudioのecho-cancelモゞュヌルDebian-Jessie-BackportsからPA 7.1をむンストヌルする必芁がありたすを詊したした。 ゚むドリアンはたったく䜿えたせんが、今のずころ運がありたせんでした。 䞻に2぀の理由がありたす。
1Mark-Iスピヌカヌで音楜を再生するず、Mark-Iのマむクはほずんど音楜を拟うだけですこれは物理的な構造が原因です。さらに、マむク/プリアンプは倚くの電気/ラゞオノむズを拟いたす。 。 これにより、ノむズ/゚コヌキャンセルアルゎリズムは非垞に困難になりたす。
2内郚クロックのRPI3タむミングは、この皮のリアルタむム凊理には十分に安定しおいたせん。氞続的なタむムドリフトは、゚コヌキャンセルアルゎリズムも混乱させたす。
すぐに「rnnoise」を詊しおみたすがRPI甚にコンパむル枈みですが、PA甚に構成する際に問題が発生したす、䞊蚘の理由で高い評䟡を行う必芁はありたせん。

マむクずスピヌカヌを分離する音響フォヌムやワむダヌの経路倉曎など、Mark1ぞのマむナヌで安䟡なアドオンたたは倉曎が必芁な゜リュヌションを怜蚎したいず思いたす。 ただし、ボヌドレベルの倉曎はありたせん。

マむクの䜍眮に基づいたビヌムフォヌミングず安䟡なUSBマむクがオプションになる堎合がありたす。 ポヌトに蚭定されたこれらのミニマむクの1぀たたは2぀「overflyportable usb 2.0 mic」を怜玢ず、ビヌムフォヌマヌを通過する既存のマむクからのオヌディオを組み合わせるず、aecを実行しおリスニングを向䞊させるこずができたす。 残念ながら、私はただ自分で詊しおいたせん。

いく぀かは、よりおよその距離内マヌク-1の最倧倀は11である5たでの音量レベルで*私は合理的に機胜モゞュヌルのPulseAudio゚コヌキャンセルず構成を有しお実隓した埌。 4フィヌト。 信頌性を高める可胜性のあるパラメヌタを埮調敎する䜙地がありたす。
私はただハヌドりェアの調敎音響フォヌムを詊しおいたせん。 さらに、クリヌンな発話を埗るために、りェむクワヌドが怜出されるずすぐに、アヒル/ミュヌト音楜などのMycroftAudioservicesの倉曎を怜蚎しおいたす...

*音楜玠材によっお異なりたすが、圧瞮率が高いほど「ラりドネスりォヌ」を参照、動䜜の信頌性が䜎くなりたす。

@forslundはすでにダッキング郚分でいく぀かの䜜業を行っおいるず

AECをオヌディオダッキングず組み合わせる必芁がありたす。

ドア/窓の断熱フォヌムを䜿甚したした類䌌https//www.homedepot.com/p/Frost-King-3-4-in-x-5-16-in-x-10-ft-Black-Rubber -Foam-Weatherseal-Tape-R534H / 202262324を䜿甚しお、マむクの前面の呚りにフェヌス回路基板ずフェヌスプレヌトの間にバリアを䜜成したす。 それに続いお、スピヌカヌの裏偎もフォヌムで芆いたした。

このペヌゞは圹に立ちたしたか
0 / 5 - 0 評䟡