Scikit-learn: Gower類似係数を実装する

ありがとう。

Rからのdaisyに関するこのドキュメントは、 https：//stat.ethz.ch/R-manual/R-devel/library/cluster/html/daisy.htmlの一般的な使用例であるため、関連性がある可能性があり

どこを提案しましたか？ どのような状況で？

@agramfort私はdaisy()ます（https://cran.r-project.org/web/packages/cluster/cluster.pdfの27ページを参照）。 。 より一般的には、 http：//www.clustan.talktalk.net/gower_similarity.htmlは、「Gowerの一般的な類似性係数は、混合データ型の近接性の最も一般的な尺度の1つです」と主張しています。 これはもっともらしい主張のようです。

これを動機付けるベンチマークまたは説得力のある例はありますか？

@agramfort現在、混合データ型の非類似度係数を計算する他の方法がないということはもっと多いと思います。これは標準的な方法のようです。 ガワー係数とは何かを説明したり、混合データ型での使用を提案したりする例や質問/回答をオンラインでたくさん見つけることができますが、ベンチマークとは言えません。 Googleの学者によると、元の論文は2298回引用されています。

わかりました、私は確信しています:)

@agramfort素晴らしい！ この変更により、 https：//github.com/scikit-learn/scikit-learn/pull/4899が適切に補完され、ツリーのネイティブカテゴリ変数のサポートが導入されます。

そうは言っても、scikit-learnは現在、序数をネイティブでサポートしていないことに気づきました。そのため、私の提案のこの部分は、少し前倒しになっているでしょう。 序数の機能をサポートするための最初のステップとして、前向きな方法でそれを考えることができると思います。

@amueller [New Feature]でタグ付けされる..。

やあ、

何らかの形で貢献するために、元の論文に従ってGower関数を実装し、pdistモジュールで必要なそれぞれの適応を実装しました。これは、内部でpdistがいくつかの数値変換を行うため、混合データの行列を使用すると失敗します。

これまでに得た結果は、Rのデイジー関数と同じです。

ソースコードは、次のjupyterノートブックで入手できます： https ：//sourceforge.net/projects/gower-distance-4python/files/

お気軽にご利用ください

これに関する更新があるかどうか疑問に思っていましたか？ さらに、 @ marcelobeckmannによって指摘された問題はまだ関連していますか？

@ ashimb9 @ marcelobeckmannのコードを統合する人が必要なようです

@agramfortうーん、その場合は、暇なときに行ってみます。 ちなみに、上記の問題の現在の状態について何か知っていますか？「pdistモジュールでは、内部的にpdistがいくつかの数値変換を行うため、混合データの行列を使用すると失敗します」

こんにちは。pdistには、基になるデータが完全に数値であると想定するプライベート関数（_convert_to_double、_copy_array_if_base_presentなど）がいくつかあります。これは、カテゴリデータを含むデータフレームがある場合は当てはまりません。

私はこのコードを統合してフォークで利用できるようにすることを志願します。このチケットを私に割り当てることができます。

github割り当て機能は、チームメンバーに対してのみ機能します

2017年7月17日午後7時32分、「marcelobeckmann」 [email protected]は次のように書いています。

こんにちは、いくつかのプライベート関数があります（たとえば、_convert_to_double、
基になるデータがであると想定するpdistの_copy_array_if_base_present）
完全に数値です。これは、
カテゴリデータ。

私はこのコードを統合してフォークで利用できるようにすることを志願します、あなた
このチケットを私に割り当てることができます。

—
あなたが言及されたのであなたはこれを受け取っています。
このメールに直接返信し、GitHubで表示してください
https://github.com/scikit-learn/scikit-learn/issues/5884#issuecomment-315707830 、
またはスレッドをミュートします
https://github.com/notifications/unsubscribe-auth/AAEz62L3HHzGsSerW5G3n-Z8rrNoV6mwks5sOyoTgaJpZM4Glm0p
。

心配はいりません。フォークします。後でgetコードを取得できます。 私にとって重要なのは貢献することです。 終わったらお知らせします。

これを取り上げてくれた@marcelobeckmannに感謝します。 あなたがそれにいる間（そしてそれがあなたにとって実行可能であるかどうか）、私はあなたがRのデイジーパッケージ（あなたも上で参照した）に実装されているように、NaN値を持つデータのガワー計算のサポートを追加することを検討するかどうか疑問に思いました？

Gowerのsklearn.metrics.pairwiseへの統合を完了しました（NaN値の処理も観察しています）。 フォークしたコードを送信する前に、いくつかの単体テストを準備します。

@marcelobeckmann素晴らしい！ 特にNaNサポートを含めてくれてありがとう！ :)

PS：私が提案するかもしれないが、あなたがユニットテストなどに取り組んでいる間、レビューアがあなたのコードを見始めることができるように、プルリクエストを開始することを検討したいかもしれません。

数日前、b5884でプルリクエストを行いました。

はい、確認するためにキューにあります。

23時40分に2017年8月17日、マルセロ・ベックマン[email protected]
書きました：

数日前、b5884でプルリクエストを行いました。

—
あなたが言及されたのであなたはこれを受け取っています。
このメールに直接返信し、GitHubで表示してください
https://github.com/scikit-learn/scikit-learn/issues/5884#issuecomment-323076581 、
またはスレッドをミュートします
https://github.com/notifications/unsubscribe-auth/AAEz69uMu0XsoAUfvwWikkadjGCk5yvKks5sZELKgaJpZM4Glm0p
。

CIに必要な変更を加えましたが、すべてのチェックに合格しました。

@marcelobeckmann素晴らしい仕事です！ 行659を次のようなものに変更することをお勧めします。
ranges_of_numeric[col] = (1 - min / max, 0)[max == 0] if (max!=0) else 0.0

それ以外の場合は、2番目のテストケースでゼロ警告による除算を取得しています。

こんにちは、Pierre Wessmanによって提案された警告を回避するためにコードを変更しましたが、CIは緑色です。 コードを確認してくれる人が必要です。

@marcelobeckmannおよび潜在的に他の人。

こんにちはマルセロ（または潜在的に他の人）、あなたがここに置いたガワー係数の実装に関していくつかの簡単な質問がありました： https ：

1. 元のデータを関数にフィードするためにパンダのdataFrameが必要ですか、それともnumpy配列を使用できますか？

2. データをnumpy配列にインポートしています。 一意のIDである最初の列を除いて、すべての列は数値の実数です。 2つの問題が発生しています。

• まず、関数を実行すると、dtypeU7がオブジェクトに変換されたことを示すデータ変換警告が返されます!!。 何らかの理由で配列エントリが引用符で囲まれているため、文字列であるためだと思いました。 たとえば、配列エントリのタイプをint32にキャストしても、int32がオブジェクトに変換されたという変換エラーが発生します。

• 次に、おそらく上記にリンクされているように、関数を実行して結果をプロットするたびに、異なる視覚化（ポイントの異なる広がり）を受け取ります。

上記についてアドバイスをいただけますか？

どうもありがとう

こんにちはアリ、

Gowerdistanceのこの実装に関心をお寄せいただきありがとうございます。

プルリクエストを行ったコードはscikitlearn commitersによって承認されていませんが（CIは緑色で、レビューを待っているだけです）、この最新の安定した実装をhttps://sourceforge.net/projects/gower-distanceにプッシュしました

あなたの質問に行きましょう：

1. 元のデータを関数にフィードするためにPandaDataFrameが必要ですか、それともnumpy配列を使用できますか？

回答：この新しいバージョン3ではDataFrameまたはNumpyを使用できます。スパース行列もサポートされています。

1. 。 データをnumpy配列にインポートしています。 一意のIDである最初の列を除いて、すべての列は数値の実数です。 2つの問題が発生しています。

• まず、関数を実行すると、dtypeU7がオブジェクトに変換されたことを示すデータ変換警告が返されます!!。 何らかの理由で配列エントリが引用符で囲まれているため、文字列であるためだと思いました。 たとえば、配列エントリのタイプをint32にキャストしても、int32がオブジェクトに変換されたという変換エラーが発生します。

回答：この新しいバージョンは数値のカテゴリ属性をサポートしています。追加のパラメータcategorical_featuresがあり、false（数値属性の場合）またはtrue（カテゴリ属性の場合）で配列を設定できます。

• 次に、おそらく上記にリンクされているように、関数を実行して結果をプロットするたびに、異なる視覚化（ポイントの異なる広がり）を受け取ります。

回答：私がプッシュした新しいバージョンは、この問題を解決しました。

私はこのPRをレビューするつもりですが、それほど高くはないことに注意してください
優先ATM

こんにちはアリ、

1. 最新のものはgower_function-v3.ipynbであり、はい、それはnanを扱います
   伝搬

2. カテゴリ属性がそうでない場合にのみ、gower_distance（X）を使用できます
   数値、またはgower_distance（X、categorical_features = [False、True、
   False、...]）、猫の属性が数値で表されている場合。

この実装は問題があるため、問題が発生した場合は非公開でお知らせください
私はインターネットにプッシュしましたが、scikitlearnの懸念事項ではありません。
やるべきことがたくさんありますが、これを議論するのに最適な場所ではありません。

2017年11月30日11:51、「Ali-ry」 [email protected]は次のように書いています。

@marcelobeckmann https://github.com/marcelobeckmann

こんにちはマルセロ（または潜在的に他の人）、あなたに関して簡単な質問がありました
ここに配置したガワー係数の実装：
https://sourceforge.net/projects/gower-distance-4python/files/

1.1。

gower_single_function-v2.ipynbは最終バージョンであり、
NaNも？
2.2。

さらに重要なことに、この実装により、
単一のサンプルデータ内の類似性？ ほとんどの場合あなたが何をするので
必要なのは、内の観測の各ペア間のガウアー距離を取得することです
2つの異なるサンプルデータを比較するのではなく、1つのサンプルデータ。

どうもありがとう

—
あなたが言及されたのであなたはこれを受け取っています。
このメールに直接返信し、GitHubで表示してください
https://github.com/scikit-learn/scikit-learn/issues/5884#issuecomment-348166596 、
またはスレッドをミュートします
https://github.com/notifications/unsubscribe-auth/AA3G79jWVbpBNdAFOAim7wJS92-QGl0dks5s7pa8gaJpZM4Glm0p
。

こんにちはアリ、

1. 最新のものはgower_function-v3.ipynbで、これは私がscikit learnにプッシュしたもののコピーであり、はい、nan伝播を扱います。

2. カテゴリ属性が数値でない場合はgower_distance（X）のみを使用でき、カテゴリ属性が数値として表されている場合はgower_distance（X、categorical_features = [False、True、False、...]）を使用できます。

問題が発生した場合は、非公開でお知らせください。私がインターネットにプッシュしたこの実装は、scikit learnの問題ではなく、やるべきことがたくさんあります。ここでは、scikitの外部にあることについて話し合うのに最適な場所ではありません。プロジェクトを学ぶ。

@marcelobeckmannこんにちはマルセロ、
カテゴリ変数が数値形式にエンコードされている場合、categorical_featuresパラメータの値をTrueまたはFalseにする必要がありますか？

また、次のエラーが発生します。
ValueError：0サンプル（shape =（0、0））の配列が見つかりましたが、check_pairwise_arraysでは最低1が必要です。

以前は同じデータで正常に機能していましたが、現在はそのようなエラーが発生します。 なぜそうなるのでしょうか？

こんにちは@bendiste 、

TrueとFalseを1と0として表すと、同じ結果が得られます。

最新のノートブックgower_function-v6.4.ipynbを使用していますか
https://sourceforge.net/projects/gower-distance-4python/files/
？

私は記事を書き終えています。うまくいけば、今月は、scikit-learnのマスターで実装が受け入れられるように、要求された変更を加える予定です。

こんにちは@marcelobeckmann 、お返事ありがとうございます。 そして、はい、私はあなたが示した最新バージョンを使用しています。 再ダウンロードすると、正常に機能しました。 私は機械学習の初心者なので、いくつか質問したいと思います。
1- KPCAを使用して、階層的クラスタリングアルゴリズムへの入力として次元を減らすことはできますか？
2-または、階層的クラスタリングへの入力として、高次元のデータセット全体を使用する必要がありますか？

こんにちは@marcelobeckmann 、
この実装に感謝します！

gower_function-v6.4バージョンを試しました。
カテゴリ列を指定するかどうかに関係なく、単体テストの距離は同じであることがわかります。 また、結果に影響を与えない独自のデータを試してみました。

これは正しいです？

ありがとうございました！

こんにちは@annelaura 、

返信が遅れてすみません。 はい、その通りです。そのテストは、categorical_features = [0、1]パラメーターが結果に影響を与えないかどうか、数値以外の列もオブジェクトとして識別できるかどうかを確認することだけでした。 入力データは同じであるため、結果は同じである必要があります。

いくつかの論文を終えた後、私は仕事に戻り、最終的にscikitマスターブランチに実装を提案します！ :)

@marcelobeckmannこれに関するニュースはありますか？ :)

こんにちはアレックス、私はレビューアがプルリクエストでこれまでに求めたすべての変更を完了しました。CIは緑色です。 また、レビュー担当者にpingを送信して、満足しているかどうかを確認しました。その後、このプルリクエストを閉じて、プッシュしてリリースします。

更新はありますか？ @marcelobeckmann

レビュー後、進行中の作業。

PRは承認されましたか？ @marcelobeckmann

まだ、最近のコードレビューの後、作業が進行中です。

残念ながら私はそれが必要です。

機能だけがどこかで利用できますか？ だから私はそれを自分で使うことができます（研究目的のために）

ありがとう

このPRでは、この関数の最新のコミットを取得できます。
https://github.com/scikit-learn/scikit-learn/pull/9555

私はそれをローカルで動作させることができました。 ありがとう！

このチケットをすぐに+1してください！ これに関するすべての作業に感謝します。

バンプ。 これは素晴らしい追加になるでしょう。 比較的簡単な計算でsklearnになるまでに4年かかったなんて信じられません!!

またはあなたは言うことができます：4年間のあなたの献身的な粘り強さに感謝します
自発的な努力！

または、次のように言うこともできます。4年間のボランティア活動に尽力してくれてありがとう！

あなたは正しいです、ごめんなさい。 私は失礼として出くわすつもりはありませんでした。 私はその努力に大いに感謝します。 私はこれをローカルでしばらく使用していますが、追加されるのを見るのは素晴らしいことです。 これは、混合データ型について私が知っている唯一の距離メトリックです。

ボランティアの努力は別として、コア開発者は考慮していません
この緊急性、混合型の処理方法には確かに課題があります。
トレインテストのセットアップでスケーリングを実行する方法について。

sklearnでそれを楽しみにしています。

このスレッドから「アイデアを借りた」と主張する人が、Gowerの距離を計算するためのパッケージをgithubでリリースしました（技術的には類似性）。 距離と類似性について言えば、この例は@marcelobeckmannの例と同じです。 これまでコードを一瞥しただけですが、ここに垣間見ることができます。

@marcelobeckmannのノートブックから：

    # This is to normalize the numeric values between 0 and 1.
    X_num = np.divide(X_num ,max_of_numeric,out=np.zeros_like(X_num), where=max_of_numeric!=0)

「マイケル・ヤン」より：

    # This is to normalize the numeric values between 0 and 1.
    Z_num = np.divide(Z_num ,num_max,out=np.zeros_like(Z_num), where=num_max!=0)

こんにちはみんな、これを監視してくれてありがとう。

人々がコードを取得して改善しようとしていることをうれしく思います。それは、ある程度の信用はありがたいものの、オープンソースになる目的です。

このPR ＃9555が受け入れられれば、このコードがscikit-learnの一部になることを願っています。

よろしくお願いします、

マルセロベックマン

その過程で頑張ってください！