2017年7月
            1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31          

最近のトラックバック

無料ブログはココログ

« ぽかーん… | トップページ | もう少しメモ »

2009年5月11日 (月)

GPS将棋の発表から得たヒントなど

ほとんど個人的なメモです。

…Bonanza Methodを一度は実装した経験がないと意味不明だと思う。

  • Bonanza Methodで『進行度』の計算の仕方を調整
  • 『進行度』を学習する時は、他の特徴量の学習はOFF
  • 序盤/中盤/終盤に評価関数を分けている。ここで、進行度を0~1とすると、例えばある局面の評価値は、
    • 0<=進行度<0.5 の場合 序盤の評価関数×(0.5-進行度)+中盤の評価関数×進行度
    • 0.5<=進行度の場合 中盤の評価関数×(1.0-進行度)+終盤の評価関数×進行度
    のように求めている。
  • Bonanza Methodを行うにあたって、特徴の変更中にPVが変わらないという(かなり強い)仮定を置いている。
    全てのPVを求めて保存→各局面に対してBonanza Method実行を50step程度(これで大体値が収束)
    再びPVを求めて保存→Bonanza Method実行…の繰り返し。
    毎回PVを求める方法と比べるとかなり高速化が期待できそう。
  • 静的探索の中では、stand-patする際に脅威を評価しているが、学習用では普通にstand-patしている。やはり脅威の評価をするとうまくPVが求められなかったりとかややこしい問題に突き当たったそう。(うさぴょんもそれではまった)
  • Bonanza Methodの実行中、慣性項(のようなもの)を持たせて、同じ方向に特徴が動く場合には、大きく動かす。正負が逆転する場合には、直前の学習が過学習だったのではないかと看做して、前回のイテレーションでの増分値の半分だけ戻すなどの工夫を行っている。他にも怪しいヒューリスティックスが入っている(ある条件化で、全ての特徴を全部1/8にするとか)ので、詳しい条件は、gpsshogiの学習部分のソースを読むべし。
  • featureを考えるのは、将棋四段位の人の仕事。ただし、最初は考えたfeatureを入れても強くならなかったそうで、こういうfeatureが足りないからこういう手が指せないとかここで受けに回れないとか、そう言うのはプログラミング的な知識と将棋の知識と両方がないと非常に難しそう。
  • 棚瀬さんの意見では、将棋の知識は初段位あればいいんじゃないかとも言っていたが。
    • 余談として、保木さん=将棋倶楽部24でR500位だと、へぼい道場だと初段相当だとか(^^;
    • R250のオレはどこへ行けばいいのやらwww
  • 特徴を追加・学習した場合、中盤の10局面を用意し、先後を入れ替えて各々一手30秒で直前のバージョンとの自己対戦でチェック/stableなバージョン(手で評価値を調整したもの)との対戦でチェックし、両方に対して13勝7敗(これだと本当は有意性が足りないみたいだけど)以上しない場合、その特徴はReject
  • さらに、featureを追加した四段程度の棋力の人が棋譜を見て、変な指し手がないかどうかチェック。あからさまに変な指し手がある場合にはやはりReject or 再学習
  • 上記のようにしないと、超攻撃性が高い個体が攻撃性の高い個体に勝つというような現象が起きるそう。
  • そして、超攻撃性の高い個体は、うさぴょんみたいなのにもぽろっと負けたり、と。
  • 実際、自己対戦は危ないよなぁ…<個人的経験から。

用語とかは全く正確じゃありませんw 特に、『Bonanza Methodの実行中』と言うのは、本来の意味だと『PVを求める部分』と『PVに対して特徴ベクトルの調整を行う』のは一つの処理のはずなので。上記では、『PVに対して特徴ベクトルの調整を行う』部分のみを指して『Bonanza Methodの実行中』とか言ってたりします。

進行度の調整の仕方に関しては、序盤・中盤・終盤の評価関数がある程度ちゃんとしてからでないと進行度が計算出来なさそう。

« ぽかーん… | トップページ | もう少しメモ »

「うさぴょん」開発」カテゴリの記事

コメント

コメントを書く

(ウェブ上には掲載しません)

トラックバック

この記事のトラックバックURL:
http://app.cocolog-nifty.com/t/trackback/148072/44974137

この記事へのトラックバック一覧です: GPS将棋の発表から得たヒントなど:

« ぽかーん… | トップページ | もう少しメモ »

コンピュータ将棋BOOKS