« 季節外れ?に風邪など | トップページ | misaki900に勝てなくなりました on floodgate »

UCTなど

ねこにゃの開発は、少しだけ進展。

長らくバグっていた連の差分更新やらその他を諦めて、超シンプルなコードから書き直し。

この状態で、ほぼ完全にランダムに手を選択すると、

9路の初手からは、平均110手でシミュレート完了・1500Playout/sec位でした。

で、そのままUCB1・UCTを入れてみて、10秒思考で勝也と対局。

勝也は、ほとんどの局面で1手1秒もかけずにバシバシ打ってくるので、大分思考時間に差がありますが、どうやら『中国ルールなら』互角に戦えるっぽい感じです。

…そして、また『日本ルール』の壁にぶちあたってます。

単純に勝也がパスした局面でパスすると、ほぼ確実に負けてるんですよね(苦笑)。その後、ごちゃごちゃ打ってると、いつの間にか戦いが全盤面を巻き込んでいて、怪しげな手で『中国ルールなら』勝っているという感じ。

そう、日本ルールでは2~3目負けてるんです…OTL

『日本ルール用終局判定』とか作成して、『日本ルールで』勝っていたら相手がパスしたらパスするとか、そういう工夫をするか、あらかじめ少しコミを大きめに設定しておくという手があるかと思うんですが…前者は結構実装が大変。そして後者については、試してみたら、『負けてる』と思い込んで、暴れまくって状況を悪くするケースが目立つ目立つ(苦笑)。

そして、この程度のシミュレーションの精度や速度では、19路では使い物にならないこともほぼ明らか。

シミュレーションの精度をあげて行く工夫と、速度を上げるための何かを並行して考えていかないとダメですね。速度を上げるには、一つ比較的簡単な方法があって、モンテカルロシミュレーション部分を並列化するというのがあるのですが、手持ちのマシンでは所詮2倍とか4倍程度しか早くならないですし。精度を上げていく方は、読まなくてもいいような変な手も読んでいるので、これをどうにかしていく(パターンを使うことになるでしょうね)方向が一つと、UCTの各ノードで、とりあえず全候補手を(ランダムな順で)読んでみる代わりに、一部の候補手(たとえばアタリの石を逃げる手や石を取る手)の優先度をあげていくとか、最初は一部の候補手しか読まない(適当な回数シミュレートしてみて、どうも思わしい手がないと思ったら別の候補手も読む)とか、そういう工夫が必要そうです。

また、UCTに関しても、単純に上のノードに1回のシミュレーションの結果を繰り上げるのではなくて、もっとMinMax的なことをやってもいいような気がしています。

たとえば、あるノードで、次にある手を打たれたら「勝ちはない」のなら、そのノードの勝率は完全に0にしてしまうとか。…全然理論的な裏づけはないんですが(苦笑)。

うーん…先の、最初は一部の候補手しか読まないとか、キラー手的な手を先に読むだけで、同じような効果が得られるか…。

いまいち、どういう風にチューニングしていけばいいのか、という感覚が掴めない感じですね。未だにアルゴリズム的に何となく納得できていないっていうのが一番大きな理由かも知れません。うまく行くことは分かるんだけれど、っていう意味では、αβでも同じような感覚が未だにありますね、そういえば。

…長い長い呟きでした。しかも、誰の役にも立ちそうにないし(苦笑)。

|

« 季節外れ?に風邪など | トップページ | misaki900に勝てなくなりました on floodgate »

「ねこにゃ」開発」カテゴリの記事

コメント

そして、書いてる傍から、今日のプレイログを見ると初手に(2、九)とかに打って負けてる…OTL

単純なUCB1だと、選ばれたのを見たことないんだけれどなぁ。>初手に盤端に打ってしまう手

どこかUCTの実装にバグがあるか、シミュレーション速度が落ちてるせいなのか、難しいところです。…多分後者だと思いますが。

思考時間10秒 対 思考時間 20秒 で実験を行うとか、プレイアウト数固定で何かやるとか、そういうことを考えないとダメかな。

それから、どうにも思考ログが残しにくい(苦笑)。
これも何か解決方法を考えないと。

思考の結果を視覚化する方法としては、最終的に黒地になった部分、白地になった部分を、その確率によって色付けする、という方法を多分山下さんのところの掲示板で読んだ気がするので、試してみるかな。

…年末進行が終わったら。

いや、その前に、世界コンピュータ将棋選手権の準備しないといけないだろう、私…。うさぴょんのソース、眺めてパラメータ少しいじったりはしたけれど、本質的な改良に着手できてないしなぁ。

投稿: うさぴょんの育ての親 | 2008年3月29日 (土) 22時17分

コメントを書く



(ウェブ上には掲載しません)




トラックバック

この記事のトラックバックURL:
http://app.cocolog-nifty.com/t/trackback/148072/40666966

この記事へのトラックバック一覧です: UCTなど:

« 季節外れ?に風邪など | トップページ | misaki900に勝てなくなりました on floodgate »