围棋吧 关注:337,831贴子:10,209,725
  • 1回复贴,共1

转载:刘某两局比赛棋的数据分析(毒奶菇)

取消只看楼主收藏回复

首先是自己的看法:
1、95%,100%的重合一直只见说,没有看到数据来源(版本号,配置,分析者),不应该算实锤。
2、毒奶菇这篇文章,作者公开、方法公开、选用棋谱公开、结果数据公开,任何人可以用相同
方法去做,得出不同结论的话可以反驳,因此这种方式是科学的,结果也是我愿意相信的。
3、这篇文章给出了:全盘和leela第一选点80.33%的重合,作为对比的其他棋手(包括柯洁,星阵,
白宝祥等等),不超过70%,人类不超过61%。更重要的是,给出了稳定性的评价指标:胜率
方差,小于0.19。
4、由于这些数据,因此相信指控方,若刘某方不服,除了出来下棋证明之外(貌似现在不方便?)
其实可以很方便的用同一方法去反驳:即找出反例。众多棋谱中,找出人类下过80.33%重合的
棋谱,毒奶菇的证据则不值一提,应该道歉,登报也好,网络也好,当面也好。刘某也沉冤得雪。
5、像看法庭片一样,控方律师甩数据了,如果辩方拿不出什么好东西,评审团也好,看客也好,相
信会有自己的选择。
以下为转载毒奶菇在弈客的文章。
=====================================================================================
刘超疑似AI作弊一事,最近炒的沸沸扬扬,背景就不多做赘述了。之前弈客有详细的文章对此进行了报道:突发!线下业余大赛争议事件。
在这里,蘑菇利用了弈客鹰眼的部分功能,对刘超在丽水清韵杯的两局棋进行了详尽的数据分析,以供诸位参考。
弈客鹰眼提供了多维度的棋局AI分析,包含以下功能:胜率走势分析,胜率变化分析,招法水平分析,稳定性与重合度分析等。以下文中的图片,均为弈客鹰眼自动生成。
1. 刘超与胡煜清之局
分析方法如下:权重3f6c8dd8(4.22,192*15B),GTX 1080Ti单卡,每步固定30s。

首先给出了一个胜率走势图,可以看到黑棋胜率几乎是碾压式的增长,胡煜清毫无还手之力。在这颗星球上,能把胡煜清如此控到死、全程吊打的人类棋手,十分稀有。

这是双方每手棋的胜率变化值图标。蓝色表示黑棋胜率上涨,说明这一手的白棋招法有问题;红色表示白棋胜率上涨,说明这一手的黑棋招法有问题。
可以看到刘超全盘发挥极其稳定,最大胜率下降不超过3%。反观胡煜清的白棋,五步一小坑,十步一大坑,多手棋亏损接近10%。

这是弈客鹰眼给出的吻合度,双方与LeelaZero第一选点的重合比例。刘超高达80.33%,胡煜清只有40.98%。有人可能对80.33%没有概念,我们接下来对这个数值进行一些说明。片头的视频,演示了刘超在大量存在多个选点的选择中,与LeelaZero的神同步。
在同等条件下,我测试了以下几盘棋局:① 毒奶菇(黑)- LeelaZero,让两手的一局;② 杨冬 – 星阵围棋,5.2友谊杯;③ 星阵围棋 – 柯洁,4.27;④ 柯洁 – 芝野虎丸,4.29龙星对抗;⑤ 唐崇哲 – 胡煜清,4.30陈毅杯;⑥ 白宝祥 – 马天放,5.2陈毅杯;⑦ 胡晓 – 赵炎,4.29陈毅杯;⑧ 之前弈客线上比赛利用Zen7作弊的棋局(事情经过戳我)。对局包含了各种AI,职业高手以及业余棋手,样本非常完善。
排名顺序如下:
LeelaZero,69.10%,是一个3月中旬的权重。
星阵围棋(对杨冬),67.57%。
毒奶菇,60.89%。

(请原谅蘑菇的丑图)红色为刘超,蓝色为人类棋手,绿色和紫色为AI。
其他没有一个突破55%大关,和狗大战多次的柯洁,常年只能45%-50%。天天研究LeelaZero的老中医,只有区区41.89%。刘超学习的对象Zen7,只有51.43%。业余棋手最高的是胡晓,51.88%。80.88%吻合度异常无比,完全不可能是人力所及。
更进一步,弈客鹰眼对棋局每手胜率变化做了方差统计,以反映棋的稳定性。众所周知,AI与人最大的区别便是行棋稳定性,AI鲜有波动,然而人类波动极大。
刘超的方差只有0.19,可以认为几乎没有波动,简直是不可思议。胡煜清的方差1.41,由于棋早早输飞,所以也不是很高。但是即便如此,依然是远远高于对手的。胡晓、赵炎、白宝祥、马天放、胡煜清以及唐崇哲,在正常的胶着对局中,方差都在10以上。

(请原谅蘑菇的丑图*2)红色为刘超,蓝色为其他棋手。
蘑菇虽然与AI吻合度突破6成,但是方差的检验,马上暴露了蘑菇菜鸡的本质——高达30.33的方差。LeelaZero在计入本局Pass两手胜率爆降的情况下,也仅仅只有5.4。
以上两点分析,可以说刘超在本局中表现出了异乎寻常的吻合度和稳定性。
2. 刘超应对模仿棋之局
这一局棋,对手高度怀疑刘超利用LeelaZero作弊,所以主动采用了模仿棋。众所周知,LeelaZero对模仿棋的应对并不是非常完美,这不失为一种优秀的策略。比赛进行中,发生了一点小小的插曲,79手后刘超手机被收。之后的表现,所有看过棋谱的人,都得出了一致结论——判若两人。
分析方法:权重158603eb(4.25,192*15B),GTX 1080Ti单卡,每步固定10s。

63手胜率暴降,是黑棋占据天元,主动终结了模仿棋。之后,黑棋胜率继续稳步攀升。但是在手机被收走之后虽然僵持了一会,但是不久就出现了胜率爆降。之后双方胜率震荡明显,招法显然都在LeelaZero的估计之外,最终黑棋恶手更多,局势闪崩。

同样的,这是双方的胜率变化图。可以看到黑棋除了63手,下了天元是明显问题手之外,79手之前的表现堪称完美。而白棋的表现,相较而言就糟糕了许多。但是在那之后,黑棋表现极其不稳定,就像图上红色的尖峰,弈出了大量的连续恶手。
刘超这局棋前后差异巨大,这个说法是完全站得住脚的。我们可以合理的推测,如果刘超采用了LeelaZero作弊,同伙见到模仿棋,看事不对,选择了人为在63手终结模仿。

从人类的角度来说,这时候占据天元的确是一个比较好的终结时机。

这是本局弈客鹰眼给出的吻合度。考虑到黑棋后面1/3时间几乎全是恶手,刘超与AI吻合度竟然仍能够维持53%,前半盘的重合度可见一斑。
结论:刘超这局棋前半盘与LeelaZero重合度异常高,后半盘发挥异常糟糕。


IP属地:江苏1楼2018-05-09 13:54回复
    如果我是事件主角,且是被冤枉的,看到毒奶菇的文章,我第一反应是这不可能。
    然后由于我研究AI好几个月了,运用AI很有心得,首先验证毒奶菇的数据是否正
    确,其次找些棋谱证明毒奶菇错了,就是有公开棋谱是超过80%的,自己就清白了。
    貌似这样比较符合逻辑?


    IP属地:江苏11楼2018-05-09 17:36
    收起回复