人性啊人性：OKCupid 在用户身上做过的有趣实验
keep_beating @ 2014.07.31 , 10:43 下午在择偶网站 OKCupid 的博客上，Christian Rudder 首次承认网站曾经在用户身上做过实验。在博客中，他说道：OKCupid 或许很受欢迎，或许成就了许多段恋情，或许做过 blah blah blah，但 OKCupid 所做的速配并不是有先例，有大量案例可以学习的东西，也不是一张蓝图就能说清楚的。大部分点子都是坏点子，而即使是好点子也仍有可改进的空间。做实验就是让他们摸索如何优化网站的方式，就像下面这个往土豆里插电极的细路一样。
[-]
Facebook 不久前通过“操纵用户主页信息流来控制用户情绪”的实验引起了多方不满，甚至连联邦贸易委员会(FTC)都被搅了进来。或许这样的实验很残酷，但是朋友们：如果你们在使用互联网，那么在任何一秒，你总会是某个/某几个网站的实验对象。这就是网站工作的方式。
下面是几个 OKCupid 所进行的有趣的实验：
OKCupid 十年的历史就是一句俗话的缩影：进两步，退一步(two steps forward，one total fiasco)。有一段时间我们有了这个天才的相亲 app 的点子(注册用户没有照片)；我们花了一年半的时间开发它，但不到半年它就从应用市场下架了。
当然，为了庆祝这个天才的 app 正式发行，在上架当天 OKCupid 选择移除每一个用户的照片，这就是2013年1月15日的——“盲目的爱情日”。
但在那天，网站的所有指数都下降了：
[-]
不过与一个正常的周二相比，网站人员发现在这用户没有照片的7小时内发生了很有趣的事：
当天下午4点，网站恢复了用户的照片信息，2,200 名正在“盲聊”的用户莫名其妙地终止了对话，前7个小时收到的良好效果完全消失——实际上，照片恢复后网站收效还不如正常时期，这就好比在派对正 high 的时候突然把房间灯打开。
[-]
这个现象让我当时就很好奇，所以我特地去看了一下用过我们相亲 app 的用户数据。我注意到了相似的现象：这些从线上聊天走向线下约会的用户，不论对方长得如何，或多或少地都认为约会是件愉快的事。下面是对女性用户反馈的信息(男性用户的数据相似)：
[-]
奇怪的是，当男方用户外貌上比女方出众时，女方反而不是那么高兴了——我自己的理论是：长得好看的男人很多都是 asshole。总之，有趣的地方在于同一批女性用户，在网站上的反应就很不一样：
[-]
所以并不是这些用户认为“外表不重要”，基本上，技术允许用户有多肤浅，用户就有多肤浅——只要有照片，他们就是外貌党。
所有的约会网站都允许用户之间对资料相互打分，OKCupid 最早的系统给了用户资料两个可以打分的项目：“性格”和“外表”。
我发现了一张很老的截图，图中照片上的“加载中”标志可以基本概括 OKCupid 头四年的运营模式。总之，下面箭头所指的就是我们的评分系统：
[-]
我们最初的思考是，一个人可能长得很古典美，同时性格很酷，而我们想通过评分系统来让用户认识到这一点。但在当时比我们的网页 bug 更多的就只有我们团队对人性的了解了。
下面是我从网站数据备份中挖掘出来的信息，每一个点代表一名用户，在一名用户得到超过25次评分后，“性格”和“外表”之间的差距不超过0.5分——92%的样本都是这样，而评分越高，两者之间的差距越小，所以上述的比例在高分用户中甚至能达到100%。
[-]
简言之，在我们的用户中，“性格”与“外表”就是一回事，而这也很容易想通：下面这位网站用户，性格的分值高达99%：
[-]
...顺便提一句，她的个人档案中，一个字的介绍都没有——这女的长得这么辣，还那么有个性，简直太酷了啊，必须马上追求之！
当我们放弃这两项参数，直接用一个分值来替换时，我们进行了一个小实验来验证我们之前的猜测——用户真的只看照片。我们选取了一小批用户作为样本，在一半的时间里隐藏用户的文字描述，这样就产生了两组对不同个人资料的评分，一种是有照片也有文字信息的，另一组则只有照片，下图就是两种评分的对比。同样地，每一个点代表一名用户：
[-]
所以上图的中心思想就是，一张照片胜过千言万语，对自己真实的描述...其实没什么价值。
对 OKCupid 来说，终极问题就是：约会网站真的有用吗？根据公司内部的算法，我们网站的“配对率”(match percentage)指数对预测用户在网站上开展的关系是很可靠的。算法将用户信息成功率，聊天长度，用户间是否交换联系方式等联系到一起，但在我们脑中却一直有这样的意识：或许它成功只是一个巧合，或许只是我们告诉人们这样的模式管用，或许人们互相之间有意思和我们的网站都没有关系。
为了验证网站的有效性，我们选择了若干对不太适合对方的用户(实际上匹配度只有30%)，然后通过网站告诉他们他们简直是天造地设的一对(显示结果为90%匹配度)。结果并不令人吃惊——在得到了网站算法正面的反馈后，他们向对方发送信息的几率大大提高。毕竟，告诉你什么样的人适合你去追求正是配对网站的职责。
[-]
之后我们将分析进行得更加深入。网站所显示的匹配度到底是只增加了用户之间打个招呼的几率，还是就因为这个简单的百分比他们就会喜欢上对方呢？——就我们所知，是的。
当网站告诉用户他们和对方很合适时，他们就会表现得如同般配的一对，就算他们的个性确实很不合适。
[-]
关于用户之间的对话，我们的最终度量是四条信息往来的临界值。虽然信息往来越多，配对的影响因素会变复杂，但总得来说“网站显示越合适，成功率越高”的定律却仍然适用。
这让我们感到有些担忧，我们自以为有效的算法可能一文不值，真正让人在一起的是网站匹配度所带来的积极心理暗示。再一次，为了找出配对成功的真正因素，我们做了相反的实验：告诉实际上比较般配的用户他们之间不合适，下面就是之后看到的现象：
[-]
如上图所示，最理想的情况在最右边那一列(代表两名用户都被告知和对方很合适)，而结果显示，OKCupid 的算法肯定是管用的，但这并不是全部：如果在网站提供更高的匹配率和根据实际情况给出匹配率中只能选一个——实际上两者都一样好用。
[keep_beating via blog.okcupid]