七牛D-Future 破解数据三大难题：变现？交易？隐私？
对数据价值和变现形式的探索，在广告行业已进行了十几年，目前形成了比较完善的数据交易与定价机制，并且在规模化地创造整个互联网的营收。今年，国内就有两家大数据交易所（贵阳大数据交易所和长江大数据交易所）正式挂牌运营。因此，详细了解广告行业的数据变现方案及其在整个商业化机制方面的经验与教训，对真正理解数据价值，做好数据交易将会非常有帮助。为此，在七牛主办的D-Future大会上，360高级总监刘鹏（北冥乘海生）分享了自己在这一领域的观察和思考，并明确指出数据交易中所存在的定价和隐私问题。
那么，如今互联网上的用户行为数据到底有没有价值，数据到底该如何变现呢？这个问题将从什么是大数据谈起。
什么是大数据？
刘鹏对大数据的认识和其他人不一样。从实践的角度去理解，他并不认为传统的数据分析问题属于大数据问题。例如，虽然统计公司在每个省的用户比例等问题要处理大量日志，但这并不是大数据，而是属于传统数据分析的问题，因为通过很低的采样（如十万分之一的采样），将数据抽出来，用Excel也可以统计。
典型的大数据问题，解决问题的效果会随着采样率降低显著降低。例如，广告可看作典型的大数据问题，因为它需要分析全国每个人的行为特征、购物偏好。对十亿人里面的100万人进行分析，就只能对这100万人进行广告的RPM（千次展示收入）优化，最后的收益也只有在这100万人中产生。因为需要对全量数据进行处理才属于大数据要解决的问题，即真正的大数据应该处理海量的用户行为数据，而不是在部分采样的情况下进行。
两类数据应用：洞察与自动化
数据有两类基础应用，即洞察和自动化。洞察是全局或局部统计性的信息（统计数据）。而自动化是个体的行为特征信息的统计数据，这里的个体可能是人，可能是一个网站，而统计的则是大量个体的非聚合特征。洞察主要应用于宏观的决策支持，面向的对象是人。而自动化面向的是机器，如定向广告、个人信用，自动化主要用于微观业务的实施。在大数据技术迅速的今天，自动化应该放在更优先的地位。
数据变现基本原理
数据变现的方式非常简单。例如一个广告位，流量价值10000元，如果全部投放吉列剃须刀的广告，那么在用户总量中占比为50%的女性用户潜在购买的可能性较小。如果把流量区分开，把吉列的广告投给男性的用户，这时广告主只要出6000元，虽然流量只获取到一半，但有效用户并没有损失，并且成本降低了。剩下的一半女性流量，可以用于投放一个化妆品广告。6000+6000=12000元，相对于流量价值的10000元，所增加的2000元就是数据的价值。而这2000元的数据价值，正是因为知道了用户的性别而赚取的，这就是广告行业对用户属性和用户行为数据变现的简单原理。用这种方式进行广告变现，数据一定是在规模化大量的赚钱。如果对用户属性和行为有更详细的了解，那么就可以赚更多的钱。
在广告市场里，大部分是从事广告交易的公司，但也有很多从事数据加工和交易的公司。它们专门从事数据加工交易，既不买广告，也不卖广告，但它却是广告市场里的核心。通过它，大家才了解到数据对于整个互联网变现的核心地位。
三方数据与数据交易
现在所讲的数据交易都和广告相关，其他行业的数据交易还并未发展起来。要了解数据交易，需要知道几个概念，即三方数据。第一方数据是指广告主数据；第二方数据指广告平台数据，如Facebook提供的用户标签；第三方数据指其他来源数据，指手里有数据且愿意从事广告活动的第三方提供的数据。数据变现需要一个交易的过程，但这个过程还很不成熟。
数据交易存在的问题
数据交易所是数据交易市场的产品形态之一，它聚合了很多人的数据。如果你有自己的小网站，想把数据变现，那么就可以将数据托管给数据交易所，它获得网站数据后，加工成一些市场上可以流动的标签，再通过广告卖出去，随后和你分成。数据交易所聚合了多种原始的数据，通过加工成统一标签以后售卖，但它不从事广告交易，只从事数据交易。
行为数据交易三定律
数据交易有什么特点呢？刘鹏谈了自己对于数据交易的认识，并总结为以下三定律：
l 第一定律，数据只能交易，不能交换或者共享；
数据共享的事件似乎正在发生，各公司之间在相互的交换数据，希望能够对彼此的业务产生一些贡献。但事实上，结果只有两种：一种是在线上系统进行大规模数据共享交换的案例，这种只存在于有投资关系（即母公司和子公司控股关系）以后才会发生的数据交换，定价或者交易实际上发生在更高的资本之间。另一种，很多人的交换或者共享，这种的结果往往不会有下文，大家只是相互测一下数据对于双方是否有用，测完就结束了。其实，数据在互联网市场上变现很容易，这也是拥有大量数据的巨头公司不会共享数据的原因。即便百度这种大公司拿出一些数据进行共享，也只是短时的贴补，主要用于刺激市场的流动性，但这短期是可行的，长期很难形成规模。数据具有变现的价值，所以真正的共享是不存在的。唯一可共享的是政府数据，因为政府没有盈利的需求，但如果无边界的共享，也会成为一种灾难，所以政府数据的共享可描述成一种政府的转移支付。
l 第二定律，只有按效果而非购买量付费，才有足够的需求。
广告的程序化交易过程中，ADX在每一次impression（印象，放置广告图像的网页每一次显示，就是一次印象）都会向DSP发一次请求，所以每一个impression都会做广告交易。对方想要什么数据你就给他什么数据。结算不根据数据结算，你给了对方一百万个标签，他就给你标签的钱，而是根据最后赢得的广告展示量（即数据最后实际产生的效果）付费。
广告市场这样做交易，规模才可以做得更大，因为它解决了购买部分数据和按照效果购买数据的问题。如果整体购买数据，数据交易市场会做不起来。互联网所有的产品，不管是广告，还是将来的数据，一定是靠长尾的客户，靠头部的客户。现今的解决方案只适合广告产业，其他的场景怎样部分交易，怎样按效果交易，需要结合每一个场景讨论，全量交易没有前景。
现今的数据交易所还很初级，它还未发现数据交易中购买需求方的问题。数据需求方要买一部分数据，如果给他全量数据，不仅大量数据用不上，还会给对方造成成本的增加。但在广告交易里，这个问题已经获得解决。
l 第三定律，数据交易跟流量交易本质的不同在于，同一数据被越多的人使用价值越低。从流量看，一个广告位投一次展示，只能是一个人在用，而从数据看，知道这个人是男性，并告诉十个人，它的价值就自然地下降。
给数据定价是数据交易里面最困难的一步。互联网的广告和传统广告不同，互联网是通过拍卖的方式竞价，定价权掌握在需求方，广告主给要买的流量定价。广告对于不同的广告主，其价值不同，对甲方广告主可能值1块，但对乙方广告主可能值2块，这时广告定价1块或2块都不合适，而竞价可以解决资源的分配。数据最终也会走向竞价的模式，但数据的交易和流量的交易却有本质的差别，流量交易的量会受到限制，即一次就是一次，不可能两个同时投放。而数据的一个标签可以给十个人，现在的数字交易是不限量的，会发生数据的价格向流量价格的转移。
现在的数据交易市场存在一个很大的问题，即数据本身的交易量很大，但价格偏低。这是由于没有限制数据供给量，使得竞价环境不能形成，因此抬高了流量价格，低估了数据价格。但这个问题并不好解决，因为它会对前面的交易过程有深层次的影响和变化。只有把限量供应和竞价的问题解决掉，数据才能真正的合理定价。
未来的大数据行业，需要彻底解决数据交易的问题，数据交易市场才能爆发成长，因为一个没有交易的商品，很难获得大规模发展。
大数据隐私问题
关于隐私，你肯定不希望自己的个人数据泄露给不相关的人。欧盟负责隐私保护条例制定委员会——A29协会，对于隐私给出了一些基本的原则，这些原则也是现在欧美互联网公司的共识。基本原则包括：
l PII（Personal Identifiable Information）不能使用，如家庭地址、电话、名字等信息。PII严格禁止使用，也不能变成标签。
l 用户可以要求系统停止记录和使用自己的行为数据。
l 不能长期保存和使用用户的行为数据。以一年半为周期，数据超过一年半，备份也不允许，因为备份很可能会泄露出去。
实际碰到的隐私问题会更严重，比如朝阳区某个人xx岁，在xxx公司上班，如果对这个人较熟悉，对他有一定背景信息的了解，如果没有对这个人做任何的PII，就非常容易根据信息把他定位出来，如果表格上面有这个人的月薪，该信息就泄露了。
互联网大数据真正严重的问题，其一是稀疏行为数据的新挑战。这里分享一个故事，Netflix曾经有一个100万美金的推荐大赛，给的是每个人的观影记录，让大家给新的影片打分，并预测新影片是否会受欢迎。有个人参加了这个比赛，他看到了一条记录，关于ABC影片的观影时间和评价，立刻反应出该记录是由自己同事产生，同时，他发现除了这些观影记录之外，记录里还有很多关于同性恋的电影。但该同事并不想让别人知道自己在看同性恋相关的影片，当这位同事知道Netflix公司泄露了自己的隐私后，将Netflix告上了法庭。
因此，隐私的问题并不是指有人把用户的信息卖出，而是指熟人之间的隐私，即甲对乙有一定背景信息的了解，同时甲正在不计成本地了解乙的隐私。
隐私是大数据头上的达摩克里斯之剑，只是现在还未到爆发之时，大家也没有技术手段去规避这种问题。很多科学家和数学家现在都在研究，怎样在一个个性化的系统里和数据交易里降低风险，但至今还没有找到答案。但随着大数据产业的发展，我们有理由相信，数据交易里未解决的定价和隐私问题，终有一天会得到很好的解答。
编辑：闫志阳