一位内部人士解释了算法如何重塑金融
原文作者： Logic Magazine的编辑
翻译： 中国特色。NET
近年来，我们越来越多了解到算法在我们生活中的作用。算法有助于决定人们是否获得工作或贷款，他们阅读的新闻（无论真假），甚至是他们的监禁刑期。
但算法也在重塑金融世界，并且产生了极为深远的影响。在金融化资本主义时代，金融在全球财富和工作组织中发挥着重要作用 – 这意味着每个人都会感受到行业转型的影响。
我们与一位算法交易员坐下来了解算法如何重塑金融行业，以及此事的重要性。我们谈到了算法金融实际上是什么，谁是可能会出现在新的大数据淘金热中的赢家和输家，以及为什么我们可能会进入一个非理性的机器人繁荣时代。
让我们先谈谈你的背景。你是如何进入金融业的？
我一直对经济学感兴趣并且具有量化的背景。任何在我学习的专业上取得成功的人最终都会非常靠近量化。毕业后，当我试图找到一个收入较高的职业，同时也允许我学以致用时，我开始关注金融业。我最终在一家投资银行的交易大厅找到工作。
大多数大型银行至少有一个，通常是几个交易大厅。这是一个实际的楼层，大约相当于一个足球场的大小，充满了与寻求交易股票，债券或期货或融资的大型投资者做生意的交易员。银行通过收取佣金或“做市”来赚钱 – 在买卖双方之间进行中介，在等待双方配对的同时用自己的钱来承担一些风险。
当我想到一个交易大厅时，我想到一群人在电话里大喊大叫，类似于”华尔街之狼”-的样子。
现在人们不再对着电话大喊大叫了。交易大厅随着时间的推移已经变化了很多。它过去更多是关注全球市场的实时交易流。但现在则是越来越多的关于如何实现这种交易流，以及允许人们从该流程中赚钱的专利。
我喜欢它。交易大厅仍然事实上是全球市场的许多协议和交易发生的地方。这令人兴奋。如果你想用好你的智力，你会如鱼得水。你不只是坐在某个地方的办公桌前，或者试图通过一些随意的分析来说服巨型企业来支持你 – 这可能更像是一场推销游戏而不是一场智力锻炼。
不久，随着时间的推移，我调到金融行业的投资策略部门。我开始帮助大型资产所有者 – 养老基金和主权财富基金等实体 – 将资金分配给系统化的投资项目。我调去这里，因为这是大多数金融企业在2008年金融危机之后开始重点发展的地方，因为每个人都意识到旧的投资方式并没有真正按照他们的意愿去做。
投资组合依然暴露于相同的潜在风险。但技术现在使投资者能够更好地了解他们的风险，并更直接地控制他们的投资。转变的一部分是，当人类决策没有增加价值的时候就不用它。
这些新的投资方式是什么样的呢？什么是“系统投资计划”，它们如何适应整个算法金融领域？
算法实际上在金融中应用有很多种，因此算法金融这个术语的使用过于宽泛了。
至少有两个领域是被算法主宰的。第一个是经常被称为算法交易的东西，它专注于市场微观结构。人们对计算机进行编程，以便对股票的买卖做出瞬间自动决策。你应该一次购买一大堆股票吗？或者你应该随着时间的推移拆分购买？你如何更智能地执行交易？算法交易使用算法来帮助回答这些问题 – 这是一个巨大的行业。有很多对冲基金和传统投资银行试图在这个领域赚钱。
另一个领域，我更关注的领域，有时被称为系统投资，有时也被称为量化投资。这也是非常算法的投资。它涉及使用算法根据数据，系统地分配资金。
量化投资的早期版本 – 大致在20世纪50年代开始，随着现代投资组合理论的诞生 – 旨在制定规则以存下退休金。这些规则应该可以帮助人们决定将多少资金投入股票以及投入多少债券。一旦你做出了这个决定，你就有了一条规则，允许你自动地以某个定义的频率在股票和债券之间分配资金，而不需要人类介入并且做出任何定性决策。这个基本框架在各个规模的投资组合中得到迅速采用，从个人投资者的共同基金到世界上最大的基金的资产配置决策。
然后人们采用该框架并将其应用于越来越多的底层资产，具有越来越精细的粒度。因此，现在你不只是制定规则来决定投资组合中股票和债券的总体组合，而是制定哪些股票，哪些债券，哪些商品，哪个玉米期货等等。用于分配资产的规则变得更加复杂。
当你说“制定规则”时，我们究竟在谈论什么？
这些规则并不需要任何进一步的人为干预，他们完全定义了一个投资组合。但在实践中，投资并非完全基于规则：投资者将模型输出作为基准，然后根据自己的决策进行调整。人类洞察力可以通过各种方式进一步改善资产组合。例如，投资者可能想购买更便宜的股票，或者通过在合适的时间进出市场来择时交易。或者他们可能想要寻找新的资产，如商品和抵押贷款证券，或改善风险的程度。
然而，最近，计算能力和金融工程的进步极大地扩展了可用于投资的分析工具。最新的“规则”涉及开发训练大量数据的机器学习模型。它可能是来自上市公司财务报表的数据。它可能是宏观经济数据。它可能是某些金融工具的价格历史。它也可能是更为深奥的数据，如卫星图像。
由机器学习模型驱动的投资决策的具体例子是什么？
您可以购买一个由持续抓取Twitter的公司开发的“情绪”分数，以了解市场情绪或特定公司的变化。您可以使用该数据来训练您的模型，然后可以确定是否购买或出售某些股票。通常，情绪评分等信号会很快衰减，因此您希望能够快速进行交易。
这个过程的自动化程度如何？我们是在谈论软件向人类交易者提出建议，还是实际执行交易本身？
人的监督程度各不相同。在复杂的量化投资者中，这个过程是高度自动化的。这些模型几乎不断地进行研究和改进，但您很少会干预实时模型的交易决策。许多对冲基金，共同基金和交易所交易基金（ETF）都是自动运行的。
相比之下，大多数传统投资者使用模型来提供指导而不是生成自动交易决策，因为他们不太可能实施复杂的交易策略。
机器学习的挑战之一是可解释性。随着模型变得越来越复杂，解释它产生的结果会变得更加困难甚至不可能。随着公众对科技行业的审查越来越多，这已经成为一个令人担忧的问题，因为你有算法制定决策，以各种方式影响人们的生活，而这些决定的推理仍然完全不透明。
当金融行业将大量数据输入模型以做出投资决策时，结果的可解释性有多重要？
我认为结果应该是可以解释的。但这不是普遍的看法。事实上，人们已经产生相当大的分歧，他们有些认为可解释性阻碍了这些技术的进一步使用，以及那些坚持可解释性很重要的相当顽固的人。
但在某种程度上，在我们开始使用机器学习之前，可解释性已经是一个问题，因为即使是传统的投资模式也受到一些相同问题的阻碍。金融不像物理学。您有很多反馈循环机制影响参与者与金融市场的互动方式。
举一个简单的例子，你可能会看一下股票的价格数据，并得出结论，因为这个股票在上个月上涨，所以今天购买该股票是个好主意。如果你系统地这样做，你可能觉得自己会赚钱。但如果其他人得出相同的结论，那么股票今天可能会因股票在过去一个月的走势而被大量买入。如果它已经被炒高了，你实际上可能会在下个月亏损。
如果您没有考虑到历史数据与市场作用的关系，查看历史数据以确定您的投资方向是毫无用处的。在我给出的例子中，如果你没能解释为什么股票发生这样的变化，你可能不知道这个基本机制并不存在，或者它不够稳健(robust)，不足以让很多市场参与者想要利用这种现象。
所以可解释性一直是一个问题。每个人都在寻找一个故事，说明他们为什么要做他们正在做的事情。其中许多故事都不那么稳健。
但是，无论是算法还是执行交易的人，难道没有强大的经济动机去尝试理解为什么你正在做你正在做的事情吗？否则似乎很容易损失很多钱。
当然。但投资的市场结构削弱了这种动机。
正在开发最复杂的量化技术的人们为对冲基金和投资银行工作。对他们来说，有两种赚钱方式。您通过对您管理的资产收取费用来赚钱，或者您可以通过基金的表现赚钱。这种区别将让您了解为什么动机会被稀释。因为即使您的资产表现不佳，您仍然可以通过收取管理这些资产的费用来赚钱。
这些费用的回报是如此之大，以至于如果你可以维持一个故事，为什么你的技术优越，你可以长期管理资产，赚大钱而不必表现良好。而且，公平地说，有时需要花费数年时间才能知道您尝试过的量化技术是否真的有效。因此，即使你不是在短期内赚钱，你也可以有一个合理的故事，说明你为什么没赚到。
因此，对于基金经理来说，募集大量资产和执行成功的策略同样重要。而募集资产主要是营销游戏。
你通过谈论你的算法和机器学习模型和人工智能技术等来玩这个营销游戏。
对。让我们来看看对冲基金。对冲基金是一种非常昂贵的投资管理形式。因此，他们需要证明为什么他们应得这么多报酬。
有大量数据表明，平均来说，虽然您支付了对冲基金所有费用，他们对您的投资作用并不大。对于对冲基金行业而言，过去几年其产生的回报并不高。因此，对冲基金在营销故事中具有差异化的强大动力。对冲基金的第一个营销问题始终是，“你为什么能超越其他对冲基金？”
投资者想知道鉴于对冲基金行业整体表现不佳，一家对冲基金将会怎样赚钱。如今，投资者对技术，大数据，机器学习和人工智能的方向感到兴奋。这些工具提供了未证实的回报的承诺，不像旧的策略可能会暴露他们所吹嘘的回报。无论你是否真的擅长对冲基金的技术，你都需要讲一个你可能擅长的故事。
过去几十年中一些最着名的对冲基金经理 – 史蒂夫科恩，保罗都铎琼斯 – 正在推陈出新，推出技术驱动的量化投资基金。他们雇用物理学家和计算机科学家编写算法来投资，因为这是投资者想要的。你看到大量对冲基金在这个方向上重塑自己的竞争力。
它让我想起了一些创业公司创始人向硅谷风险资本家推销自己，他们用人工智能或其他热门领域的流行语来作为他们的讲台。初创公司可能会获得资金，但这项技术可能无法真正发挥作用 – 或者甚至可能不存在。这些初创公司称人工智能可能是菲律宾一群工人手工输入数据。
在金融行业，投资者希望使用大数据，机器学习和人工智能的公司 – 但这些新工具实际上会产生更好的结果吗？
这是个好问题。探索它的最佳方式可能是谈论数据的作用。金融行业对于可用的新数据量感到非常兴奋。想想哪种数据可能对预测石油未来的价格有用。这可能是政治新闻，监管机构的公告，炼油厂的卫星图像，以计算石油储备。那里有大量不同类型的数据 – 几乎你能想到的任何东西。
除了新形式的数据外，还有新的数据分析形式。复杂数据分析的早期版本包括查看上市公司的财务报表。但现在您可以以更有趣的方式解析这些语句中的数据。在过去，你可能会关心公司有多少债务或者它的收益相对于它的价格，你可以将这些数字与更广泛的市场进行比较。但是，您最终会受到数据源和处理此数据的能力的限制。
现在，您可以在数千种股票中更系统地分析更多变量。您还可以做更多奇特的事情，比如使用自然语言处理技术来弄清楚公司在其声明中所说的内容，而这些内容并未反映在其报表中。评论对于以前的利润表中发生了怎样的改变？他们用来描述基础业务的词语是什么？这种语气与其竞争对手使用的语言相比如何？尽管它与您之前获得的数据相同，但您拥有更强大的处理能力和更好的技术来理解这些数据。
挑战在于，并非所有这些数据来源和分析它们的方法都有助于预测金融工具的价格。许多新数据集，如卫星图像，往往相当昂贵。并且他们可能不会从价格，公司，员工等大量数据流中带给市场参与者更有用的信息。我们仍然处于试图弄清楚如何处理所有数据的阶段。其中一个答案可能是大多数数据都没那么有价值。
大数据淘金热
让我们姑且假定他们是有价值的。那么金融业看起来像什么？
每个人都在与其他人竞争。如果一家公司通过量化技术成功地使市场更有效率，那么其他人获得超额的投资回报的机会就会变小。将有一两家公司擅长创新，并认识到其他人没有认识到的事情。但是其他人都只能争夺边角料。
人们所具有的谬误之一就是假设因为在某些公司工作的人很聪明，他们就一定会成功。但是，如果其他人都理解人工智能或机器学习或大数据，那么他们也理解这些在某种程度上是无用的。
因此，当这些技术作为一个整体在整个行业中传播时，它们开始变得不那么具有差异性。这对就业有何影响？您如何看待这些技术影响金融行业雇用的人数或不同角色所需的技能水平？
早在金融危机爆发之前，抵押贷款支持证券业的兴起就有了理论基础。如果你可以通过将一堆抵押贷款捆绑在一起来分散投资者的风险，那么投资者应该愿意接受较低的回报，这反过来应该降低购房者购买抵押贷款的成本。这就是理论：当金融市场运作良好时，利益应该在整个经济体中渗透。显然，在2008年，该理论破裂了。
在量化投资领域，同样的理论也在发挥作用。假设人们通过投资股票和债券来存下退休金。这些资产对他们来说要便宜一点，因为市场上有各种各样的参与者正在争取让市场更有效率，因为他们有这样做的经济动机。
另一方面，整个金融业也有动力鼓励那些不了解他们的人给他们钱来做普通投资者不了解的所有事情。“给我钱用机器学习技术来管理你的钱，即使机器学习技术不起作用，因为每年拿2％的资金对我来说是非常有利可图的。”因此，让市场更有效率与不增加价值的金融服务的过度扩张取得了平衡。
什么机制可以消除这种情况？嗯，人们需要意识到这个整个行业获得的收入远远超过了它所产生的价值。
这种认识实际上是如何开始重塑行业的，以及新技术在这一过程中将扮演什么角色？
简短的回答是，由于技术可以完成这些工作，大量工作即将被淘汰。考虑到规模效益，因此您可能只需要更少的金融机构来替代那些无法生存的公司。
以共同基金行业为例。它在美国拥有超过十万名员工。这些工作中的每一项工作都存在风险，因为他们意识到这些基金的价值可以通过正确的计算机系统进行拟合。目前，这些工作是由惯性维持的，或者是由某个基金经理为什么会比指数基金赚更多钱的故事来维持。但那种情况正在改变。这种变化将在未来几年内发挥作用。
以波士顿的大型基金富达和普特南为例。那些是古老的大型机构。实际上，除非他们快速发展，否则所有这些工作都面临风险。即使他们这样做，自动化也会伤其筋骨。对冲基金，同样的情况。他们中的一些人将能够从新技术的开发中获得价值，但其他人将被计算机所取代。
您已经看到投资银行发生了重大变化。尽管投资银行的实际规模，员工人数以及对经济的影响仍然非常大，但银行内部的实际参与者已经发生了相当大的变化。它更加自动化。投资银行内部的许多实际操作都是由计算机完成的。不是人类决定购买苹果股票;它的计算机决定购买Apple股票。因此，工作转移已经发生。
金融公司越来越多地成为科技公司。摩根大通拥有50,000名技术专家，其中三分之二是软件工程师。这比许多大型科技公司更多工程师：例如，Facebook总共雇佣了大约30,000名员工。
你已经在金融行业工作了一段时间，所以你亲眼看到了这种转变。技术专家的涌入是如何改变这个行业的？
投资银行等传统金融公司的俱乐部性质已被淡化。有更多的极客和书呆子。某些笑话不再讲了。关于餐馆或雅皮文化的谈话取代了关于足球的谈话。
文化已经柔和了很多。它不太受肾上腺素的驱动。也不那么响亮。这个价值不是由对着电话大喊大叫的人提供的，而是由坐在电脑前的人，写出正确的算法，需要一点思维来完成这项工作的人提供的。旧模型是绝对的能量推动交易流动。新模型是通过计算机推动交易流动。
所以更少“华尔街之狼”和更多 “社交网络”。
完全正确。但这种冲突仍然存在。例如，人力资源部门招聘的方式，特别是大公司，和实际需要的候选人之间的差距仍然存在很大的差距。因此，您将看到大公司内部完全改变招聘的方向。传统的招聘路径并没有给你足够的优秀量化候选人。
回到就业问题：你说你预计这些技术的最大后果之一就是减少金融业雇用的人数。这是否也会影响整个行业的规模？一方面，似乎许多工作可以被淘汰或非专业化。另一方面，似乎有可能通过这些技术加强金融部门相对于其他经济部门的规模。
我觉得你是对的。
使用量化技术管理货币存在天然矛盾。假设你是一个对冲基金，你会因为先进技术而获得很多报酬。为了向您的客户证明您的技术确实能够以可复制和可持续的方式赚钱，您需要有点开放式的谈论该技术的工作原理。您可能不得不谈论实际的算法本身。但当然，一旦你描述了这个算法，那么为什么投资者需要付钱给经理来做呢？这只是几行代码。一旦你开发了它，你可以以接近零的边际成本运行它。
一些成功为其量化基金筹集资金的管理人员可能已经完成了教育投资者他们不需要为这些技术支付那么多钱来投资。结果是费用快速下降。
目前，投资行业基金的最大增长发生在BlackRock或Vanguard等公司。这些公司正在推出一些使用算法进行投资的基金，但收取的费用非常低。他们正在与对冲基金竞争，对冲基金不得不降低自己的费用作为回应。但BlackRock和Vanguard也在与自己竞争，因为他们正在教育市场为什么他们自己以前的产品价格过高。
如果您根据管理的资产数量来衡量其规模，这些实体的增长速度是爆炸性的。贝莱德此时管理着数万亿美元。但它从资产中获得的实际收入并没有快速增长。因此，您可以看到两种力量在起作用：资金的扩张是按照量化来管理的，但随着越来越多的客户意识到使用量化技术管理这些资产的实际成本和价值，就难以继续维持这些资产的盈利能力。尽管规模可能会扩大，但盈利能力可能会开始回落到反映所创造的价值的水平。
这会产生更大的整合趋势吗？由于量化技术的影响，企业能够从他们管理的资产中榨取的收入下降，因此可能有动力管理越来越多的资产。
我们已经看到了这种趋势。在新的世界中，规模大有很多优势。贝莱德可以收取0.01％的费用来管理一只基金，因为它背后有6万亿美元。规模较小的公司不能以0.01％的费率竞争。富达现在提供的基金甚至不收取费用。他们之所以能做到这一点，是因为他们在平台的其他部分拥有令人难以置信的规模，如果您是客户，您可以在平台上的其他地方购买别的产品。
因此，整合可以解决这些产品的低边际成本问题。一旦确定了算法，接下来就看你能走多远。你能走多远就看你管理多少基金。
不合理的机器人繁荣
通过这些技术将哪些新的漏洞引入金融系统？他们将在下一次金融危机中发挥什么作用？
抵押贷款支持证券引发金融危机的情况在这里也非常适用。这种现象背后的一个谬论是假设世界将来会以过去的方式行事。例如，房价将会永远上涨。
在量化投资的情况下，这种谬误得到加剧，因为所有量化模型都使用历史数据来训练自己。随着这些技术变得越来越普遍，假设世界将来会以其过去的方式行事，这种假设正在深深嵌入到整个金融系统。
金融危机爆发前的另一个谬论是假设金融市场非常有效，参与者不需要做基础工作来弄清楚证券的实际价值。因为您可以依靠市场有效地整合关于债券的所有可用信息。您需要考虑的是其他人愿意从您那里购买或者将其卖给您的价格。
当然，如果所有参与者都如此相信，那么价格开始变得很随意。它开始脱离这个债券所代表的实际。如果新形式的量化交易依赖于市场效率的假设 – 如果他们认为工具的价格已经反映了您可能做的所有信息和分析 – 那么当这个假设失效的时候他们就有极大弱点。
优步价值600亿美元吗？好吧，优步价值600亿美元，因为我们相信有人愿意支付600亿美元。但也许优步的价值是0。也许这就是优步未来的收入实际价值。在当前环境下，我们依靠流动性来维持金融资产的价格。然而，当流动性枯竭并且您被迫依赖这些金融资产实际代表的东西时，如果价格与现实之间存在巨大脱节 – 有如您在金融危机期间看到的那种冲击，您可能会看到痛苦的冲击。
如果人们之前不想进行分析，他们现在可能更不愿意这样做了。他们认为机器学习模型正在干这个活。
对。机器正在处理它。或者其他市场参与者正在处理它。
我可能会认为某家公司的份额值20美元。但是它的价格在下降到20之前可以高达100美元，在这种情况下，我无法维持我对其实际价值的衡量。因此，如果所有的计算机都将价格推高到100美元，我可能不会做出弄清楚公司实际价值的工作，因为它与它交易的价格无关。凯恩斯说过，“市场可能长期处于非理性状态，直到你破产。”
听起来算法有可能使非理性变得更糟。
如果计算机模型对基本价值的衡量标准不那么敏感，它们可能会对金融资产的价格造成非常大的扭曲。当然，您不需要计算机来做到这一点。你可以让美联储为每个人提供大量现金，现金需要有个去处，因此推动资产升值。计算机可以做类似的事情。他们可以假设价格会像他们的模型告诉他们的行为一样，从而将价格推向与价格应该代表的东西极度脱节的程度。
2018年2月5日，股市下挫。道琼斯工业平均指数下跌近1600点，是历史上盘中跌幅最大的一天。在此之后，有很多关于计算机化交易在触发事故中的作用的讨论。这是未来世界的一次预览吗？我们未来应该期待更多这种情况吗？
随着我们越来越相信这些算法，算法交易引入的不稳定性越来越大。2018年2月的闪电崩盘很有启发性。该罪魁祸首是一种略显复杂的交易所交易产品，其内部有一个重新平衡机制。这种重新平衡机制最终在一个特定的日子毁灭了这个产品，当时市场的价格偏离比产品设计的要大一点。该产品需要交易许多金融工具以响应这一举动。但随后这些交易夸大了一个小举措，这成了一个大动作，需要更多的再平衡 – 于是一切失控了。
更多算法金融系统对散户投资者的影响如何？我们大多数人都在谈论大型机构投资者，这是有道理的，因为这就是资金所在。但是，这些类型的工具如何影响到普通投资者，他们可能只会有一笔小额退休基金。
您已经拥有机器人顾问，它们使用算法来管理散户投资者的资产。我们也可能只需几年的时间就能登录经纪账户并自己运行复杂的机构级算法。
人们倾向于认为这些技术的传播是一件好事。我则更矛盾。我认为让大量人们使用算法可能是一个很大的错误。一些非常擅长的人可能会从使用这个扩展的工具集中受益。但是大多数人最终会付出太多的代价或者做出错误的决定，因为他们使用了超出他们能力的技术。然而，他们可以因它赔钱。
展望未来，随着金融变得更加算法化，您还能看到什么呢？
我们已经谈到了大型金融公司成为科技公司的程度。但我预计它将开始向另一个方向加速：大型科技公司将成为金融公司。
如果你是一家科技公司，为什么你会认为传统的金融公司在技术方面比科技公司更好？如果我们谈论使用大数据和机器学习，那么科技公司已经做了一段时间了。他们在数据结构，组织和处理方面比任何人都要好。他们也更年轻，所以他们的内部架构可能更优秀。
在中国，这已经发生了。像阿里巴巴这样的大型中国科技公司在融入金融业方面比在美国的同类公司更进一步。他们正在做付款，存款和贷款。监管结构更加宽松。鉴于那里金融服务的预期增长，它可能也比美国的大型科技公司更具吸引力。这里根深蒂固的既得利益者可能更难赶走。
金融公司拥有的是庞大的客户群，这可能很棘手。他们还拥有许多独特的知识 – 客户，经济，监管 – 来自他们在经济中的地位。但谷歌和Facebook拥有大量可用于同一目的的信息 – 我的意思是，很难与科技公司拥有的大量数据或者融入人们生活的程度相提并论。散户投资者必须将钱存入某个地方。他们目前正在将其投入传统的金融公司。但谷歌和Facebook没有理由不能接受存款，便利支付，贷款，管理资产，运营量化投资基金。
我在量化投资领域向你描述的一切，我想这些公司可以很快做到：数据，分析，算法，和基础设施。唯一的问题是为什么他们还没有开始这么干。
这件作品最初发表于Logic，一本致力于围绕深化技术话题的印刷杂志。
