明说 | 为什么我关心直觉、数学和工程能力
写在前面

对大部分人来说,量化私募是一个「小众」行业。除去极致的工作方式、神秘的大佬故事、诱人的薪酬福利等,“人才”是这一切的基石,也是最重要的组成部分。

「明说| Minghong Sharing」,我们以采访问答的方式,他们或是业内大佬,或是入行萌新,从多元的视角,和你分享量化的世界。

「明说」第一期,明汯投资机器学习算法团队负责人,为你揭开ML(Machine Learning)/DL(Deep Learning)与量化的关系。

<返回上一页
明说 | 为什么我关心直觉、数学和工程能力
2024-09-06

关键在于解决

“如何发挥数据的最大价值”的效率问题

 

MH:作为国内较早一批将人工智能技术成功应用到金融市场的私募机构,明汯具体会将ML/DL应用到哪些流程中?


A:量化交易研究的是一个系统工程,包括我们耳熟能详的数据处理、特征抽取、建模(Modelling)、投资组合优化和交易执行等等几大模块。广义上,ML/DL的思想和方法论可以应用到各个模块,关键在于解决“如何发挥数据的最大价值”的效率问题。在实践中,我们发现信息压缩效率要求最高的在Modelling这一步,这也是目前业界应用ML/DL比较多的地方。当然,ML/DL在其他模块也有应用和研究,我们原则上不会拘泥于某种技术,而是具体问题具体分析,选择合适的方法去解决和优化问题。


 

图片

量化交易研究是一个系统工程

 

 

数学、工程能力和直觉是最重要的特质

 

MH:很多同学觉得明汯的面试很难,考察的内容和关注的点比较特别。作为机器学习算法团队的负责人,你在面试中会关心同学们的哪些特质?


A:面试是一个综合了解和评价的过程。除了坦诚真实、沟通顺畅、心理素质等“软素质”以外,在一个技术面试中,我基本都会评估候选人的三个维度,分别是数学(Maths)、工程能力(Engineering)、直觉(Intuition & Concept)。量化研究是在低信噪比的世界里寻找有价值的规律,并且不停迭代丰富、推陈出新的过程。在这个过程中,我认为最核心的优化点就是效率,而这三个特质就是提升个人和团队效率的关键。


MH:这三个特质,会有排序吗?


A:我认为对于一个优秀的候选人来说,通常三个特质中需要至少有一个是强的,另外两个不是短板。我们希望建立一个偏小而美的团队,为了维持团队的灵活机动性和效率,要求确实会高一些。


MH:“直觉”是个很有趣的词,你可以展开解释下么?


A:直觉对于提高效率有重要影响。想象我们在玩一个探索地图的游戏,直觉好的玩家,脑子里会有一个个清晰的landmark(标识),提醒自己这块已经探索过,有哪些信息点,从任意A点到B点会经历什么变化。这样在具体研究过程中,你可以很好地控制搜索的方向和尺度,针对性自适应地进行高效探索,甚至可以进行大范围跳跃。


MH:在面试中会如何考察?


A:我一般会围绕着候选人熟悉的内容进行交流和提问,然后给一些在深度或者宽度上对Ta来说有一些“out of sample”的问题,比如更改其中的一个条件,更具象或者更抽象等等。一个优秀的同学,通常都是乐于挑战新边界、有强烈好奇心、勇于突破舒适区的,Ta会基于直觉去思考这个问题,并给出回答。


通常一个完美的面试,是候选人和面试官在交流和分析这些“out of sample”的问题过程中,把之前的思考工作提升到新的阶段,一起想清楚、解决了一个之前没有考虑到问题。巧的是,机器学习的一个核心问题就是如何让模型应对out of sample场景,如何避免underfitting(欠拟合)/overfitting(过拟合),在各种情况下表现出稳定健壮的泛化性。人无法像LLM一样见到海量的样本来训练提升自己,直觉好的同学通常都具有Occam剃刀的思维模式,信息编码效率高、泛化性高,往往事半功倍。


MH:你所关心的数学能力,具体会包括哪些?


A:其实都很基础的数学,比如概率论、随机过程、线性代数、微积分。我们会关心概念的本质,不是是否会解某类数学题,而是是否思考过某个数学概念的本质。这其实也是出于提升工作效率的目的——当把事情理解得足够概念化,在解决问题时就能高效地找到更好更精准的思路,快速地找到最优解。


MH:有什么可以提升的方法?


A:实践是最好的办法,包括paper reading、实习、实验室里的日常讨论与复盘等,当你踩过足够多的坑或者有足够多的成功经验,有思考有复盘,更进一步去分析这些积累的经验如何泛化到未来其他场景,这些都可以帮助能力的提升。


MH:为什么我们会很重视工程能力?


A:某种程度上,相比于直觉和数学能力,在当下这个时代我觉得工程能力是最重要,或者说是最基础的硬件素质。当你有了一个想法,好的工程能力能确保你的想法能够不失真地实现和验证。工程能力有很多角度的体现,比如能完整实现整个pipeline工程,或者某个方面有较多经验(比如C++或者CUDA),都是我们欣赏和关心的。


MH:在工程能力上,对AI算法研究员(MLR)和AI基础机构工程师(MLE)的关注点会有所不同吗?


A:对于MLR,我们更侧重于调模型,比如如何高效实现算法、日常debug、优化效果、处理编译问题等。MLE则偏重于解决工程问题,包括视角上既有系统化也有局部化的,尤其是一些bottleneck问题,任务类型上有优化计算复杂度的、内存和存储的、数据拷贝传输的、CUDA相关等等。

我们非常重视分享和合作,我们追求一个团队整体持续开发和迭代完善的能力,希望每个人的优势能够发挥到最大化。不同岗位可能关注点有所不同,但对底层基础的要求是一致的。这样整个团队,会有沟通和合作的良好默契基础。



图片

数学、工程能力和直觉是我们关心的维度

 

 

一定程度上,

量化预测比LLM难度更高

 

MH:你之前是互联网大厂背景,后进入量化。你觉得量化最吸引你的是什么?


A:量化有非常强大的魅力。比如专业领域的独特性,技术的深度和精度,思考和挑战的持续性等。另外量化往往有快速的职业发展路径,有竞争力的薪酬和奖励机制,以客观数据和结果为导向,当你看到自己的工作成果可以直接影响到公司的业绩和市场表现,这种直接的影响力可以给人带来巨大的成就感。这种工作氛围,对于追求技术极致的人才来说,对于那些喜欢基于事实和逻辑做决策的人来说,应该是很有吸引力的。


MH:量化的难度为什么这么大?


A:相对于科技公司的机器学习落地场景,量化除了面临数据量有限、信噪比低、异构性、很难维持IID假设等问题和困难以外,正反问题的难度也是不同的。


为了方便描述,假设数据的特征是X,标签是Y,大家的任务都是建模X-->Y的映射。量化预测的数据产生过程天生带有时间先后的因果顺序,是X-->Y,这种预测方向和数据生成方向相同的问题,难度通常是高的。


类比而言,机器学习常见的一大类应用场景,比如图像和语音识别,数据的生成过程其实是由Y-->X,比如人-->声音,物品-->图像,这样当观察到X去反推Y的时候,这种问题类型一般称为推断而不是预测,难度是相对容易的。互联网上人的行为推荐和预测类任务,是X-->Y,通常数据海量、人的行为轨迹一致性高、噪音相对小,所以作为机器学习任务来说相对容易,较少见到过拟合。另外也有一种生成类的任务,比如图像生成和语言模型生成,数据的生成过程和预测方向是相同的,也是X-->Y,但这类生成任务的目标通常不是唯一确定的Y,而是只要输出很多甚至无穷多种可以接受的解集中的任一元素或子集。


如果考虑到开始说的那些关于数据量、噪音等问题,我们一定程度可以说量化预测是比LLM难度更高的相似类型任务,所以我们也欢迎有LLM研究背景的优秀人才来量化世界闯一闯,迎接新的挑战!


MH:如果从“传统”AI领域到量化,有什么需要准备的?


A:在直觉、数学和工程能力外,我觉得还需要心态上的调整和准备,提升自己的“逆商”。

其实,对于应届生或者找实习的同学,可能我不太希望他们有一些量化的知识,因为某种程度上可能他们道听途说了解到的知识往往都是“错的”,或者是有偏见和狭隘的。我更期待我可以和他们一起从问题的核心开始,慢慢探索量化这个地图,发掘团队的研究潜力。


MH:你一般如何去评估大家的产出?


A:量化很难在短时间内做出一鸣惊人的“产出”,尤其是在我们这种成熟有底蕴的公司。因此我更关心每个人的工作是否对团队产生了正向的影响,和大家一起提升了团队整体的bar。对于实习生,我会更看重学习能力、渴望进步的强度,是否在实习过程中积极主动学习新知识,快速试错、修正、再试错,且有自己的思考。


MH:这个学习能力和主动思考,会如何体现?


A:我会很期待经过思考后的提问,可以放心地问很多问题。即使是一些“傻问题”也没关系,因为“傻问题”往往伴随着思考的过程已经足够泛化和朴实。我也会经常问别人一些很傻的问题。我觉得养成主动思考的习惯是重要的,和自己的惰性做对抗,不断跳出舒适区。


图片

 

 

量化是一件终身学习的事情

 

MH:你怎么看待量化未来的发展?


A:我觉得量化是一件终身学习的事情,它的方法论可以在多个领域持续应用。世界一直在变,数据一直在产生,我们的任务是不断适应最新的世界、预测未来的世界,量化就是这样一个自适应的探索过程泛化过程。


MH:我们会有哪些行动或机制,让大家可以有保障地终身探索量化?


A:最基础的肯定是有竞争力的薪酬和福利,我们非常尊重和激励大家的贡献。另外,相比流水线制的国际一线量化大厂,我们会把整个pipeline(流水线)的切块做的更少,让大家可以看到更大的视野和自由度,对上下游有更深入的了解,最终目的还是提升效率,能在对的方向上高效推进。


清楚一个任务的上下游是非常重要的。回到ML任务来举例子,一个模型的训练结果不好,不一定是模型结构有问题,不一定是目标函数有问题,或者optimizer(优化器)有问题,它可能是上游的数据的问题,甚至都不一定是数据质量出了问题,可能单纯是数据抽样有了一些偏差。如果你没有Intuition(直觉)去发现这个点,或者你发现了这个点,但是公司的流程机制导致你无法及时快速地解决这个问题,在大厂中这个情况很常见,而我们会帮大家尽可能创造可以提升效率的环境。

 

 

彩蛋时刻

 

 

MH:你的日常的一天是怎样的?工作之余的时间呢?


A:我一般早上会做些运动,早上锻炼一下可能整天的精神都会更好一些。然后到公司就是日常的工作,模型的训练、优化和回测分析,向上向下的开会沟通等。固定地利用一些零碎时间读读最新的论文。

我是一个“女儿奴”,工作之余就是陪女儿和家人。公司也很重视WLB(工作与生活平衡),我也可以专注地做“女儿奴”(笑)。


MH:论文阅读上有没有一些高效的方法可以分享?


A:可能就是大家常用的方法,先看摘要和结论,判断是否是自己感兴趣的。如果是,我会先快速思考,猜测他们大概是怎么做的,然后结合论文中的图和公式做印证,如果和我想的一样,那就算读好了。如果不一样,会再深入阅读。这样的阅读过程不是一味的被灌输,而是可以形成一个小的闭环系统,我自己感觉对效率和自己能力的提升会有帮助。


MH:那我们今天的访谈就结束啦,你还有什么想和大家分享的吗?


A:我的团队对学历没有任何限制,无论是本科、硕士还是博士,如果你对量化感兴趣,你在Intuition(直觉)、数学和工程能力上没有短板,你期待挑战,对未知充满好奇,都很期待你来投递我们的岗位,和我们一起探索量化地图。



 

News
明说 |
明汯AI训练平台搭建实践
「明说| Minghong Sharing」,我们以采访问答的方式,他们或是业内大佬,或是入行萌新,从多元的视角,和你分享量化的世界。 「明说」第二期,明汯投资AI训练平台技术负责人,和你分享明汯AI训练平台搭建实践。
解环宇:AI核心三要素在量化投资的应用与实践
数库科技于9月3日下午举办以“数无疆·智无界”主题分论坛,明汯投资合伙人、投资总监解环宇发表了《未来已来——人工智能开启量化投资新篇章》的主题演讲,从AI与量化投资的发展进程谈起,再结合AI核心三要素拆解人工智能在量化投资的应用和实践,最后围绕如何打造高效迭代量化投资AI框架展开阐述。
明汯投资
办公环境全面升级:只为等你来!
2022年上半年,明汯投资办公环境全面升级,公司位于纽约、北京、上海三地的办公室陆续焕新。我们不仅致力于打造更理想的工作环境,同时也关心着多元化人才的发展。未来我们更期待你的加入,与我们同行!
明汯解环宇:打造国际一流量化投资机构
“我觉得未来中国一定会出现国际一流的量化投资机构,它由中国人创立,但员工是世界的,一定会有的。”2022年3月,交易门独家对话明汯投资合伙人、投资总监解环宇:“那为什么不可以是我们?”这是他第一次正式接受媒体专访,“我们想通过交易门这样的平台,让大家了解明汯的人才为本和科技为先。”