支持向量机

2023-03-22

1.SVM简介 支持向量机（support vector machines, SVM）是一种二分类模型，它的基本模型是定义在特征空间上的线性分类器。二分类问题是指数据集中的数据点有两类，需要找到一个超平面将不同类的点划分到超平面的两侧。超平面是划分数据的决策边界。离这个超平面最近的点就是“支持向量”，这点到超平面的距离叫做间隔。SVM的目标就是最大化支持向量与超平面的间隔，可形式化为一个求解凸二次规划的问题。原始问题可以通过拉格朗日对偶性（Lagrange Duality）变换到对偶变量 (dual variable) 的优化问题，即通过求解与原问题等价的对偶问题（dual problem）得到原始问题的最优解，这就是线性可分条件下支持向量机的对偶算法，这样做的优点在于：第一，对偶问题往往更容易求解；第二，可以自然地引入核函数，进而推广到非线性分类问题。 2.SVM算法出发点 以二维空间为例，此时的超平面是一条直线。图中的四条线都能将两类点分开，但是红色实线和蓝色虚线与某类样本距离太近，如果测试数据有噪声的话很有可能出现错误，被划分到相反地一类中。 SVM学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。如下图所示， 黑色实线为超平面，对于线性可分的数据集来说，这样的超平面有无穷多个（即感知机），但是几何间隔最大的分离超平面却是唯一的。 3.基于SVM模型的多头交易策略 3.1特征变量的选择 首先考虑基础行情指标：开盘价、最高价、最低价、收盘价、结算价、成交额、成交量和持仓量。对这八个变量使用主成分分析法进行特征降维，简化数据以提升分析的便利性。以方差贡献度超过99%作为主成分因子数量的选择标准，最终确定了三个指标：开盘价、最高价以及最低价。 3.2SVM多头交易策略流程 首先将最先30日的沪深300股指期货主力合约历史数据输入价格预测模型，将会所输出的结果来开展交易，如果其输出的结果是1，那么就意味着预测未来价格将上涨，若模型输出价格为-1，则表明预测未来价格将会下跌。得到交易信号后对目前的持仓状态进行判断，决定是否开仓或平仓。 详细的流程图如下所示： (1)在某一Ｔ日沪深300股指期货收盘之后，以目标日之前30个交易日的历史数据作为输入向量，输入SVM价格预测模型以对T+1日的价格涨跌进行分析预测，得到模型的输出结果y； (2)如果模型的输出结果y的值是1，则表明未来价格上涨。如果y值为-1，表明未来价格下跌，仅在y值输出1时进行开仓，作为多头信号。 (3)在得到多头交易信号后，开仓并记录当前的开仓价格和持仓量后续持续关注合约价格，等待价格达到合适位置。设置5%的止盈和2%止损率。 (4)当价格达到止盈或止损率时，以当日价格平仓，并重新关注预测结果y，等待y输出值为1时，进行新一轮开仓。 交易策略的详细流程如图所示： 3.3回测结果 采用沪深300股指期货的主力合约IF2112自2010年4月至2021年11月的历史数据进行回测。利用SVM价格预测模型输出相应的交易信号，按照上文的交易策略进行交易，最后分析策略的回测表现。 上图是基于基础行情指标的支持向量机多头交易回测图结果。可以发现，在此过程中，采用该策略完成了的交易共计285次，其中胜手115次，败手次数170次，综合胜率40.35%。整阶段盈利总额约为6080万元。其总收益率达到了202.67％，经过分析可知具有11.71%的年化收益率，此外该策略的总体回撤率为27.5% 参考文献： [1]丁雨青. 基于GA-SVM模型的股指期货交易策略研究[D].东华大学,2022.DOI:10.27012/d.cnki.gdhuu.2022.001563.

人工智能与量化交易

2023-02-21

1.人工智能简介 人工智能（AI）是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大，可以设想，未来人工智能带来的科技产品，将会是人类智慧的“容器”。人工智能可以对人的意识、思维的信息过程的模拟。AI包含机器学习、深度学习、强化学习等研究方向。人工智能研究的一个主要目标是使机器能够胜任一些通常需要人类智能才能完成的复杂工作。 随着计算机科学技术的快速发展，人工智能在各个领域的应用也越来越广泛，其与各个学科技术相结合，已成为 各领域人士关注的焦点。将人工智能应用于量化交易，通过搭建不同的神经网络模型，对期货历史数据进行挖掘，找到期货历史价格与未来价格的非线性关系，实现对未来价格的预测，已成为历史发展的必然趋势。 2.量化CTA 2.1CTA量化交易策略分类 图1 CTA量化交易策略分类 CTA 量化交易策略可以大致分为这些方面： 1)趋势策略：分为长线趋势策略、中线波段策略以及短期趋势策略。 2)震荡策略：非趋势策略并不一定是反趋势策略，比方网格策略或者支撑压力位策略。 3)套利策略：套利策略包括无风险套利策略，期现套利策略，这里期现套利策略，主要指的是金融期货，像是股指，因为我们国内股票缺乏这种做空机制，股指会持续存在一定的贴水，所以会存在这种期现套利策略。 4)高频策略：高频策略分为做市商策略，做市场商策略又分为被动做市策略和主动做市策略，高频策略还包含了超短趋势策略，也就是以tick 数据为基础的这样一种短期趋势的高频交易和高频套利。 5)日内策略：日内策略进一步分成的日内的趋势策略、日内的震荡策略以及日内的高频策略。 6)另类策略：另外再有就是一些比较新的被称作为另类策略的一些新潮的交易策略，比方说像横截面策略，还有事件驱动策略，还有人工智能算法策略。人工智能算法策略的这个交易依据，就是上图中交易依据里面的计算科学，这方面的应用就是一个最新的应用。 2.2 量化因子 图2 量化因子 a.宏观因子：例如物价指数CPI、美国的核心PCE还有美元指数等等。 b.基本面因子：产量，表需，库存、开工率，还有新增产能等等，这些是工业品的整个产业链的基本面因子。农产品产业链的因子包括种植面积、种植进度、优良率、收获面积，还有收割进度，进口还有出口。这里面还有天气因素，这里也有一些数据是可以进行量化的，例如温度数据、降水量数据等。 c.统计因子：统计因子是一些统计特征方面的东西，比方说像偏度因子等。 d.技术因子：技术因子包括动量因子、波动率因子、均价突破因子，还有流动性因子等，进行技术分析方面所用的一些技术指标。 e.行为因子：行为因子与技术因子往往是一个互为表现的关系，技术因子体现的是一个市场行为的特征。行为因子包含了人们的恐惧心理，像恐慌指数，那么往往会通过动量或者波动率等这些技术因子体现出来。所以说技术因子是行为因子的一个表现形式。 f.事件因子：事件因子不是特别容易进行量化，如非农就业、美国农业部报告这种定期的事件。这种报告的公布，可以认为它是一种事件，对市场产生一种影响的事件，可以作为一种因子。 g.衍生品因子：那么对于一些品种来讲，它具有一些衍生物，例如原油期权，铜或者棉花都有期权。那么期权对于标的本身来讲可能会有一定的影响或者说一种指示作用，包括以后可能会推出的商品指数。 h.商品因子：这个跟商品期货本身有关系的，如Curve 因子，也就是期限结构曲线因子，债券的收益率曲线。期限结构因子，back 结构或contango结构，价值因子以及基差，期货升贴水情况，持仓因子等。 3.深度学习与量化交易 传统的投资策略倾向于定性分析，而让电脑代替人工进行 分析，就可以在整个市场中寻找投资标的物，投资的理念需要转 化成具体指标和参数，并按照程序去运行，能实时跟踪市场的变化情况，利用计算机提供的强大数据处理能力处理投资指标，在控制风险的情况下使收益达到最大化。随着人工智能技术的发 展，计算机可以大规模处理堆积如山的历史数据，与人工相比，不仅速度更快，准确率也更高，这使得投资以远超传统方式的规模发展起来。 人工智能是现在火热的研究的方向之一，任何一个东西如果想要变得更加智能，都会涉及人工智能算法。基于人工智能的量化CTA不仅能模拟人类思考问题的方式，还能够避免人类情绪化决策的问题，而且它能够自动地去发现市场里面的特殊现象。其中深度学习是人工智能领域中十分重要的研究方向，其具有非常强大的数据处理能力，金融交易领域存在着大量的历史数据,这些数据资源为量化交易提供了很好的数据基础。那么对于这样一种利用人工智能的方式进行的量化交易，大概分为这么四个部分： 第一步叫做预处理，也就是数据准备的工作。第二步将数据交给机器来进行学习。第三步就是学习完后，利用验证集数据进行验证，类似于回测。第四步是进行实盘交易，对这个新的产生的数据或未知的数据进行预测。 图3 量化交易步骤 4.ChatGPT与量化交易 最近基于人工智能的ChatGPT爆火，在量化投资中， ChatGPT可以完成一些简单的量化策略，例如构建平均回归模型，输出均线策略。理论上甚至可以利用Scikit-learn数据库（是针对Python编程语言的免费软件机器学习库）建立制作未来利率的预测模型，并利用MSE （均方误差）对其进行评价。智能投顾是以人工智能为基础的一项专业的投资咨询服务，ChatGPT这类AI机器人应用以后，能排除人的主观因素，提供更加客观的建议，还可以随着市场和环境的变化而不断演变创新。 参考文献： [1] 刘力军,梁国鹏.基于人工智能的量化交易系统设计与实现[J].现代信息科技,2022,6(04):45-47.DOI:10.19850/j.cnki.2096-4706.2022.04.012. [2] 赵雪. 深度学习在量化交易中的应用[D].北方工业大学,2019. [3] 周爽,刘赟.金融行业中人工智能的应用前景[J].商场现代化,2020,No.920(11):133-135.DOI:10.14013/j.cnki.scxdh.2020.11.051. [4] 于龙飞. 基于深度学习的股市量化交易系统设计与实现[D].山东大学,2020.DOI:10.27272/d.cnki.gshdu.2020.001064. [5] 刘佳. CTA量化投资的组合资产配置研究[D].北京交通大学,2020.DOI:10.26944/d.cnki.gbfju.2020.002020.

CTA技术指标交易策略

2023-01-18

1.概览 2.CTA技术指标与策略优化 2.1.趋势指标 2.2.突破策略 2.3.模型优化 1.概览 大宗商品是基础性原材料，生产周期长，供给和需求数量大，受宏观经济活动的影响很大。随着宏观经济的周期性运动，大宗商品的价格也将进行周期性的运动。具体到某一种商品，其供给和需求也具有自身的特殊周期，比如农作物从种植到消费，就具有明显的季节性特点。下图为豆粕期货价格指数月K线图所示，豆粕价格运动具有明显的周期特征：2000年→2004年→2008年→2012年→2016年→2020年，每4年一个周期，每个周期都包括下跌、筑底、反转、上涨、筑顶等阶段。 周期可以由趋势构成，技术分析能够揭示和反映价格运动的规律，也能够发现趋势和周期。 CTA按照交易策略的不同可分为系统化交易与非系统化交易两类。系统化交易主要通过预先设定的交易模型决定交易策略，CTA的任务主要是建立数量模型、调整模型参数，并根据模型运算的结果进行投资决策；非系统化交易策略则建立在基本分析或者关键经济数据分析的基础上。 在系统化交易中，CTA的核心技术指标可分为趋势跟踪、趋势反转（或回归）和模式识别三类。从应用的基金数量上看，趋势跟踪类占绝对多数；从模型预测的成功率来看，模式识别类最高，其次是趋势跟踪和趋势反转。 趋势跟踪（动量）交易通过大量的指标排除市场噪音，判断当前市场趋势，然后顺势建立头寸。根据所关注趋势时间的长短和是否持仓过夜，还可细分为日内交易和日间交易。其核心思想就是捕捉趋势，一定幅度的上涨就是买入的理由，一定幅度的下跌就是卖出的理由。跟踪指标起源于简单移动平均线（SMA），后期逐步发展演化为指数移动平均线（EMA）、平滑异同移动平均线（MACD）、抛物线指标（SAR）等。这类指标的信号触发常是两线相交，反映短期趋势的快线上穿／下穿反映长期趋势的慢线，上涨／下跌趋势成立，发出建仓／平仓信号。趋势指标的收益特征是大盈小亏，或者是其止损不止盈的机制。导致指标亏损的原因，主要分为两类：虚假信号和趋势长度不够。当快线和慢线纠缠时，会频繁发出虚假信号，导致趋势指标的整体成功率通常低于50％，因此跟踪指标改进的一个重要方向是虚假信号过滤。 反转指标适用于震荡行情，可运用头肩形态、突破形态、交易量等指标来寻找趋势发生反转的信号，然后建立头寸，简单来说就是均值回复：一定幅度的上涨就是卖出的理由，一定幅度的下跌就是买入的理由。其代表指标包括相对强弱指标（RSI）、随机指标（KDJ）、威廉指标（WMS）等。这类指标通常生成3根互相平行的辅助线：天线位于中轴线上方、地线位于中轴线下方，两者离中轴线有相同的距离。天线可视为指标压力或是常态行情中的上涨极限。地线可视为指标支撑或常态行情中的下跌极限。行情波动导致指标接近天线与地线超过阀值时，反转信号触发。如果机械按照反转指标操作的话，统计的成功率高于50％。但若不设止损，其主要问题是有承受大幅度亏损的风险。其优化方向是在保持高成功率的同时，过滤掉偶尔出现的大幅亏损。 模式识别类技术指标，是通过头肩顶、二次探底、上升三角形突破等形态的识别而发出交易信息。模式识别类预测市场走势的结果是趋势跟踪、趋势反转或者箱体震荡，但是它与上述两类指标的主要不同是：跟踪和反转通过计算数值描述当前市场的状态帮助判断；而模式识别是通过量化工具描述当前市场模式与理想模式的相近度，从而判断市场按照理想模式运行的概率。 2.CTA技术指标与策略优化 这一部分将针对期货市场，简要介绍常使用的趋势指标，突破模型，以及相对应的模型优化方法。 2.1.趋势指标 以东证期货2022年期货策略报告为基础，下表罗列了有效的七个指标计算方式及运用场景。 2.2.突破策略 ①均线突破模型：单均线策略通常以收盘价与均线的位置关系进行上多下空操作，均线组通常是以短均线上穿或下穿长均线而产生交易信号。常见的均线组：单均线短期选择（3或5或10），短期均线组（5、10、20），克罗均线组（4、9、18），神奇135均线组（13、34、55）等。 ②指标突破模型：利用常见的技术指标比如MACD、BOLL等，作为判断开平仓的交易信号，或是使用技术指标的组合来判断入市信号。但这些技术指标都有其局限性，比如指标滞后、过度灵敏、与走势背离等。这些问题就需要进行后期的参数优化，例如在更小级别的周期上使用那些会滞后的指标，在更大级别周期上使用过度灵敏的指标等。 ③通道突破模型：以唐奇安通道为例，20日价格高低点和10日价格高低点构成了唐奇安通道，当收盘价突破20日价格高低点时买入；当价格跌破10日价格高低点时清仓。海龟交易法实际是通道突破的趋势跟踪。 ④波动率突破模型：波动率在两个维度得以体现，一是时间维度，也就是过去交易日的波幅；另一个是空间维度，每一个交易日的波动幅度，最高价和最低价关系等。波动性可以定义为：最高价与最低价、K线的最高价与昨收盘、K线的最低价与昨收盘，这三组价格差额的最大者为该品种的波动性值，可以利用最高价和最低价的协整关系等设计入市信号。 ⑤时间价格突破模型：根据在某个时间范围内波动幅度的大小，将不同品种在不同时间段的突破标准进行统计，得到适应于该品种的最优参数，并利用时间或者价格过滤器的方法来实现对趋势行情的确认，以减少价格盘整阶段的假突破现象。 ⑥K线形态突破模型：形态突破主要是基于蜡烛图技术或者是技术图形技术分析技术产生的交易信号。一些经典的形态包括红三兵、黑三兵、墓碑线，吊垂线，十字星等，同时形态突破实现需要配合图形识别等技术。 2.3.模型优化 ①信号过滤 虚假信号产生的原因通常是投资者的懊悔行为或价格波动的通常信号噪音（或也可理解为未受到交易者当前集中认可或恐慌的价格变动）。随着信号的触发（例如均线系统中快线上穿慢线），投资者开始质疑新的趋势，如果这种质疑情绪通过盘面信息在投资者中蔓延，会导致其价格在突破后迅速调整，重回到信号触发前的水平。因此，信号过滤的目标就是识别有效突破。 通常从时间和空间上确认趋势成立，识别有效突破。如果交易者的懊悔行为发生，均线通常在短暂的时间内回落至触发前的状态。因此，可以通过人为统计历史上信号虚假触发持续的时间，作为过滤有效突破的时间阀值。当信号触发且状态维持时间大于阀值时，才真正触发交易信号。但是当快线和慢线相互纠缠的时候，空间是更好的过滤工具。常用的空间过滤方式是在慢线基础上增加上轨和下轨，当快线有效穿越上下轨时新趋势才被认为成立。而轨道宽度通常定义为快线的标准差的倍数。 除了价格曲线本身，更多信息源也可以用来确认有效突破。当价格运动趋势导致了投资者的预期发生变化，新的价格才被市场普遍接受。一个可用于定量分析突破之后预期变化的指标是与突破伴随的成交量。如果放量突破，这往往意味着新的预期将控制后市的走势。相反，如果突破发生期间，交易量非常温和，这往往意味着只有少数的投资者预期发生了变化，价格非常可能回到原来的预期水平。通过引入交易量相关的综合指标，可以提高信号触发的成功率。 ②数据频率和周期 基本面投资策略的数据频率通常低于等于1个交易日，而交易策略需要深入到更微观的市场信息中寻找机会。因此，CTA交易策略的数据统计频率最高可达2笔/秒或更高；低则有按照1分钟、5分钟、15分钟、30分钟、60分钟等统计。选择合适的数据频率，直接决定策略的盈利预期、市场容量和执行方式。 数据频率首先体现策略设计者在目标趋势上的权衡。若确认趋势的时长太短，会捕捉到大量短时长的趋势，交易次数增多。短时长的趋势大多对应低的获利空间，大多不能覆盖交易成本。而且短时长的随机波动过大，会影响对趋势的判断。若确认趋势的时长太长，又会错过大量的可能收益。 数据频率直接决定策略的市场容量。时间单位上，进场信号被触发，则要在规定的时间单位内完成建仓。如果用于计算信号的数据按秒更新，则策略的建仓时间通常不超过1秒钟，对应的市场容量可能小于5张合约；当数据按照分钟更新的时候，则策略的建仓时间提高到1分钟，对应的市场容量最高能到100张合约（对应不同的合约，其流动性存在差异，因此市场容量也会有差异）。对于建仓时间在30秒以下，或者持仓时间在10分钟以下的交易策略，通常需要借助全自动交易平台实现。全自动交易指交易信号触发、交易买卖执行都由计算机完成的交易方式。全自动交易适用于对交易执行要求严格、平均持仓时间较短（如1分钟内）的交易策略。半自动交易指交易信号由计算机自动触发，但是买卖执行由人工实现的交易方式。半自动交易适用的交易策略平均持仓时间在10分钟以上，下单可由人工实现。 参考文献： [1] 郭少杰.技术分析在大宗商品交易系统构建中的作用研究[J].全国流通经济,2021(18):148-150.DOI:10.16834/j.cnki.issn1009-5292.2021.18.048. [2]《股指期货市场CTA交易策略设计及EMA开发》.中信证券.金融工程及衍生品部 [3]《2022年量化CTA策略年度报告》.东证期货 [4]《利用双均线指标进行趋势投资》.渤海证券.股指期货研究所

机器学习与高频交易

2022-12-16

1.机器学习概览 1)应用 机器学习算法主要分为三类，监督学习（Supervised Learning），无监督学习（Unsupervised Learning）和强化学习（Reinforcement Learning）。监督学习可应用于对未来事件的预测，如利用OLS或者正则化回归模型来预测连续型目标变量，通过逻辑回归或支持向量机来进行分类研究等。无监督学习则旨在发掘数据的潜在规律，包括K-means聚类分析，基于主成分分析或线性判别分析的数据降维和压缩等。机器学习算法的主要应用场景如下表所示： 2)建模 a)数据处理 数据是机器学习算法最终学习效果的直接影响因素，处理步骤一般包括缺失数据处理，数据数据处理，数据集划分和特征缩放等。其中属性数据有两个类型，有序特征（ordinal feature）和标称特征（nominal feature）。有序特征如大盘股、中盘股、小盘股，可以分别对其建立映射为1、2、3。标称特征则如成长股、周期股、价值股等，可以对其建立虚拟特征（dummy feature）。一般研究人员将总数据集分为训练集和测试集两个部分，从训练集上获得学习后的模型，并在out-of-sample测试集上进行评估。如果数据尺度相差较大，需要将不同的特征数据缩放到同一区间。决策树和随机森林是机器学习算法中为数不多的不需要进行特征缩放的算法。常用的特征缩放方法有归一化和标准化： b)模型评估 i.高方差模型：模型的训练准确率和验证准确率之间有很大的差距，说明模型过拟合，可通过修正训练集样本数、降低模型复杂度、特征提取、降维等方式优化模型 ii.高偏差模型：模型的训练准确率和验证准确率都很低，说明模型欠拟合。对于欠拟合的模型，通常可以增加参数数量，构建额外特征，降低模型的正则化程度等方式优化模型。 为了使模型在欠拟合和过拟合之间找到最优平衡点，可以使用holdout交叉验证或者k折交叉验证优化模型的泛化能力。 Holdout交叉验证：是将模型划分为三部分，训练数据集、验证数据集和测试数据集。验证集用于评估模型的性能。 k 折交叉验证：使用无重复抽样技术，在 k 个训练数据子集上重复 holdout方法 k 次。不重复地随机将训练数据集划分为 k 个，其中 k-1 个用于模型训练，剩余 1 个用于测试，重复此过程 k 次，通常 k 取为 10，k 折交叉验证相较于 holdout方法具有更好的鲁棒性。 c)预测 若模型评估的结果在可接受范围以内，则可以使用此模型对以后新的未知数据进行预测。 d)集成学习 两种常见的集成学习框架，bagging和boosting。Bagging是将训练数据进行 N 次又放回的随机抽样得到 N 个训练数据子集，对每个子集使用相同的算法分别建立决策，最终结果是 N 个决策结果的多数投票或平均值；Boosting则是先赋予每个训练样本相同的权重，然后进行 T 次迭代，每次迭代后，对分类错误的样本加大权重，使得在下一次的迭代中更加关注这些样本。如此重复进行，直到弱学习器数达到事先指定的数目T，最终这 T 个弱学习器通过集合策略进行整合，得到最终的强学习器。 2.机器学习在高频交易领域的应用 1)应用 机器学习在金融市场主要有三个方面的应用：①算法交易及高频交易；②投资组合的优化、智能投顾（根据客户的收益目标和风险偏好提供投资建议）；③文本挖掘，市场情绪判断。 在高频交易领域，机器学习主要有两个方向，一是订单的执行优化，即在一个确定性的空间寻找最优解，探索在交易量和方向都确定的基础上如何最小化交易成本；二是高频涨跌方向的预测，这是以盈利最大化为目标，相对于订单的执行存在更多的不确定性。 2)特点 机器学习在高频交易领域主要呈现4个特点，①从线性模型到非线性模型，其中线性模型相对比较简单，大多是多因子线性回归模型；②从无监督学习到有监督学习，无监督学习是从无标记的训练数据中寻找隐藏的结构并推断结论，而有监督学习是从标记的训练数据中推导出预测函数；③从分类学习到回归学习；④从决策树模型到神经网络模型，逐渐向深度学习发展。 3)数据 驱动高频交易的数据往往是最细粒度的，通常是来自交易所的微观结构数据，通常包括订单，成交，隐藏流动性及撤单数据等，详细描述了每一个下单、每一次交易和每一次撤单。数据的颗粒度以及如何理解这些级别的数据怎样产生交易信号是机器学习在HFT领域的主要挑战。 4)有效性：使用订单薄数据预测价格走势的案例 在Michael Kearns关于开发能够捕捉盈利的交易信号，且能覆盖交易成本的研究（研究原文请见参考文献）中，其工作主要包括，构建可靠且能预测未来资产价格变动方向的features和开发用于执行的学习算法，所使用的features如下： ·Bid-Ask Spread买卖价差：表示当前订单中买卖价格之间的差值 ·Price价格：衡量最近执行价格的方向变动的特征 ·Smart Price聪明的价格：中间价格的变化，其中的平均买入价和卖出价是根据它们的交易量加权。 ·Trade Sign交易标志:在最近的执行中，衡量买家或卖家在最近的交易中是否更频繁地越过价差 ·Bid-Ask Volume Imbalance买卖不平衡数量: 出价时的股票数量减去卖出时的股票数量。 ·Signed Transaction Volume签署的交易量：表示在最后15秒买入的股票数量减去在最后15秒卖出的股票数量。 研究中Michael Kearns对假设进行了简化，只考虑了学习算法中可用的两类理想化的操作：①在买卖中点买入1股，并持有该头寸t秒，再在这一时点，在中点卖出该头寸；②在中点卖出，t秒后买入（注：在Michael Kearns的研究中采用了t = 10秒）。在中间价执行的假设下，两个操作中的一个或另一个总是有利可图的——如果中间价上升，则在t秒后买进卖出，如果中间价下降，则反向操作。 这项研究的两个最重要的发现是：①学习持续产生的策略在测试集中是有利可图的（所有19只股票，学习模型在测试集上的盈利都是正的）；②这些策略在股票中具有可扩展性（虽然在六维状态空间中可视化机器学习所得的策略是不可行的，但Michael Kearns将策略投射到每个单独的特征上，并探索特征和学习到的行为之间的关系，在下图所示，对于19个策略中的每一个和6个状态特征中的每一个，都绘制了一个柱状图来显示特征值和学到的动作之间的相关性，值+1表示先买后卖，值-1表示先卖后买。对于几乎每一个特性，我们可以看到所有策略的相关性符号都是相同的。） 3.机器学习在CTA策略中的应用 CTA分为主观投资和量化投资两种。主观投资，即主要由人主观判断投资机会。基金经理通过研究调查获得的基本面信息，以及从盘面上获得的量价等信息，结合自己的判断、理解、经验，来寻找投资机会，决定买卖时点。量化投资则会将投资逻辑编成模型，通过计算机来识别投资机会，进行投资交易。 量化投资中的高频CTA策略是一种在极短时间内完成交易的策略，凭借IT系统和快速的程序化操作，对市场上秒、甚至毫秒级别的波动进行投资，只要投资的胜率超过50%，在每天开盘的几个小时里，不断反复操作，总的胜率和盈亏比将会非常接近统计平均值，日净值会表现的非常平滑。高频CTA策略是从买卖价差中获取收益，也有利于增强市场的流动性。 机器学习是量化CTA策略的新方向，相较传统线性模型机器学习CTA量化策略提供了高维的非线性视角，可以更好地分类并提升拟合效果。研究人员将机器学习CTA模型构建的流程拆分成四步： 同一般的机器学习模型相似，流程主要包括，①因子挖掘：从原始的行情数据中提取可以描述当前市场特征的因子，比如PB因子可以用来描述当前市场的整体估值；②因子筛选：在控制因子间相关性的前提下，对第一步挖掘得到的因子进行有效性检验，从中筛出对市场有预测效力的因子；③机器学习：在得到有效因子池后，将因子输入机器学习模型进行因子组合，这里机器学习的任务是对历史的因子样本进行学习，并从中挖掘出具有正收益期望的规律；④交易决策：在训练完机器学习模型后，模型就可以基于对实时行情数据的分析给出后市的涨跌预测，从而指导实盘的投资决策。 CTA策略的因子挖掘主要由投资经理根据交易经验和逻辑手工完成，人工挖掘得到的因子因为具有较强逻辑性，因此往往可以在较长时间内都保持有效。但缺点是因子挖掘的周期较长，并且这两年随着各家机构研究的不断深入，人工挖掘因子的效率不断降低，所以目前市场上在传统的人工因子挖掘外引入了遗传规划，由算法自动对因子进行挖掘。依托计算机的强大算力的算法大大提高了因子挖掘的效率，但因子的逻辑性较弱，所以需要定期的迭代更新来维持因子的有效性。 4.参考文献 [1]《基于机器学习的量化投资策略》.中邮证券 [2] A. Kulesza, M. Kearns, and Y. Nevmyvaka. Empirical Limitations on High Frequency Trading Profitability. Journal of Trading, 5(4):50–62, 2010. [3] 叶成. 基于机器学习的高频CTA策略研究. (Doctoral dissertation, 桂林电子科技大学). [4] 朱雀基金章晓珏：再谈CTA策略，打开黑箱http://www.rosefinchfund.com/contents/2021/1/4-e240dd0ffdfa4caf89b2a553eae85cec.html [5] 机器学习在市场微观结构和高频交易中的应用. 张瀚升 [6] 机器学习与CTA：数据挖掘与人类对世界的认识. 安信证券金融工程主题报告

马尔可夫链

2022-11-16

一、历史 马尔可夫链的提出来自俄国数学家安德雷·马尔可夫。马尔可夫在1906-1907年间发表的研究中为了证明随机变量间的独立性不是弱大数定律和中心极限定理成立的必要条件，构造了一个按条件概率相互依赖的随机过程，并证明其在一定条件下收敛于一组向量，该随机过程被后世称为马尔可夫链。马尔可夫链是随机过程的重要组成部分，同时它在自然科学、工程技术、金融及经济管理等各领域中都有着广泛的应用。 隐马尔可夫（HMM）模型最早由Baum和他的同事在1966年提出， 他们介绍了带有有限离散的观测数据的隐马尔可夫模型。随后， 在1970年Baum等人又提出了带有连续观测概率函数的隐马尔可夫模型。1977年， Dempster等人给出了完整的EM算法框架， 并提到Baum之前的相关工作已经使用了EM算法。Rabiner在1990年详细地阐述了HMM基本理论， 并考虑了模型实现过程中涉及到的各种问题， 最后给出了HMM模型在语音识别中的应用。Bilmes在1998年用EM算法实现了对GH-HMM模型和GHMM模型的参数估计。2003年， Raviv 研究了隐马尔可夫模型在语音识别领域中的相关应用.Nielsen等人在2010年将隐马尔可夫模型与神经网络结合， 应用到病毒检测中。2011年， Burke等人 在交通方式识别系统中应用了隐马尔可夫模型。同年， Sikorsa和他的同事将HMM模型应用于工业设备的寿命检测。 金融市场应用方面， Hassan和Nath 先是在2005年提出了一个进行股票价格测的连续HMM模型2007年， Hassan和他的同事们又结合HMM、人工神经网络(ANN) 和遗传算法(GA)，得到一个混合模型来预测股票价格。2009年， Park等人提出用连续HMM模型来预测金融序列的变化方向(上升不变或下降)，得到的结果比SVM精度更高。同年Hassan将HMM模型与模糊逻辑结合，应用到股票价格预测中， 相比ARIMA、ANN等模型， 得到了更好的预测效果。 二、基本概念 三、马尔可夫链预测模型需满足的条件 马尔可夫链预测法是对预测对象未来所处状态的预测，也就是预测目标对象未来可能出现或存在的状况。建立马尔可夫链预测模型来推知预测对象的未来发展，要求预测对象在预测期间满足下列条件： (1)过程随机性，在系统内部中从一个状态转移到另一个状态是随机的 (2)过程的无后效性，系统内部的转移概率只与当前状态有关，而与以前的状态无关。 (3)转移概率矩阵保持稳定不变，即一个时期向下一个时期转移状态的转移概率矩阵是不变的，均为一步转移概率矩阵。 (4)预测对象的状态必须是有限的或可列的，而且必须在可列个时间发生状态转移 (5)在预测过程中对预测对象用同一标准划分的各状态应相互独立。 (6)划分的状态应该包括预测对象全部可能出现的状况。 四、案例 从2002年起，我国各类商业银行全面推行贷款风险分类管理，即贷款五级分类。 它是指商业银行主要依据借款人的还款能力，确定贷款遭受损失的风险程度。按照此风 险程度将贷款质量划分为正常、关注、次级、可疑和损失五类。该方法建立在动态监测的基础上，通过对借款人现金流量、财务实力、抵押品价值等因素的连续监测和分析，判断贷款的实际损失程度。贷款五级分类管理 有利于商业银行及时发现贷款发放后出现的问题，能更准确地识别贷款的风险，有效地提高贷款的质量。 假设各期账单周期移动到下一个状态的概率只依赖于当前状态，而与之前的历史情况无关，本次我们使用马尔可夫链模型来分析各期的期望收益： 如对申请贷款客户进行数据分析，信用评分处于低风险等级的客户下一期申请贷款且维持低风险等级、申请贷款且转为高风险等级的概率分别为95%和5%；信用评分处于高风险等级的客户下一期申请贷款且转为低风险等级、申请贷款且维持高风险等级的概率分别为10%和90%。 如果此时，我们再判断客户的相关收益，则低风险申请贷款客户收益为500，高风险申请贷款客户收益为1500。 综合得出期望收益为： 在用马尔可夫链进行以上分析的过程中，状态转移概率矩阵的确定和调整对我们的预测结果有着至关重要的影响。一旦内外部环境发生变化，一定要调整转移概率矩阵，否则预测结果势必会有不可预料的误差。只有按照实际情况及时更新调整状态转移概率矩阵，才会使预测分析的结论更加准确科学。