已有过去十多年所有a股的日线数据（数据大概也就几百兆大小），想对一些策略进行回测，看下其收益率，最大回撤等等。python正在自学，学了大概一个多月，会一些基本的编程。matlab没接触过。想问下策略回测用哪个工具效率更高？— — — 补充一下，下面有人提到几百兆数据不大，然而我在用python处理这些数据的时候经常提醒我memoeyerror，请问应该怎么解决这个问题？回复内容：
首先十年的日级别数据量的确不大，使用python来说的话不应该出现memoryerror，应该是在编程方面需要再多留意，我们在ricequant上使用的分钟数据大概是200-300个gb左右，也是python和java共同合作完成的。语言只是一个语言，兴许会有各种语法的不同，但是在谈语言的时候我们需要了解背后的工具箱和社区，以及它为什么处理一些事情比另外的一些语言要好。本身python初期用来做金融回测等是应该被放弃的，用来开发策略也应该是被放弃的，因为相比matlab的矩阵运算来做开发，实在是太方便了。只不过后来python推出了series、pandas等一系列的强悍library，pandas的语法基本在“无耻”地模仿matlab和r，而pandas的开发者正是美国大名鼎鼎的对冲基金aqr，因此使data crunching和对数据的一些操作大大便利，此外，又包装了海量的开源社区的数学和科学计算库，也能处理各种的machin learning等等的问题。从科学计算的语言的发展来看，从最初的人们对浮点数计算的需求加入了fortran，再一路进行，让工具更加的让科学计算容易再容易（python也封装了大量早期的数学家们用fortran写的数学计算基础库，这些经历了几十年的考验、加速等等）：
我们来看下python目前的科学技术栈：
numpy: basic array manipulation – 基础的数组处理scipy: scientific computing in python, including signal processing and optimization – 科学计算，包括信号处理和优化等matplotlib: visualization and plotting – 几行代码就可以做图形化显示了ipython: write and run python code interactively in a shell or a notebook – 互动式编程环境，这是能将来替代掉matlab的一个必备，即在一行一行代码的输入、显示过程中学习、改进pandas: data manipulation – 最重要的矩阵运算等scikit-learn: machine learning – 机器学习但是随着以后的发展python的开源属性就会体现的越来越强大，可以让更多的人享受到其便利和贡献进来，包括quantopian也放出了zipline的python回测框架，只需要引入yahoo数据即可进行回测，并且python的速度由于跟c的很好的结合可以达到非常快的速度，而且可以将来和其他系统很容易整合对接实盘交易接口。由于欧美已经有很多的投行和对冲基金在往python的技术栈靠拢，因此选择了python即掌握了一门重要的工具，并且无需跟一家私有化公司进行捆绑。当然，最后的最后，所有的python回测你都可以来ricequant – beta上完成，我们支持海量的市场、财务数据，还有不断加入的和大数据公司合作的舆情数据等等，同时策略回测完还可以做实时模拟交易，享受到实时数据的计算。在云平台上已经支持了几乎所有的python科学计算库，无需花时间安装、测试等等。
我没钱，支持免费开源抛开版权不说，初期入手策略测试、数据分析用matlab非常方便但是策略测试方法、框架弄清楚后，要做正规的回测，还是python方便，这里的正规是指严格的事件流驱动，虽然速度慢，但是避免未来函数影响、接近实盘的逻辑。python在这方面已经有很多库了，quantopian的zipline应该算鼻祖了，国内的优矿网和ricequant都跟zipline很像，另外还有知乎大神的vn.py，pyalgotrade等
语言就是用来干活的，中间文件用hdf5或者csv转存，需要时间序列分析的时候上r.毕竟python的sm库还是很烂的，但是pca和大量的多因子计算，python r matlab都差不多。 回测讲究并发效率和一些多参数回测的参数调优以及一些mc方法的估计时，py运行效率(相对于matlab)会高一些总体来说，别太把语言当回事，就跟吃饭用筷子还是勺子还是叉子，要根据食材来
几百兆数据算个锤锤啊……64位下的python吃个几gb内存也不会咋地啊……如果真报错，记得检查一下代码和算法有没有什么问题。万一原始数据几百兆但是算法里来个空间复杂度指数级那也没救不是么……同样的东西，如果matlab上跑得起，python一般也跑得起；万一跑不起，拆分一下跑并行，两者也都能做到。建议对编程不了解同时也没打算怎么学编程的用matlab之类；反之对编程有兴趣想学的选python。
随便用什么，几百g的数据很小了，当然你要是直接readfile之类读整个文件。。。最简单的就是数据导入到数据库里，mysql，postgresql之类，然后就easy了。
我有两个员工用matlab，但我自己一般用python和r
如果有钱买授权可以选matlab，如果没钱建议不要用盗版，python非常好用
2个都可以，但是没有数据，所以用天软吧！
就题主的介绍，我建议选择python，一、python已经在学习了，matlab还没有学习二、python是开源的，并且也有很多量化交易平台使用python语言，比如我在使用的https://www.joinquant.com，之前自己在本地做回测时也经常出现题主说的memoeyerror ，现在我不再需要担心，joinquant的工程狮们已经帮我解决了，并且这里的回测不限制内存，而且还有我最喜欢的模拟交易微信提醒功能。三、必须要说python是量化投资利器，优点慢慢介绍。题主主要目的是想对一些策略进行回测，看下其收益率，最大回撤等，其实这就是所谓的quant researcher，对他们来说，编程和量化策略缺一不可。和quant dev不同，researcher需要的更多是一种量化策略的解读、分析、开发新策略的能力。题主还需要增加自己的python编程能力，最基础的是数据分析是必须的。一些参考资料分享给你推荐一些量化投资学习资料（持续添加中…）推荐一些python入门学习资料（持续添加中…）【资料分享】python、研究报告、计量经济学、投资书籍、r语言等！(book+video)【散沙】python科学计算系列我是从matlab转过来的初级quant researcher，斗胆总结分享一下自己的python学习路径首先是python的基础知识：python的基本知识一定要熟练掌握，尤其是python中非常好用的迭代器和解析【量化投资利器python】基本语法-数据类型1之列表【量化投资利器python】基本语法-数据类型2之字典【量化投资利器python】基本语法-数据类型3之元组、集合【量化投资利器python】条件与循环-if、while、for【量化投资利器python】神奇的迭代器和解析【量化投资利器python】基本语法-函数接下来是常用的基本类库时间库
常用的时间格式有三种，常用到其之间的互相转化
1）时间戳（timestamp）的方式：
通常来说，时间戳表示的是从1970年1月1日00:00:00开始按秒计算的偏移量。我们运行“type(time.time())”，返回的是float类型。返回时间戳方式的函数主要有time()，clock()等。
2）格式化的时间字符串，比如”%y-%m-%d %h:%m:%s”
3）元组（struct_time）方式
【量化投资利器python】基本类库-时间numpy numpy系统是python的一种开源的数值计算扩展。 numpy（numeric python）提供了许多高级的数值编程工具，如：矩阵数据类型、矢量处理，以及精密的运算库。专为进行严格的数字处理而产生。 numpy — numpy1. numpy basics: arrays and vectorized computation可以参考书python科学计算之numpyscipy scipy是一款方便、易于使用、专为科学和工程设计的python工具包。它包括统计，优化，整合，线性代数模块，傅里叶变换，信号和图像处理,常微分方程求解器等等。 scipy.org — scipy.org可以参考书python科学计算之scipypandaspython data analysis library 或 pandas 是基于numpy 的一种工具，该工具是为了解决数据分析任务而创建的。pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。 可以参考书《python for 数据分析》，也可以到这里下载【资料分享】python、研究报告、计量经济学、投资书籍、r语言等！(book+video)【量化投资利器python】基本类库-pandas入门1之数据结构【量化投资利器python】基本类库-pandas入门2之数据处理【量化投资利器python】基本类库-pandas进阶学完以上三篇教程，pandas的大部分功能已经可以使用，更多功能可以到官网pandas: powerful python data analysis toolkitctrl+f搜索函数帮助ta-libta-lib 用中文可以称作技术分析库，是一种广泛用在程序化交易中进行金融市场数据的技术分析的函数库，提供了多种技术分析的函数，可以大大方便我们量化投资中编程工作。ta-lib用法介绍！指标计算和形态识别的编程利器——ta-libtalib在量化投资中具体的使用例子量化投资学习【ta-lib】之macd量化投资学习【ta-lib】之bollinger bands量化投资学习【ta-lib】之stoch（kd指标）量化投资学习【ta-lib】之atr量化投资学习【ta-lib】之rsiscikit-learn是基于python的机器学习模块，基于bsd开源许可证。scikit-learn的基本功能主要被分为六个部分，分类，回归，聚类，数据降维，模型选择，数据预处理。scikit-learn中的机器学习模型非常丰富，包括svm，决策树，gbdt，knn等等，可以根据问题的类型选择合适的模型。在量化投资中具体的使用例子【机器学习】时间序列波动率估计【机器学习】上证指数十年走势交易策略中的参数优化问题【机器学习】缠论中的线性回归【机器学习】非参数型聚类分析深度学习简介svr预测股票开盘价【机器学习方法研究】——思路整理、支持向量机其他一些以上提到的几个库的具体量化策略研究应用。【qls】线性回归【qls】线性相关分析【qls】斯皮尔曼秩相关系数【qls-6】过拟合【qls7】参数估计的不稳定性量化投资学习【qls-8】之模型设定【qls9】回归模型假设的违背【qls10】回归分析【qls12】套利定价理论【qls15】最大似然法（mle）【qls16】arch和garch【qls17】多空策略【qls19】动量交易策略【qls20】度量动量配对交易策略凸优化(convex optimization)介绍！最后还是要说一句，python只是一种工具，重要的还是策略思想，前期可以通过阅读大量资料获取，然后自己实验、分析逐步总结。推荐一些经典书籍和研究报告，可到【资料分享】python、研究报告、计量经济学、投资书籍、r语言等！(book+video)获取
quant interview books
150 most frequently asked questions on quant interviews[mark joshi]quant job interview questions and answers[xinfeng zhou]a practical guide to quantitative finance interviewsfrequently-asked-questions-quant-interviewheard on the street quantitative questions from wall street job interviewsthe 200 investment banking interview questions ＆ answers you need to know
投资阅读书籍
algorithmic trading winning strategies and their rationalebarra handbook usencyclopedia of trading strategies(交易策略百科全书)inside the black box －a simple guide to quantitative and high frequency trading（2nd.edition）nassim taleb-dynamic hedgingoptions futures and other derivatives 8th – john hullquantative trading strategiesquantitative equity portfolio management：modern techniques and applicationsquantitative trading how to build your own algorithmic trading businessquantitative trading how to build your own algorithmic trading business《new trading systems and methods》 perry j.kaufman 4th edition.pdf《专业投机原理》 完整版 (美).维可多·斯波朗迪保本投资法 不跌的股票(高清)打开量化投资的黑箱股市趋势技术分析（原书第9版-珍藏版）海龟交易法则解读量化投资：西蒙斯用公式打败市场的故事解密对冲基金指数与策略精明交易者 – 考夫曼量化交易 如何建立自己的算法交易(高清)量化交易策略—利用量化分析技术创造盈利交易程序量化数据分析 通过社会研究检验想法量化投资策略-如何实现超额收益alpha量化投资策略与技术修订版期权投资策略 第4版(高清)数量化投资：体系与策略通往金融王国自由之路统计套利(中文版)网格交易法 数学+传统智慧战胜华尔街我是高频交易工程师：知乎董可人自选集 (知乎「盐」系列)主动投资组合管理 创造高收益并控制风险的量化投资方法（原书第2版）(高清)走出幻觉走向成熟金融帝国文集
计量经济学
金融计量学从初级 到 高级建模技术哈佛教材 应用计量经济学 stata高等计量经济学 李子奈等编着蔡瑞胸-analysis of financial time series- financial econometrics(2002)金融时序分析phoebus j. dhrymes, mathematics for econometrics, 4eosborne,rubinstein-a course in game theorymodel building in mathematical programming(5e)hayashi – econometricsgujarati-essentials of econometrics计量精要akira takayama – mathematical economicsa handbook of time-series analysis, signal processing, and dynamics – 19992013年金融数学angel de la fuente 经济数学方法与模型(上财版2003)《经济学的结构–数学分析的方法(清华版)》eugene silberberg, wing suenkamien & schwartz, dynamic optimization(2ed,1991)csz – an introduction to mathematical analysis for economic theory and econometrics(草稿版)
研究报告
国信证券金融工程大券商2016年年度投资策略报告光大证券海通证券申万大师系列他山之石系列中信证券广发证券
matlab做矩阵计算超级方便，几乎就跟手写方程式一样简单，基本不用学习太多编程语言的东西，而且它画各种二维三维的曲线图也非常的简单，是算法研究的不二之选。但是matlab死贵，实际使用的人少，如果你想找开源的资源比较难。python用起来方便，开源的资源多，但是语法比matlab复杂好多，要自己实现很多算法，画图更加是软肋。实际上用 python + matlab 可能会更好。python可以用于原始数据的采集和预处理。matlab用于数据分析和算法研究。