项目背景：
目的：基于开源金融框架FinRL建立一个基于有监督机器学习(Supervised ML)和深度强化学习(DRL)算法的AI选股交易策略并deploy到线上交易平台进行paper trading
项目时长：1-3个月，远程
项目计划：
第一阶段：
下载安装FinRL，下载S&P 500的Open, High, Low, Close and Volume (OHLCV)和Fundamental Indicators (公司基本面数据)，并把数据转化成daily的格式
Copyright by AI4Finance-Foundation
第二阶段：
特征工程，基于OHLCV数据做出公司的技术面分析指标例如MACD, RSI; 基于公司基本面数据做出基本面指标例如: EPS, ROI, ROE, P/E, P/S；并转化成机器学习的数据格式
Copyright by AI4Finance-Foundation
第三阶段：
机器学习和强化学习建模，利用机器学习经典算法(LSTM, Random Forest, SVM, Linear Regression, Lasso, Ridge)基于基本面多因子数据进行选股，每个季度选出top 25%的股票; 并用深度强化学习Ensemble策略(PPO, DDPG, A2C, SAC, TD3)对选出的股票进行资产配置每天进行交易，输出positions
Copyright by AI4Finance-Foundation
第四阶段：
量化策略评估与PPT presentation，回测交易策略(年化率, volatility, 夏普率, 回撤)，出一篇知乎/medium文章
Copyright by AI4Finance-Foundation
第五阶段：
将策略部署到线上交易平台例如Alpaca，进行paper trading
项目Delivery：
出一篇知乎/medium文章给中文和英文社区
Deliver一份jupyter notebook到FinRL的GitHub repository
做一篇PPT报告
策略在线上paper trading环境跑赢大盘
项目收获：
学习并熟悉FinRL框架
End-to-end的做一个量化策略，并进行paper trading(有条件的学生可以做live trading)
学习多因子机器学习建模
回测以及报告撰写方法及可视化思路，并学习一些量化建模逻辑
项目经费：
由AI4Finance开源社区捐赠，当前可以给到每个实习学生每个月最低$1000美金
适合的学生：
对量化策略和数据科学感兴趣，想了解金融以及量化行业，未来希望求职金融方向，想学习数据处理，特征工程，机器学习，强化学习等模型的应用。
对python，机器学习，强化学习有一定了解，可以快速上手
面试题：
What is Markov Decision Process? Give me a definition of MDP. What is a policy?
What is the difference between value function and Q function?
What are some of the ways to learn optimal policy?
What is Exploitation and Exploration? Why do we need it?
Can you walk me through how to learn optimal policy with MDP through Neural Network?
What's the different between Reinforcement learning & Deep Reinforcement Learning?
What’s the difference between Q-learning & Deep Q-learning?
How to implement DQN?
What's discrete and continuous state action space?
What's an actor-critic approach?
Can you tell me the Evolution of Deep Reinforcement Learning algorithms? (DQN, DDPG, Policy Gradient, A2C, PPO, TD3, SAC, etc. the advantages and disadvantages for each algorithm, for example, if you think DQN < DDPG < TD3 < SAC, explain the reasons)
Why do you think we can use Deep Reinforcement Learning for stock trading?
联系方式：
请将简历和面试题答案发送至邮箱：bruce.yang@ai4finance.net
