Metatrader: یک رویکرد یادگیری تقویت کننده ادغام سیاست های متنوعی برای بهینه سازی نمونه کارها

این هشدار با موفقیت اضافه شده است و به شما ارسال می شود: هر زمان که رکوردی که انتخاب کرده اید استناد شده است ، به شما اطلاع داده می شود.

برای مدیریت تنظیمات برگزیده هشدار خود ، روی دکمه زیر کلیک کنید. هشدارهای من را مدیریت کنید

هشدار استناد جدید!

لطفا وارد حساب کاربری خود شوید

صرفه جویی در اتصال

نام

CIKM '22: مجموعه مقالات سی و یکمین کنفرانس بین المللی ACM در مورد مدیریت اطلاعات و دانش

Metatrader: یک رویکرد یادگیری تقویت کننده ادغام سیاست های متنوعی برای بهینه سازی نمونه کارها

صفحات 1573-1583

خلاصه

مدیریت نمونه کارها یک مشکل اساسی در امور مالی است. این شامل مجوزهای دوره ای دارایی ها برای به حداکثر رساندن بازده مورد انتظار در یک سطح مناسب از قرار گرفتن در معرض خطر است. یادگیری تقویت عمیق (RL) به دلیل توانایی قوی آن در تصمیم گیری های متوالی ، یک رویکرد امیدوار کننده برای حل این مشکل در نظر گرفته شده است. با این حال ، به دلیل ماهیت غیر ثابت بازارهای مالی ، استفاده از تکنیک های RL در بهینه سازی نمونه کارها یک مشکل چالش برانگیز است. استخراج دانش معاملات از استراتژی های مختلف متخصص می تواند برای نمایندگان برای جابجایی بازارهای در حال تغییر مفید باشد. در این مقاله ، ما Metatrader را پیشنهاد می کنیم ، یک رویکرد جدید مبتنی بر RL برای مدیریت نمونه کارها ، که یاد می گیرد سیاست های تجاری متنوعی را برای سازگاری با شرایط مختلف بازار ادغام کند. در مرحله اول ، Metatrader یک هدف یادگیری تقلید را در چارچوب یادگیری تقویت قرار می دهد. با تقلید از تظاهرات های مختلف متخصص ، Metatrader مجموعه ای از سیاست های تجاری را با تنوع زیادی بدست می آورد. در مرحله دوم ، Metatrader یک سیاست متا را می آموزد تا شرایط بازار را بشناسد و در مورد مناسب ترین سیاست آموخته شده برای پیگیری تصمیم بگیرد. ما رویکرد پیشنهادی را در سه مجموعه داده شاخص در دنیای واقعی ارزیابی می کنیم و آن را با خط مقدماتی پیشرفته مقایسه می کنیم. نتایج تجربی نشان می دهد که Metatrader به طور قابل توجهی از آن خطوط در تعادل سود و خطرات فراتر می رود. علاوه بر این ، مطالعات فرسایش کامل اثربخشی مؤلفه ها در رویکرد پیشنهادی را تأیید می کند.

مواد تکمیلی

CIKM22-FP0439. MP4

در این مقاله ، ما یک رویکرد یادگیری تقویت کننده جدید برای حل مسئله بهینه سازی نمونه کارها با ادغام سیاست های تجاری متنوع پیشنهاد می کنیم.

منابع

1. سعود المهدی و استیو یانگ. 2017. یک سیستم معاملاتی پرتفوی تطبیقی: یک بهینه سازی نمونه کارها بازده ریسک با استفاده از یادگیری تقویت کننده مکرر با حداکثر پیش بینی مورد انتظار. سیستم های خبره با برنامه های 87 (2017) ، 267--279. کتابخانه Scholardigital Google
2. بنیامین Balaguer و Stefano Carpin. 2011. ترکیب تقلید و تقویت یادگیری برای جمع کردن اشیاء مسطح قابل تغییر شکل. در سال 2011 کنفرانس بین المللی IEEE/RSJ در مورد روبات ها و سیستم های هوشمند. IEEE ، 1405--1412. Google Scholarcross Ref
3. Vivian Batista ، Noel Alonso ، Luis Alonso و María Moreno García. 2010. یک سیستم چند منظوره برای مدیریت کارآمد نمونه کارها ، جلد. 71. 53--60. https://doi. org/10. 1007/978-3-642-12433-4_7 Google Scholar
4. رووی چنگ و چینگ لی. 2021. مدل سازی اثر سرریز حرکت برای پیش بینی سهام از طریق شبکه های توجه نمودار ویژگی محور. در aaaiگوگل دانشکده
5. مارکوس لوپز د پرادو. 2018. پیشرفت در یادگیری ماشین مالی. جان ویلی و پسران. گوگل دانشکده
6. یی دینگ ، Weiqing Liu ، Jiang Bian ، Daoqiang Zhang و Tie-Yan Liu. 2018. سرمایه گذار- تقلید: چارچوبی برای تجارت استخراج دانش. در مجموعه مقالات 24 کنفرانس بین المللی ACM SIGKDD در مورد کشف دانش و داده کاوی (لندن ، انگلستان) (KDD '18). انجمن ماشین آلات محاسباتی ، نیویورک ، نیویورک ، ایالات متحده ، 1310--1319. https://doi. org/10. 1145/3219819. 3220113 کتابخانه Google Scholardigital
7. یوجین اف. فاما و کنت آر. فرانسوی. 1996. توضیحات چند عاملی در مورد ناهنجاری های قیمت گذاری دارایی. مجله مالی 51 (1996) ، 55--84. Google Scholarcross Ref
8. فالی فنگ ، هومین چن ، Xiangnan HE ، جی دینگ ، خورشید ماسونگ و تات-سننگ چوا. 2019. تقویت پیش بینی حرکت سهام با آموزش مخالف. گزارش فنی. 5843--5849 صفحه. https://doi. org/10. 24963/ijcai. 2019/810 Google Scholar
9. مارک گرینبلات ، شریدان تیتمن و راس ورمرز. 1995. استراتژی های سرمایه گذاری حرکت ، عملکرد نمونه کارها و گله ها: مطالعه رفتار صندوق متقابل. بررسی اقتصادی آمریکا (1995) ، 1088--1105. گوگل دانشکده
10. بن هامبلی ، رنیوان زو ، و هویینینگ یانگ. 2021. پیشرفت های اخیر در یادگیری تقویت در امور مالی. Arxiv preprint arxiv: 2112. 04553 (2021). گوگل دانشکده
11. Kaiming He ، Xiangyu Zhang ، Shaoqing Ren و Jian Sun. 2016. یادگیری باقیمانده عمیق برای تشخیص تصویر. در مجموعه مقالات کنفرانس IEEE در مورد چشم انداز رایانه و تشخیص الگوی. 770--778. Google Scholarcross Ref
12. SEPP Hochreiter و Jürgen Schmidhuber. 1997. حافظه کوتاه مدت بلند. محاسبات عصبی 9 ، 8 (1997) ، 1735-1780. کتابخانه Scholardigital Google
13. مین هو ، چانگ زو ، یانگ لیو ، وی کینگ لیو ، جیانگ بیان ، لو وو ، ژی لی ، آروونگ چن و کراوات یان لیو. 2021. پیش بینی روند سهام با داده های چند دانه ای: یک رویکرد یادگیری متضاد با همجوشی تطبیقی. انجمن ماشین آلات محاسباتی (2021) ، 700--709. کتابخانه Scholardigital Google
14. هائو هو و گو-جون چی. 2017. شبکه های عصبی مکرر حافظه با فرکانس دولتی. در مجموعه مقالات 34 مین کنفرانس بین المللی یادگیری ماشین - جلد 70 (سیدنی ، NSW ، استرالیا) (ICML'17). jmlr. org ، 1568--1577. گوگل دانشکده
15. Ziniu Hu ، Weiqing Liu ، Jiang Bian ، Xuanzhe Liu و Tie-Yan Liu. 2018. گوش دادن به زمزمه های هرج و مرج: یک چارچوب یادگیری عمیق برای پیش بینی روند سهام محور. در مجموعه مقالات یازدهمین کنفرانس بین المللی ACM در جستجوی وب و داده کاوی (مارینا دل ری ، کالیفرنیا ، ایالات متحده) (WSDM '18). انجمن ماشین آلات محاسباتی ، نیویورک ، نیویورک ، ایالات متحده ، 261--269. https://doi. org/10. 1145/3159652. 3159690 کتابخانه Google Scholardigital
16. ژنهان هوانگ و فومیه تاناکا. 2022. MSPM: یک سیستم مبتنی بر یادگیری تقویت کننده چند عامل مدولار و مقیاس پذیر برای مدیریت نمونه کارها مالی. PLOS One 17 (2022). گوگل دانشکده
17. Narasimhan Jegadeesh و Sheridan Titman. 1993. بازده به خرید برندگان و فروش بازنده: پیامدهای مربوط به کارایی بازار سهام. مجله مالی 48 ، 1 (1993) ، 65--91. https://doi. org/10. 1111/j. 1540--6261. 1993. tb04702. x Google Scholarcross Ref
18. Narasimhan Jegadeesh و Sheridan Titman. 2015. تعیین کننده های مقطعی و سری زمانی بازده حرکت. بررسی مطالعات مالی 15 ، 1 (06 2015) ، 143--157. https://doi. org/10. 1093/rfs/15. 1. 143 Arxiv: https: //academic. oup. com/rfs/article-pdf/15/143/24432396/150143. pdf Google Scholar
19. Zhengyao Jiang ، Dixing Xu و Jinjun Liang. 2017. یک چارچوب یادگیری تقویت کننده عمیق برای مشکل مدیریت نمونه کارها مالی. ARXIV ABS/1706. 10059 (2017). گوگل دانشکده
20. Guolin KE ، Qi Meng ، Thomas Finley ، Taifeng Wang ، Wei Chen ، Weidong MA ، Qiwei Ye و Tie-Yan Liu. 2017. LightGBM: یک درخت تصمیم گیری شیب بسیار کارآمد. پیشرفت در سیستم های پردازش اطلاعات عصبی 30 (2017). کتابخانه Scholardigital Google
21. Jinho Lee ، Raehyun Kim ، Seok-Won Yi و Jaewoo Kang. 2020. نقشه ها: سیستم مدیریت نمونه کارها مبتنی بر یادگیری چند عامل. arxiv preprint arxiv: 2007. 05402 (2020). گوگل دانشکده
22. بن لی و استیون C. H. Hoi. 2014. انتخاب نمونه کارها آنلاین: یک نظرسنجی. COMPUT ACM. زنده مانده. 46 ، 3 ، ماده 35 (ژانویه 2014) ، 36 صفحه. https://doi. org/10. 1145/2512962 کتابخانه Google Scholardigital
23. Duan Li و Wan-Lung Ng. 2000. انتخاب نمونه کارها پویا بهینه: فرمولاسیون میانگین واریانس چند دوره. مالی ریاضی 10 ، 3 (2000) ، 387--406. https://doi. org/10. 1111/1467-9965. 00100 Google Scholarcross Ref
24. هری مارکوویتز. 1952. انتخاب نمونه کارها. مجله مالی 7 ، 1 (1952) ، 77--91. http://www. jstor. org/stable/2975974 Google Scholar
25. Russell Mendonca ، Abhishek Gupta ، Rosen Kralalev ، Pieter Abbeel ، Sergey Levine و Chelsea Fin. 2019. جستجوی متا سیاست هدایت شده. پیشرفت در سیستم های پردازش اطلاعات عصبی 32 (2019). گوگل دانشکده
26. Volodymyr Mnih ، Koray Kavukcuoglu ، David Silver ، Andrei A Rusu ، Joel Veness ، Marc G Bellemare ، Alex Graves ، Martin Riedmiller ، Andreas K Fidjeland ، George Ostrovski ، et al. 2015. کنترل سطح انسان از طریق یادگیری تقویت عمیق. طبیعت 518 ، 7540 (2015) ، 529--533. گوگل دانشکده
27. جان مودی و متیو سافل. 1998. یادگیری تقویت برای تجارت. پیشرفت در سیستم های پردازش اطلاعات عصبی 11 (1998). گوگل دانشکده
28. Tobias J. Moskowitz ، Yao Hua Ooi و Lasse Heje Pedersen. 2012. حرکت سریال زمانی. مجله اقتصاد مالی 104 ، 2 (2012) ، 228--250. https://doi. org/10. 1016/j. jfineco. 2011. 11. 003 شماره ویژه در مورد احساسات سرمایه گذار. Google Scholarcross Ref
29. جان ماسین1968. سیاست های نمونه کارها بهینه بهینه. مجله کسب و کار 41 ، 2 (1968) ، 215--229. http://www. jstor. org/stable/2351447 Google Scholarcross Ref
30. اشوین نیر ، باب مک گرو ، مارکین آندریچویچ ، ووجیچ زارمبا و پیتر اببل. 2018. غلبه بر اکتشاف در یادگیری تقویت با تظاهرات. در سال 2018 کنفرانس بین المللی IEEE در مورد روباتیک و اتوماسیون (ICRA). IEEE ، 6292--6299. کتابخانه Scholardigital Google
31. دین پومرلو. 1991. آموزش کارآمد شبکه های عصبی مصنوعی برای ناوبری خودمختار. محاسبات عصبی 3 ، 1 (1991) ، 88--97. گوگل دانشکده
32. جیمز م پتربا و لارنس H سامرز. 1988. میانگین برگشت در قیمت سهام: شواهد و پیامدهای. مجله اقتصاد مالی 22 ، 1 (1988) ، 27-59. Google Scholarcross Ref
33. Yao Qin ، Dongjin Song ، Haifeng Cheng ، Wei Cheng ، Guofei Jiang و Garrison W. Cottrell. 2017. یک شبکه عصبی مکرر مبتنی بر توجه دو مرحله برای پیش بینی سری زمانی. در مجموعه مقالات بیست و یکمین کنفرانس مشترک بین المللی اطلاعات مصنوعی (ملبورن ، استرالیا) (IJCAI'17). AAAI Press ، 2627--2633. گوگل دانشکده
34. Ramit Sawhney ، Shivam Agarwal و Aav Wadhwa. 2020. یادگیری عمیق برای پیش بینی حرکت سهام از متن رسانه های اجتماعی و همبستگی شرکت.(01 2020) ، 8415--8426. https://doi. org/10. 18653/v1/2020. emnlp-main. 676 Google Scholar
35. Ramit Sawhney ، Shivam Agarwal ، Aav Wadhwa ، Tyler Derr و Rajiv Ratn شاه. 2021. انتخاب سهام از طریق شبکه توجه Hypergraph Spatiotemporal: یادگیری رویکرد رتبه. 35 (مه 2021) ، 497--504. https://ojs. aaai. org/ index. php/aaai/مقاله/مشاهده/16127 Google Scholar
36. Franco Scarselli ، Marco Gori ، Ah Chung Tsoi ، Markus Hagenbuchner و Gabriele Monfardini. 2008. مدل شبکه عصبی نمودار. معاملات IEEE در شبکه های عصبی 20 ، 1 (2008) ، 61--80. کتابخانه Scholardigital Google
37. Si Shi ، Jianjun Li ، Guohui Li ، Peng Pan و Ke Liu. 2021. XPM: یک چارچوب یادگیری تقویت عمیق قابل توضیح برای مدیریت نمونه کارها. انجمن ماشین آلات محاسباتی ، نیویورک ، نیویورک ، ایالات متحده ، 1661-1660. https://doi. org/10. 1145/3459637. 3482494 کتابخانه Google Scholardigital
38. مارک سی استینباخ. 2001. Markowitz Revisited: مدل های میانگین واریانس در تجزیه و تحلیل نمونه کارها مالی. SIAM Rev. 43 ، 1 (ژانویه 2001) ، 31--85. https://doi. org/10. 1137/ S0036144500376650 Google Scholar
39. شوو سان ، روندونگ وانگ و بو آن. 2021. یادگیری تقویت برای تجارت کمی. arxiv preprint arxiv: 2109. 13851 (2021). گوگل دانشکده
40. Wen Sun ، J Andrew Bagnell و Byron Boots. 2018. جستجوی خط مشی افق کوتاه: ترکیبی از یادگیری تقویت و یادگیری تقلید. Arxiv preprint arxiv: 1805. 11240 (2018). گوگل دانشکده
41. ریچارد S Sutton و Andrew G Barto. 2018. یادگیری تقویت: یک مقدمه. مطبوعات MIT. گوگل دانشکده
42. Ashish Vaswani ، Noam Shazeer ، Niki Parmar ، Jakob Uszkoreit ، Llion Jones ، Aidan N. Gomez ، łukasz Kaiser و Illia Polosukhin. 2017. توجه همه آنچه شما نیاز دارید است. در مجموعه مقالات سی و یکمین کنفرانس بین المللی سیستم های پردازش اطلاعات عصبی (لانگ بیچ ، کالیفرنیا ، ایالات متحده) (NIPS'17). شرکت Curran Associates ، Red Hook ، NY ، USA ، 6000--6010. کتابخانه Scholardigital Google
43. Jingyuan Wang ، Ze Wang ، Jianfeng Li ، and Junjie Wu. 2018. شبکه تجزیه موج چند سطحی برای تجزیه و تحلیل سری زمانی قابل تفسیر. در مجموعه مقالات 24 کنفرانس بین المللی ACM SIGKDD در مورد کشف دانش و داده کاوی (لندن ، انگلستان) (KDD '18). انجمن ماشین آلات محاسباتی ، نیویورک ، نیویورک ، ایالات متحده ، 2437--2446. https://doi. org/10. 1145/3219819. 3220060 کتابخانه Google Scholardigital
44. Jingyuan Wang ، Yang Zhang ، Ke Tang ، Junjie Wu و Zhang Xiong. 2019. Al- Phastock: یک استراتژی سرمایه گذاری با فروشندگان و فروشنده های خرید و فروش با استفاده از شبکه های توجه قابل تفسیر عمیق. در مجموعه مقالات 25 کنفرانس بین المللی ACM SIGKDD در مورد کشف دانش و داده کاوی. 1900--1908. کتابخانه Scholardigital Google
45. Rundong Wang ، Hongxin Wei ، Bo an ، Zhouyan Feng و Jun Yao. 2020. هزینه کمیسیون کافی نیست: یک چارچوب تقویت شده سلسله مراتبی برای مدیریت نمونه کارها. Arxiv preprint arxiv: 2012. 12620 (2020). گوگل دانشکده
46. Zhicheng Wang ، Biwei Huang ، Shikui Tu ، Kun Zhang و Lei Xu. 2021. Deep-Trader: یک رویکرد یادگیری عمیق تقویت شده برای مدیریت نمونه کارها متعادل با بازده ریسک با شرایط بازار تعبیه شده است. در مجموعه مقالات کنفرانس AAAI در مورد هوش مصنوعی ، جلد. 35. 643--650. گوگل دانشکده
47. جین زو ، جینگبو ژو ، یونگپو جیا ، جیان لی و شیونگ هوی. 2020. یک مدل منظم و سازگار با استاد سازگار برای پیش بینی درآمد غیر منتظره با داده های جایگزین. در سال 2020 IEEE 36 کنفرانس بین المللی مهندسی داده ها (ICDE). 601--612. https://doi. org/10. 1109/ICDE48307. 2020. 00058 Google Scholar
48. Yunan Ye ، Hengzhi Pei ، Boxin Wang ، Pin-Yu Chen ، Yada Zhu ، Ju Xiao و Bo Li. 2020. مدیریت نمونه کارها مبتنی بر یادگیری تقویت شده با ایالات پیش بینی جنبش دارایی تقویت شده. در مجموعه مقالات کنفرانس AAAI در مورد هوش مصنوعی ، جلد. 34. 1112--1119. Google Scholarcross Ref
49. Jaemin Yoo ، Yejun Soun ، Yong-Chan Park ، and U Kang. 2021. پیش بینی دقیق حرکت سهام چند متغیره از طریق ترانسفورماتور محور داده با زمینه های چند سطحی. در مجموعه مقالات بیست و هفتمین کنفرانس ACM SIGKDD در مورد کشف دانش و داده کاوی (رویداد مجازی ، سنگاپور) (KDD '21). انجمن ماشین آلات محاسباتی ، نیویورک ، نیویورک ، ایالات متحده ، 2037--2045. https://doi. org/10. 1145/3447548. 3467297 کتابخانه Google Scholardigital
50. فیشر یو و ولادلن کلتون. 2015. تجمع زمینه چند مقیاس توسط پیچیدگی های گشاد. Arxiv preprint arxiv: 1511. 07122 (2015). گوگل دانشکده
51. Liang Zeng ، Lei Wang ، Hui Niu ، Jian Li ، Ruchen Zhang ، Zhonghao Dai ، Dewei Zhu و Ling Wang. 2021. تجارت هنگامی که فرصت فرا می رسد: پیش بینی حرکت قیمت از طریق توجه به محل توجه و برچسب زدن تکراری. https://doi. org/10. 48550/arxiv. 2107. 11972 Google Scholar