پیش بینی جهت قیمت سهام با استفاده از مدل Lasso-LSTM با ترکیبی از شاخص های فنی و تجزیه و تحلیل احساسات مالی

doi 10. 7717/peerj-cs. 1148 منتشر شده 2022-11-16 پذیرفته شده 2022-10 دریافت شده 2022-07-20 ویراستار دانشگاهی جیایشن یانگ زمینه های موضوعی هوش مصنوعی ، داده های استخراج و یادگیری ماشین ، علوم داده ، کلمات کلیدی تجزیه و تحلیل احساسات Lasso-LSTMمدل ، پیش بینی قیمت سهام ، شاخص های فنی ، تجزیه و تحلیل احساسات مالی ، انتخاب متغیر کپی رایت © 2022 یانگ و همکاران. مجوز این یک مقاله دسترسی آزاد است که تحت شرایط مجوز انتساب Creative Commons توزیع شده است ، که امکان استفاده ، توزیع ، بازتولید و سازگاری نامحدود در هر رسانه و به هر منظور را فراهم می کند به شرط اینکه به درستی نسبت داده شود. برای انتساب ، نویسنده اصلی (ها) ، عنوان ، منبع انتشار (علوم کامپیوتر PEERJ) و یا DOI یا URL مقاله باید ذکر شود. به این مقاله یانگ جی ، وانگ Y ، لی X. 2022 اشاره کنید. پیش بینی جهت قیمت سهام با استفاده از مدل Lasso-LSTM با استفاده از شاخص های فنی و تجزیه و تحلیل احساسات مالی. Peerj Computer Science 8: E1148 https://doi.org/10. 7717/peerj-cs. 1148

چکیده

پیش بینی صحیح جهت حرکت قیمت سهام در بازار مالی اهمیت زیادی دارد. در سال های اخیر، با گسترش ابعاد و حجم در داده ها، کاراکترهای غیر ثابت و غیرخطی در داده های مالی، پیش بینی دقیق حرکت سهام را دشوار می کند. در این مقاله، ما روشی را پیشنهاد می کنیم که تجزیه و تحلیل تکنیکی و تحلیل احساسات را برای ساخت متغیرهای پیش بینی کننده ترکیب می کند و سپس از LASSO-LASSO بهبود یافته برای پیش بینی جهت سهام استفاده می کند. ابتدا، محتوای متنی مالی و داده های معاملات تاریخی سهام از وب سایت ها خزیده می شوند. سپس از آموزش انتقالی Finbert برای تشخیص احساسات داده های متنی استفاده می شود و بسته TTR برای محاسبه شاخص های فنی بر اساس داده های قیمت تاریخی استفاده می شود. برای حذف چند خطی متغیرهای پیش بینی کننده پس از ترکیب، مدل شبکه عصبی حافظه کوتاه مدت (LSTM)را با عملگر انقباض و انتخاب مطلق (LASSO) بهبود می دهیم. در مرحله پیش بینی، متغیرهای غربال شده را به عنوان بردار ورودی برای آموزش مدل LASSO-LSTM اعمال می کنیم. برای ارزیابی عملکرد مدل، ما مدل های LASSO-LSTM و پایه را بر روی معیارهای دقت و استحکام مقایسه می کنیم. علاوه بر این، برای ارزیابی تفاوت نتایج، آزمون رتبه امضا شده Wilcoxon را معرفی می کنیم. نتیجه آزمایش ثابت می کند که LASSO-LSTM با شاخص های فنی و احساسی دارای میانگین 8. 53 درصد بهبود دقت نسبت به LSTM استاندارد است. در نتیجه، این مطالعه ثابت می کند که استفاده از معاملات تاریخی و داده های احساسات مالی می تواند اطلاعات حیاتی مؤثر بر حرکت سهام را به دست آورد. همچنین، انتخاب متغیر موثر می تواند متغیرهای کلیدی را حفظ کرده و عملکرد پیش بینی مدل را بهبود بخشد.

مقدمه

اخیراً روش های پیش بینی بازار سهام توجه گسترده ای را در دانشگاه و تجارت به خود جلب کرده است. برخی از محققان پیشنهاد می کنند که جهت حرکت قیمت سهام قابل پیش بینی نیست و نظریه هایی مانند فرضیه بازار کارآمد و فرضیه پیاده روی تصادفی را پیشنهاد می کنند (فاما، 1970؛ فاما، 1995). طرفداران فرضیه بازار کارآمد معتقدند که تمام اطلاعات موجود در بازار سهام در قیمت سهام و در دسترس بودن برای همه معامله گران منعکس می شود. بنابراین، سرمایه گذاران نمی توانند با تجزیه و تحلیل قیمت های سهام گذشته، سود اضافی به دست آورند (بورگز، 2010).

با این حال ، برخی از محققان از تجزیه و تحلیل تجربی استفاده کردند تا ثابت کنند که بازار سهام کاملاً مؤثر نیست و می توان پیش بینی کرد (Eom et al. ، 2008 ؛ Raza ، 2017). در این زمینه ، محققان روشهای بسیاری را برای پیش بینی بازار سهام ، مانند (1) تجزیه و تحلیل فنی پیشنهاد می کنند.(2) تجزیه و تحلیل اساسی و (3) یادگیری ماشین. تجزیه و تحلیل اساسی فرض می کند که وضعیت اقتصادی کشور می تواند وضعیت توسعه یک شرکت را منعکس کند و بر قیمت سهام آن تأثیر بگذارد. شاخص های پیش بینی کننده در تجزیه و تحلیل اساسی معمولاً شاخص های سری زمانی کلان اقتصادی مانند تولید ناخالص داخلی ، نرخ بهره ، نرخ ارز و شاخص قیمت مشتری هستند (Boyacioglu & Avci ، 2010). تجزیه و تحلیل فنی متداول ترین روش پیش بینی است (Cavalcante و همکاران ، 2016). تحلیلگران فنی از قیمت سهام ، حجم معاملات ، وسعت و رفتار تاریخی فعالیتهای تجاری برای ارزیابی وضعیت سهام و پیش بینی روند قیمت یا سیگنال های معاملاتی استفاده می کنند. فرض تجزیه و تحلیل فنی این است که کلیه اطلاعات بازار ، مانند احساسات سرمایه گذار و شرایط کلان اقتصادی ، در قیمت سهام منعکس می شود. بنابراین ، تجزیه و تحلیل بر اساس اطلاعاتی مانند قیمت سهام و حجم معاملات می تواند جهت حرکت بازار سهام را پیش بینی کند (نیلی و همکاران ، 2014 ؛ ادواردز ، ماژ و باستی ، 2018 ؛ آگراوال و همکاران ، 2022).

هر روش پیش بینی قیمت سهام مزایا و نقص های مختلفی دارد. به طور کلی ، مدل های یادگیری ماشین می توانند رابطه بین متغیرهای پیش بینی کننده و جهت حرکت سهام را در داده های تاریخی بیاموزند. با توجه به اثربخشی و گسترش آن ، می توان از رویکردهای یادگیری ماشین در بیشتر پیشکسوتان در حوزه های اقتصادی استفاده کرد. در مقایسه با روشهای آمار سنتی و مدلهای اقتصاد سنجی ، مدل های یادگیری ماشین عملکرد پیش بینی و استحکام بهتری دارند (پاتل و همکاران ، 2015 ؛ Bustos & Pomares-Quimbaya ، 2020 ؛ Shobana & Umamaheswari ، 2021). روش یادگیری ماشین معمولاً شامل شبکه عصبی مصنوعی (ANN) ، تجزیه و تحلیل تبعیض آمیز خطی (LDA) ، جنگل تصادفی (RF) و دستگاه بردار پشتیبانی (SVM) است. SVM از عملکرد از دست دادن لولا برای محاسبه خطر تجربی استفاده می کند و شرایط منظم را به سیستم حل می افزاید تا خطر ساختاری را بهینه کند ، که طبقه بندی کننده ای با استحکام خوب است (چن و هائو ، 2017). RF یک مدل گروهی است که از مدل های چند درخت تصمیم گیری تشکیل شده است ، که می تواند به طور موثری از وضعیت بیش از حد مناسب جلوگیری کند (ابراهیم ، کاشف و کوریگان ، 2021). با این حال ، این روش ها نمی توانند شخصیت های سری زمانی را در داده های سهام ضبط کنند و عملکرد ضعیفی در برخورد با داده های با سرعت بالا دارند. علاوه بر این ، سرعت آموزش مدل SVM کند است و پردازش در نمونه های داده در مقیاس بزرگ دشوار است ، RF بر اساس مدل درخت تصمیم گیری ساخته می شود. هنگامی که تعداد درختان تصمیم گیری زیاد باشد ، آموزش مدل جنگل تصادفی قدرت و زمان محاسباتی زیادی را مصرف می کند ، که منجر به کارآیی کم کار مدل می شود. علاوه بر این ، این روش ها نمی توانند شخصیت های سری زمانی را در داده های سهام ضبط کنند و در برخورد با داده های با سرعت بالا عملکرد ضعیفی داشته باشند (Nikou ، Mansourfar & Bagherzadeh ، 2019).

مدل های یادگیری عمیق می توانند مشکلاتی را که در مجموعه داده های عظیم وجود دارد، مانند ابعاد بالا، پیچیدگی بالا و نویز داده، که برای الگوریتم های یادگیری ماشین سنتی کار دشواری هستند، حل کنند (Thakkar & Chaudhari، 2021). شبکه عصبی مکرر (RNN) نورون های خود بازخورد را می پذیرد و یک شبکه حلقه جهت دار می سازد. در مقایسه با ساختار DNN سنتی، ایده اصلی RNN این است که اطلاعات را به یک سری تجزیه کند، همه واحدهای تکرار شونده به هم متصل هستند و می توانند نتایج لحظه قبلی را به لحظه بعدی منتقل کنند. این ساختار RNN را قادر می سازد تا عملکرد حافظه کوتاهی داشته باشد و می تواند با داده های سری زمانی سروکار داشته باشد (Sherstinsky, 2020). با این حال، مدل RNN یک مشکل وابستگی طولانی مدت دارد، گره های دورتر از گره فعلی تأثیر کمتر و کمتری بر پردازش گره فعلی دارند. تابع فعال سازی سیگموئید و Tanh در مدل RNN نمی تواند اطلاعات مهم داده ها را هنگام برخورد با بردارهای ورودی شکاف بزرگ پردازش کند. حافظه کوتاه مدت بلند مدت (LSTM) گونه ای از RNN است که می تواند مشکل انفجار گرادیان و ناپدید شدن گرادیان ناشی از طول زمان را حل کند (Yu et al., 2019). در مقایسه با روش های یادگیری ماشین سنتی، مدل LSTM می تواند به طور موثر اطلاعات را در داده های سری زمانی پردازش کرده و پیش بینی کارآمد را پیاده سازی کند. مدل یادگیری عمیق به طور گسترده در زمینه های متعدد به کار می رود و نتایج خوبی به همراه دارد. Yu & Yan (2020) از بازسازی فاز-فضای سری زمانی برای پردازش داده های سهام و پیش بینی قیمت سهام بر اساس مدل شبکه های عصبی عمیق (DNN) استفاده می کنند. سو، زی و هان (2021) مدل RFG-LSTM را برای پیش بینی سهام بالا و پایین پیشنهاد کردند، که از دروازه فراموشی اصلاح شده برای بهبود مدل LSTM سنتی استفاده می کند و پیچیدگی محاسباتی را کاهش می دهد.

طیف گسترده ای از شاخص ها برای پیش بینی حرکت سهام اعمال شده است و متداول ترین آنها عبارتند از قیمت سهام سری زمانی ، شاخص های فنی و داده های متنی مالی. DAI ، Zhu & Kang (2021) فناوری موجک را برای استفاده از داده های موجود در اختیار سهام قرار داده و شاخص های فنی را بدست آورند ، که می تواند رفتار بازار و روند سهام را به صورت پویا منعکس کند. با محبوبیت تکنیک فرآیند زبان طبیعی (NLP) ، داده های گسترده متنی مالی برای پیش بینی حرکت سهام مانند مقالات رسانه ای (گارسیا ، 2013) ، اخبار مالی و نظرات رسانه های اجتماعی مورد تجزیه و تحلیل قرار گرفته است (رنو ، 2020). تجزیه و تحلیل احساسات معمولاً شخصیت ها را از محتوای متنی استخراج می کند و از شاخص های احساسات برای پیش بینی روند سهام استفاده می کند (Nam & Seong ، 2019 ؛ Zolfaghari & Gholami ، 2021). در این مطالعه ، ما شاخص های احساساتی فنی و مالی را با هم ترکیب می کنیم ، این روش هم داده های معاملات و سهام تاریخی سرمایه گذاران را در نظر می گیرد و اطلاعات بیشتری را بر روی جهت حرکت سهام استخراج می کند.

با پیشرفت در فناوری ، ابعاد و کمیت داده ها تا حد زیادی بهبود یافته است. داده ها در بورس سهام دارای ویژگی های غیر ایستگاه و غیرخطی است که بر عملکرد مدل تأثیر می گذارد. فناوری انتخاب متغیر یک رویکرد مؤثر برای مقابله با اوضاع است ، از جمله تجزیه و تحلیل مؤلفه اصلی (PCA) (Wold ، Esbensen & Geladi ، 1987) ، حداقل عملگر کوچک و انتخابی مطلق (Lasso) (Tibshirani ، 2011). روش Lasso یک مدل تخمین فشرده سازی است که با ساخت یک عملکرد پنالتی که برخی از ضرایب را فشرده می کند ، یک مدل تصفیه شده تر به دست می آورد. از نظر ریاضی ، لاسو یک برآوردگر مغرضانه است که داده ها را با کواریانس پیچیده پردازش می کند و مزیت انقباض زیر مجموعه را حفظ می کند. این روش در زمینه های متعددی اعمال شده است. به عنوان مثال ، ما و همکاران.(2018) برای انتخاب متغیرهای پیش بینی کننده از مجموعه داده اصلی و پیش بینی نوسانات روغن ، مدل مجازات Lasso را اتخاذ می کند. نتیجه نشان می دهد که انتخاب متغیر Lasso می تواند دقت پیش بینی را بهبود بخشد. لی ، لیانگ و کارشناسی ارشد (2022) از چارچوب MIDAS-RV استفاده می کنند و مدل MIDAS-Lasso را برای پیش بینی نوسان قیمت سهام بر اساس سیاست اقتصادی و شاخص های استرس مالی ایجاد می کنند ، مدل بهبود یافته عملکرد پیش بینی برتر تحت اپیدمی COVID-19 را دارد.

مطالعات موجود بیشتر روش پیش بینی را از یک دیدگاه واحد مانند مدل ها ، شاخص ها و انتخاب متغیر بهبود می بخشد. در این مقاله ، ما تجزیه و تحلیل احساسات و شاخص های فنی را برای گرفتن اطلاعات بیشتر منعکس کننده حرکت سهام ترکیب می کنیم. برای جلوگیری از نویز و چندگانه بودن متغیرهای پیش بینی کننده و پردازش داده های سری زمانی ، از مدل Lasso-LSTM برای پیش بینی جهت حرکت سهام استفاده می شود.

سهم این مقاله به شرح زیر است:

تحقیقات موجود فقط بر شاخص های فنی یا شاخص های احساسات مالی متمرکز است. در اینجا ما محتوای متنی مالی و قیمت تاریخچه سهام را از وب سایت ها خزنده می کنیم ، سپس شاخص های احساسات و شاخص های فنی را محاسبه می کنیم. این شامل اطلاعات بیشتر در مورد قیمت سهام و تمایل تجارت در مقایسه با سیستم شاخص موجود است.

ما مدل فینبرت را برای استخراج اطلاعات احساسات متنی از داده های مالی گسترده اتخاذ می کنیم. این مدل یادگیری انتقال توسط محتوای متنی مالی گسترده از قبل آموزش داده می شود و از عملکرد عالی در تجزیه و تحلیل احساسات مالی برخوردار است.

برای از بین بردن چند کولی و نویز بین متغیرهای پیش بینی کننده ، ما مدل Lasso-LSTM را پیشنهاد می کنیم ، که دارای ساختار حافظه است و می تواند انتخاب متغیر را انجام دهد. سرانجام ، ما عملکرد پیش بینی Lasso-LSTM ، RF ، LSTM و SVM را بر اساس 4 معیار مقایسه کردیم.

باقیمانده این مقاله به شرح زیر سازماندهی شده است: "آثار مرتبط" برخی از مطالعات مرتبط در مورد روشهای پیش بینی سهام را توصیف می کند."مواد و روشها" معماری روش پیشنهادی ، از جمله پردازش جمع آوری داده ها ، انتخاب متغیر و محاسبه شاخص ها را معرفی می کند. در "آزمایش و نتایج" ، ما مدل را آموزش می دهیم و عملکرد Lasso-LSTM ، RF ، SVM و LSTM را بر اساس 4 معیار ارزیابی مقایسه می کنیم."نتیجه گیری" مطالعات را خلاصه می کند و برخی از مسیرهای تحقیق آینده را ارائه می دهد.

کارهای مرتبط

در این بخش مطالعات مربوط به شبکه های عصبی LSTM ، پیش بینی قیمت سهام ، تجزیه و تحلیل احساسات متن و مدل BERT در موارد زیر شرح داده شده است.

مدل LSTM

برای بهبود مشکل وابستگی طولانی مدت در مدل RNN ، یک مکانیسم دروازه در مدل RNN معرفی می شود ، که به آن RNN Gated گفته می شود. مکانیسم دروازه می تواند میزان تجمع اطلاعات را از جمله اضافه کردن یا فراموش کردن اطلاعات کنترل کند. مدل LSTM نوعی از مدل RNN است ، که با مکانیسم های چند دروازه می تواند به طور موثری مشکل ناپدید شدن شیب را در مدل RNN ساده حل کند. پیشرفت LSTM به RNN بر دو نقطه تمرکز دارد: (1) وضعیت داخلی را برای انتقال اطلاعات معرفی می کند.(2) مکانیسم های دروازه را برای کنترل سرعت تجمع اطلاعات اتخاذ کنید. در این مقاله ، ما روش Lasso و مدل LSTM را با هم ترکیب می کنیم ، سر و صدای و چندگانه بودن را در داده ها با انتخاب متغیر از بین می بریم و سپس دقت پیش بینی LSTM را بهبود می بخشیم.

تجزیه و تحلیل احساسات مالی

بازار سهام به دلیل تأثیر عوامل مختلف مانند محیط اقتصادی ، رویدادهای سیاسی و احساسات سرمایه گذاران در نوسان است. سرمایه گذاران انتظار دارند که قیمت سهام طبق اطلاعاتی که می توانند به دست آورند ، مانند اخبار مالی و نظرات وب افزایش یا سقوط کند. بنابراین ، تجزیه و تحلیل محتوای متنی مالی می تواند احساسات بازار و تمایل تجارت را تشخیص دهد و سپس رفتار سرمایه گذاران را پیش بینی کند (Ko & Chang ، 2021). مطالعات قبلی در مورد تجزیه و تحلیل محتوای متنی امور مالی نشان می دهد که مقالات مالی و نظرات رسانه های اجتماعی می تواند برای پیش بینی قیمت سهام اعمال شود (Tetlock ، Saar-Tsechansky & MacSkassy ، 2008). با این حال ، تجزیه و تحلیل کمی از محتوای متنی به دلیل نویز و شخصیت های بدون ساختار داده ها پیچیده است (رنو ، 2020)

در این زمینه، محققان روش پردازش زبان طبیعی (NLP) را برای مطالعه مشکلات تحلیل احساسات در زمینه مالی اتخاذ می کنند. رایج ترین رویکرد تحلیل در محتوای احساسات داده متنی، رویکرد مبتنی بر فرهنگ لغت، یادگیری ماشینی و یادگیری عمیق است. رویکرد مبتنی بر فرهنگ لغت، جملات را از محتوای متنی برای تجزیه و تحلیل استخراج می کند و سپس جملات را بر اساس مشکلات کلمه توقف (stop-word) تقسیم می کند. هر کلمه ای که از جملات نوشته می شود، گرایش احساسی خود را دارد و می توان آن را بر اساس فرهنگ لغت احساسات از پیش تعریف شده در دسته بندی های مربوطه طبقه بندی کرد (لی و همکاران، 2010؛ تولکنز و همکاران، 2016). بنابراین، می توانیم احساسات محتوای متنی را با توجه به برچسب های کلمه تشخیص دهیم. در مقایسه با یادگیری ماشینی و یادگیری عمیق، مزیت رویکرد مبتنی بر فرهنگ لغت این است که هیچ برچسبی از داده ها مورد نیاز نیست و نیازی به آموزش نیست.

برای دستیابی به دقت پیش بینی بالاتر، برخی از روش های یادگیری ماشین در زمینه تجزیه و تحلیل احساسات، مانند تحلیل تشخیصی خطی (LDA)، ماشین های بردار پشتیبان (SVM) و بیز ساده (NB) استفاده می شوند. روش های یادگیری ماشینی می توانند نویز موجود در داده های متنی را پردازش کرده و محتوای متن استاندارد را حفظ کنند. پس از آن، داده های از پیش پردازش شده در معرض استخراج ویژگی قرار می گیرند که منجر به بردار ویژگی برای نشان دادن شاخص های احساسات محتوای متنی می شود. موراس، ولیاتی و نتو (2013) عملکرد مدل ANN و SVM را بر اساس وظایف تحلیل احساسات در سطح سند مقایسه می کنند. نتیجه نشان می دهد که دقت طبقه بندی ANN به طور قابل توجهی بهتر از SVM است. Kanakaraj & Guddeti (2015) روش NLP مجموعه ای بهبود یافته را پیشنهاد می کنند که معنایی را در بردارهای کلمه در نظر می گیرد و دقت بیشتری نسبت به یک طبقه بندی کننده منفرد انجام می دهد. در این مقاله اخبار مالی روزانه سهام را جمع آوری کرده و سپس شاخص های احساسی مانند امتیاز مثبت، نمره خنثی، نمره منفی و شماره مقالات روزانه را با مدل FinBERT محاسبه می کنیم.

FinBERT

با بهبود فناوری محاسبات، محققان شروع به آموزش مدل های مبتنی بر پیکره های بزرگ می کنند و سپس از مدل های از پیش آموزش دیده شده در وظایف NLP استفاده می کنند، جایی که چنین مدل هایی عملکرد خوبی دارند (پیترز و همکاران، 2018؛ هوارد و رودر، 2018).. مدل نمایش رمزگذار دو جهته از ترانسفورماتورها (BERT) روی محتوای متنی دامنه عمومی، مانند مقالات خبری و ویکی پدیا، از قبل آموزش داده شده است (Devlin et al., 2018). شکل 1 معماری مدل BERT، E است₁، ای₂، …، E_nنشان دهنده ورودی ها، T₁، تی₂، …، تی_nخروجی های مدل BERT ، که توسط رمزگذار ترانسفورماتور چند لایه محاسبه می شود. BERT از بلوک رمزگذار ترانسفورماتور برای جمع آوری به جای رمزگشایی ترانسفورماتور سنتی استفاده می کند ، اولی یک مدل رمزگذار دو جهته معمولی است.

شکل 1: معماری مدل برت.

آزمایشات نشان می دهد که BERT دارای قابلیت طبقه بندی برتر به مدلهای سنتی NLP است و دقت را در 5. 6 ٪ در مجموعه داده های MultinLi بهبود می بخشد (Devlin et al. ، 2018). با این حال ، در برخی از وظایف تخصصی NLP ، مدل های BERT بر اساس محتوای متنی دامنه عمومی از قبل آموزش داده شده نمی توانند برخی از واژگان اختصاصی را پردازش کنند و عملکرد ضعیفی دارند. برای این منظور ، لیو و همکاران.(2021) فینبرت (برت برای استخراج متن مالی) که در شرکتهای مالی و تجاری در مقیاس بزرگ از قبل آموزش دیده است و عملکرد خود را افزایش داده است. در این مطالعه ، ما فینبرت را اتخاذ می کنیم ، یک مدل BERT خاص دامنه برای انجام وظایف تجزیه و تحلیل احساسات ، جزئیات معماری فینبرت در شکل 2 ذکر شده است.

شکل 2: تصویر معماری برای فینبرت.

فینبرت بر اساس مدل استاندارد برت ارائه شده است ، که یک مدل دو مرحله ای از قبل از آموزش است که شامل قبل از آموزش و تنظیم دقیق است. در مقایسه با استاندارد BERT ، فینبرت از روشهای مختلف قبل از آموزش از استاندارد BERT استفاده کرد ، مدل بهبود یافته از چندین کار قبل از آموزش خود تحت نظارت خود استفاده می کند که می تواند با استفاده از روشهای یادگیری خودکارد شده چند منظوره برای گرفتن دانش زبانی و اطلاعات معنایی در آن آموزش داده شودشرکتهای از پیش آموزش در مقیاس بزرگ به طور مؤثرتر. در مرحله قبل از آموزش ، داده های متنی آموزش مالی فینبرت شامل چهار بخش است: ویکی پدیا انگلیسی و کتابفروشی ، FinancialWeb ، Yahoofinance و RedditFinanceQa. در مرحله تنظیم دقیق ، فینبرت پارامترهای قبل از آموزش و آهنگ را در مورد کار خاص اتخاذ می کند. این آزمایشات نشان می دهد که فینبرت به عملکرد برتر نسبت به مدل BERT در مجموعه داده های مالی ، 14 ٪ بالاتر از روش SOTA می رسد (لیو و همکاران ، 2021).

مواد و روشها

این بخش عمدتاً معماری مدل Lasso-LSTM و تهیه داده های سهام را معرفی می کند. مدل Lasso-LSTM از دو مرحله تشکیل شده است: اول ، ما الگوریتم Lasso را برای انتخاب متغیرهای مهم اعمال می کنیم. سپس ، ما از فرآیندهای مدل Lasso از داده های سری زمانی استفاده می کنیم و جهت حرکت سهام را پیش بینی می کنیم. در مرحله آماده سازی داده ها ، داده ها را از وب سایت ها خزنده و شاخص های فنی و احساساتی را توسط بسته های TTR محاسبه می کنیم.

مدل Lasso-LSTM

بیشتر مطالعات موجود پیش بینی سهام فقط اطلاعات فنی یا احساسات بازار را در نظر می گیرند. در این مقاله ، ما روشی را پیشنهاد می کنیم که ترکیبی از شاخص های فنی و تجزیه و تحلیل احساسات مالی است. در مقایسه با روش استاندارد ، روشهای بهبود شامل اطلاعات بیشتر در مورد رفتارهای تجاری است.

مطالعات موجود که معمولاً سهام را پیش بینی می کند ، فقط شاخص های احساسات فنی یا بازار را در نظر می گیرند. برای ترکیب مزایای این روشها ، ما روشی را پیشنهاد می کنیم که هم شاخص های احساسات فنی و مالی را به عنوان متغیرهای پیش بینی کننده اتخاذ می کند. به آگاهی از پیچیدگی و همبستگی در متغیرهای پیش بینی کننده سهام مالی ، امیدواریم متغیرهای نسبتاً بی اهمیت در مورد بیماری متغیرهای پیش بینی کننده و بهبود عملکرد مدل را از بین ببریم. ساختار مدل پیش بینی در شکل 3 نشان داده شده است. اول ، ما محتوای متنی ریز و اطلاعات معاملات تاریخی سهام را از وب سایت ها خزنده می کنیم. پس از آن ، داده های متنی به جملات تقسیم می شوند و به مدل فینبرت وارد می شوند و 4 شاخص احساسات را به دست می آورند. به طور همزمان ، 37 شاخص فنی توسط بسته های TTR محاسبه می شود. در مرحله انتخاب متغیر ، ما روش Lasso را برای از بین بردن متغیرها با همبستگی بالا اعمال می کنیم. سرانجام ، ما شاخص ها را پس از انتخاب متغیر به عنوان بردارهای ورودی برای آموزش مدل Lasso-LSTM اتخاذ می کنیم و سپس عملکرد مدل را در مجموعه داده های آزمون ارزیابی می کنیم.

شکل 3: معماری مدل پیش بینی سهام پیشنهادی.

الگوریتم لسو

رگرسیون لجستیک Lasso مدلی است که L را شامل می شود₁هنجار به عنوان یک تابع مجازات ، بر خلاف مدل های رگرسیون لجستیک معمولی ، که یک راه حل پراکنده را ارائه می دهد. در اینجا فرض می کنیم که متغیرهای پیش بینی کننده x = (x₁، ایکس₂، …، ایکس_n) ، متغیرهای پاسخ y = (y₁، y₂، ... ، y_n). جف_حرفنشان دهنده قیمت بسته شدن یک سهام معین در روز t-th ، z_{t 1+}= ج_{t 1+}- ج_حرف represents the stock retu in t + 1-th day. The stock movement direction function can be expressed as follows (1) y t + 1 = 1 , z t + 1>0 0 ، z t + 1 ⩽ 0 ، t = 1 ،… ، n - 1. جایی که_{t 1+}نشان دهنده جهت حرکت قیمت سهام در روز T + 1-Th است. سپس ، احتمالات مشروط روند بالا و پایین برای قیمت سهام را می توان به صورت زیر بیان کرد: (2) P y t + 1 = 1 |x t = e β 0 + x t β 1 + E β 0 + x t β ، به طور کلی ، β₀رهگیری متغیرهای پیش بینی کننده ، β = (β₁،… ، β_پ) ⊤ بردار پارامتر متغیرهای پیش بینی کننده و x است_حرف= (x_{T ، 1}، …، ایکس_{t ، p}) متغیرهای پیش بینی کننده در روز t-th است. این عملکرد عملکرد سیگموئید است و می تواند برای توصیف مجموعه داده های طبقه بندی باینری استفاده شود. بر اساس عملکرد و مجموعه داده های احتمالی فوق ، ما عملکرد ورود به سیستم را به عنوان (3) L β 0 ، β = ∑ i = 1 n log p y t + 1 |x t

در مقایسه با رگرسیون لجستیک استاندارد ، الگوریتم Lasso عملکرد پنالتی را معرفی می کند ، و معیار Lasso (4) Q β 0 ، β است. λ = L β 0 ، β + λ P α β ،

در جایی که p α β = ∑ j = 1 p β j ، β j عملکرد پنالتی است ، λ ⩾0 یک پارامتر تنظیم است که شدت مجازات را کنترل می کند ، p تعداد شاخص است. Breheny & Huang (2011) الگوریتم نزول مختصات را برای حل مشکل حداقل مربعات وزنی مجازات شده و تخمین تکرار شونده Lasso معرفی کرد.(5) حداقل β 0 ، β ∈ R P + 1 - L β 0 ، β + λ P α β. الگوریتم Lasso با توانایی همگرایی و انتخاب متغیر مشخص می شود. دامنه پارامترهایی را که تخمین زده می شود کوچک می کند و فقط چند پارامتر در هر مرحله تخمین زده می شود. علاوه بر این ، الگوریتم Lasso به طور خودکار متغیرهای مهم را برای ساخت مدل انتخاب می کند. در مشکل پیش بینی سهام ، الگوریتم Lasso می تواند چند کلیشه را در بین شاخص های پیش بینی کننده از بین ببرد و از مدل متناسب با مدل خودداری کند ، زمان محاسبه مدل را از بین ببرد. در اینجا ما کد شبه را در مورد نحوه استفاده از الگوریتم Lasso برای به دست آوردن برآوردگرها ارائه می دهیم.

مدل LSTM

بر اساس کار فوق ، ما بعد از انتخاب متغیر شاخص ها را بدست می آوریم و می توانیم جهت حرکت سهام را پیش بینی کنیم. LSTM برای کنترل انتقال اطلاعات از ساختار دروازه برخوردار است. شکل 4 معماری مدل LSTM است.

شکل 4: معماری مدل LSTM.

در شکل 4 ، x_حرفبردار ورودی در لحظه ، ساعت است_حرفحالت خارجی است و ج_حرفحالت داخلی است که پیام های دایره ای را انجام می دهد و همچنین اطلاعات را به حالت خارجی منتقل می کند_حرفاز لایه پنهانج_حرفبه شرح زیر محاسبه می شود: (6) c t = f t ⊙ c t - 1 + i t ⊙ c ¯ t ، (7) h t = o t ⊙ t a n h c t ،

جایی که ج_{t −1}واحد حافظه را در لحظه T-1 نشان می دهد ، C ¯ t وضعیت نامزد است که توسط عملکرد بدون خطی محاسبه می شود: (8) C ¯ t = t a n h w c x t + u c h t-1 + b c ،

جایی که w_جفو شما_جفنمایانگر ماتریس وزن ، و ب_جفوکتور مقادیر تعصب را نشان می دهد. عملکرد TANH یک تابع فعال سازی است. LSTM مسیر تحویل پیام را با مکانیسم دروازه کنترل کنید ، عملکرد به شرح زیر است: (9) I T = σ W I X T + U I H T - 1 + B I ، (10) F T = σ W F X T + U F H T - 1 +b f ، (11) o t = σ w o x t + u o h t - 1 + b o

جایی که σ عملکرد سیگموئید است ، که خروجی 0 تا 1 است. دروازه f را فراموش کنید_حرفکنترل اطلاعات باید از آخرین حالت داخلی c فراموش شود_{t −1}؛دروازه ورودی i_حرفکنترل اطلاعات باید از وضعیت نامزد C ¯ t وارد شود. در لحظه t ، مکانیسم مدل LSTM به شرح زیر است: (1) محاسبه I_حرف، f_حرفو ای_حرفبر اساس آخرین حالت خارجی H_{t −1}و بردار ورودی ؛(2) ترکیب F_حرفو من_حرفبرای به روزرسانی واحدهای حافظه c_حرف؛(3) انتقال اطلاعات از حالت داخلی به حالت خارجی H_حرف.

الگوریتم پیش بینی یکپارچه Lasso و LSTM

ما مدل های Lasso و LSTM را برای پیش بینی حرکت کوتاه مدت سهام ترکیب می کنیم. تنظیم D = x t ، y t t = 1 n مجموعه داده های سهام را نشان می دهد. Lasso-LSTM را می توان به مراحل تقسیم کرد: ابتدا ، ما مجموعه داده های سهام را به الگوریتم Lasso می بریم تا متغیرهای مهم را انتخاب کرده و چند همبستگی را در بین متغیرهای پیش بینی کننده از بین ببریم. سپس ، ما جستجوی شبکه و اعتبار سنجی متقاطع 10 برابر را برای تنظیم مقدار پارامتر در مدل Lasso اتخاذ می کنیم. سرانجام ، ما متغیرهای پیش بینی کننده را پس از انتخاب به عنوان بردار ورودی در مدل LSTM اعمال می کنیم و جهت حرکت سهام را پیش بینی می کنیم. ما روش مدل Lasso-LSTM را در Algorithm2 خلاصه می کنیم ، که می تواند انتخاب متغیرها را انجام دهد و به طور مؤثر مجموعه داده های سری زمانی را به دلیل عملکرد مجازات شده و ساختار دروازه پردازش کند.

توجه داشته باشید که برای اطمینان از اینکه تنظیم پارامتر مؤثر است ، ما پارامترهای جایگزین را از کوچکترین تا بزرگترین برای به دست آوردن λ 1 ،… ، λ k رتبه بندی می کنیم. نتیجه انتخاب هر مقدار لامبدا با جستجوی شبکه و اعتبار سنجی متقاطع 10 برابر ارزیابی شد. مقادیر لامبدا خیلی کوچک توانایی انتخاب متغیر الگوریتم لاسو را تضعیف می کند ، و مقادیر لامبدا خیلی بزرگ منجر به از بین رفتن اطلاعات مهم در داده ها می شود. چنین روش تنظیم پارامتر می تواند نتایج معقول و محاسبه کارآمد را تضمین کند. به این ترتیب ، ما مدل Lasso-LSTM را می سازیم که می تواند ابعاد متغیرهای پیش بینی کننده را کاهش داده و اطلاعات کلیدی را در داده های سری زمانی ضبط کند.

در مقایسه با مدل های یادگیری ماشین سنتی، LASSO-LSTM پیشنهادی هنگامی که برای مشکلات پیش بینی سهام اعمال می شود دارای مزایایی است: (1) شاخص های فنی و شاخص های احساسات در پیش بینی سهام همیشه دارای چند خطی هستند، متفاوت از LSTM استاندارد، LASSO-LSTM می تواند این موارد را حذف کند. عوامل موثر بر عملکرد پیش بینی؛(2) در مرحله پیش بینی، مدل LASSO-LSTM داده های موجودی سری های زمانی را با مدل LSTM به جای مدل LASSO استاندارد پیش بینی می کند، که می تواند سری های زمانی را به طور موثرتری ثبت کند.(3) مدل LASSO-LSTM دارای هایپرپارامترهای کمتری است، بنابراین برای دستیابی به دقت پیش بینی خوب به چندین منبع محاسباتی نیاز ندارد.

آماده سازی داده ها

خزیدن داده ها

در این مقاله، امیدواریم داده های متنی نهایی و داده های معاملات تاریخی سهام را ترکیب کرده و حرکت سهام را با دقت بیشتری پیش بینی کنیم. برای این هدف، ما باید چند شرکت را انتخاب کنیم و داده های اخبار مالی و معاملاتی آنها را جمع آوری کنیم. ابتدا، سه سهام نماینده را به عنوان موضوعات تحلیلی از NYSE/NASDAQ انتخاب می کنیم: AAPL، MNST، و BAC.

در مرحله جمع آوری اطلاعات تاریخچه سهام، بسته های E-Finance را در پایتون اعمال می کنیم تا داده های سهام سه شرکت را که از سال 2012 تا 2020 مشتق شده اند بررسی کنیم. مجموعه داده های معاملات تاریخی سهام شامل قیمت افتتاحیه، قیمت های بسته شدن، بالاترین قیمت، کمترین قیمت و حجم معاملات است.. شکل 5 روند قیمت سهام سه شرکت را نشان می دهد که موقعیت های مختلف حرکت سهام را پوشش می دهد.

به جز داده های تاریخی سهام، حرکت قیمت سهام نیز تحت تأثیر تمایل معاملاتی سرمایه گذاران است. بنابراین درک اطلاعات مرتبط در مورد احساسات بازار سهام بسیار مهم است. در این مطالعه، داده های متنی از وب سایت investing.com که یک وب سایت آنلاین است که اطلاعات مالی را ارائه می دهد، خزیده شده است. محتوای متنی مالی شامل اخبار تاریخی و مقالات مرتبط در مورد اطلاعات معاملات عمومی سهام ایالات متحده بود. داده های تاریخچه از سال 2012 تا 2020 شروع می شود، برای شرکت های مختلف، اندازه داده ها متفاوت است. جدول 1 نمونه ای از داده های متنی پس از پاکسازی است که از پنج شاخص تشکیل شده است.