Долго искал информацию по данной теме и ничего не нашел. Ну не верю я, что не существует программ, обрабатывающих текстовые новости и делающие прогноз на их основе. А ведь это основа основ, ибо имхо курс движется согласно ожиданиям трейдеров о состоянии экономики страны. Например, если ожидается, что экономика США укрепится, доллар растет и наоборот, если ослабнет. За редким исключением вмешательства крупных банков по поддержанию (США, время от времени с начала войны) или ослаблению (Япония) национальной валюты. Да и то такие события находят отражение в новостях и слухах. Не может быть, чтобы не предпринимались попытки все это дело автоматизировать. Однако, повторюсь, я не нашел в интернете даже намека на подобные разработки. И даже про использование нейросетей и карт Кохонена в частности, чтобы выявить кластеры новостей, приводящих в одному и тому же результату (повышение курса или понижение), что уже совсем удивительно. Что-то было про использование Метастока для экномических индикаторов (обращения за пособиями по безработице, ISM, PMI и т.д.), но в обработке чистых чисел не учитывается "дух" событий, т.е. ожидания трейдеров. Например, если все ждали что PMI уменьшится и он уменьшился, то влияния это событие особого не окажет. А если вдруг повысится (вопреки ожиданиям), то будет сильное движение.
И что ну совсем непонятно - так это отсутствие программ для элементарного поиска похожих новостей на текущие из истории! Есть ведь масса методов для определения похожести двух фраз (расстояние Хемминга, кластеризация нейросетями или деревьями решений, www.basegroup.ru) и т.д. Даже на русском языке новости по форексу доступны как минимум с начала 2002 года. Только с fxclub.ru архив всех новостей с января 2002 года занимает 5Мб и примерно 63000 новостей!!! каждый час штук по 10. На alpari-idc.ru намного меньше, но важные новости выходят на 3-4 минуты раньше, чем на fxclub, но зато на последнем их ОЧЕНЬ много и очень подробные. Да, если знаете хорошие сайты с частыми новостями по форексу, напишите на blade17@rambler.ru, пожалуйста...
Короче, я написал простенькую программку, ищущую похожие новости из архива и показывающуюна графике как тогда двигался курс. Правда сейчас, во время войны, это не особо помогает, но все таки... По крайней мере очень хорошо видна реакция рынка в прошлом, например, на рост цен на нефть или золото, на выходящие индикаторы и заявления всяких шишек о состоянии экономики и т.д. Но! Я сделал просто поиск по кол-ву совпавших слов, а ведь иногда в новостях бывают опечатки, да короткие из нескольких слов новости заведомо будут иметь больше совпадений (фраза: "доллар укрепился на утренней сессии" встречается черт знает сколько раз и забивает все остальные текущие новости), поэтому хотелось бы найти способ поиска похожих фраз по релевантности, но еще не знаю на чем остановиться.
В любом случае, по тестированию на истории сделал вывод, что это очень хороша мысль, и иногда результаты прогноза курса валют просто впечатляют (и это при незнании многих фундаментальных факторов, а просто на основе того что в прошлом при похожих новостях курс вел себя так же). Да и со здравой точки зрения, этот поход должен работать.
Пишу об этом именно на этом форуме, т.к. мне нравятся многие идеи здесь присутствующих, типа ГлавВрача, Жвалюк(брат) и т.д. ) Сам за год работы на форексе убедился, что индикаторы в принципе бесполезны. Иногда играют роль важные психологические уровни (или уровни, на которых у крупных банков стоят отложенные ордера), но прогноз только по графикам - это по большому счету чушь. Поэтому хотел бы узнать от более опытных людей, что они думают о влиянии выходящих новостей на рынок, а именно - существуют ли единичные новости, определяющие движение валюты на несколько часов. Т.к. реально в программе анализировать только несколько последних новостей (примерно за последние час-два, ориентация на внутридневную торговлю, хотя если использовать сайт с редкими (несколько в день), но очень значимыми новостями, то наверно
Подход 100% рабочий, но тема темная.... в инете про нее практически ничего нет. Нету даже нигде истории экономических показателей в виде графиков.
Я слышал один чел вроде бы заточил под это дело нейросеть, так более 80% прогнозов верные.
Хм... Значит надо работать дальше в этом направлении. У меня уже есть скрипты, скачивающие последние новости с 3-х русских сайтов (кому надо, пишите, вышлю) и сохраняющие их в текстовый файл. Кроме того, моя прога первоначально ориентировалась на работу с нейросетями, так что все исходники нейросетевого ядра в наличии (многослойные перцептрон розенблата, т.е. самая обычная стандартная нейросеть). Я думал, как подавать на вход новости.
Есть 3 варианта:
Первый - просто текст, на каждый вход придется по букве, для простоты можно подавать код символа 0..255 (сеть все равно входы нормирует в пределы 0..1, так что нет смысла задавать 1..31). При этом пробел - обычный символ. Достоинство - простота, но непонятно, как вообще нейросети будут обучаться, ведь слова могут быть в разных местах, могут быть опечатки и т.д. Короче, я не знаю, сможет ли она как-то обобщить смысл новости. Ясно только что сеть сможет выделить _комбинации_ букв, приводящие к сильному движению и когда такие же комбинации встретятся, делать соответствующий прогноз. Однако из-за малого кол-ва обучающих примеров (по сравнению со всеми возможными комбинациями всех возможных слов в предложении из например 20 слов), неуверен, что будет результат. Хотя возможно что в "памяти", т.е. на внутренних слоях у нее отложатся слова, после которых будет движение. Но здесь 2 главные проблемы: 1. нет никаких критериев как задавать кол-во слоев и нейронов. Можно, конечно, увеличивать пока не будет ошибка 0 (значит "запомнила" все примеры, берем меньше нейронов, так как так не должно быть, сеть по идее должна обобщить и время от времени ошибаться, где вмешались внешние факторы). 2. как быть с тем, что в примерах может было необычное слово, например, с опечаткой и после случился скачок. Сеть ведь его запомнит, и если вдруг опять такое слово появится, нейросеть уверенно спрогнозирует сильное движение. Но ведь это не верно! И никак нельзя проверить, на основе чего сеть дает прогноз.
Второй вариант - разбить предложение на слова на каждый вход подавать по слову (его цифровой код). Это уменьшает кол-во входных нейронов -> структуру сети -> чаще сигналы пересекаются от разных нейронов -> больше обобщающая способность.
И третий вариант - разбить на слова и отсортировать по алфавиту и например, на отдельный вход подавать только слова на букву "А", на второй на букву "Б" и т.д. Это позволит ограничить "плавание" слов по предложению и соотв. по входам сети.
Это все мои соображения, потому что довольно долго (около года) разрабатывал всякие вараинты использования нейросетей (подавал на вход различные индикаторы, оптимизирвоал с помощью генетического алгоритма и т.д.), и результаты были неудовлетворительны. Преимущество при угадывании знака изменения Close на ближайшие часы есть, но очень маленькое - 5..10% в среднем за большой период (несколько месяцев) на почасовых графиках.
Я попробовал играть чисто на похожих новостях, без всяких там индикаторов и ставя то по тренду, то против, т.е. практически не учитывая предысторию графика на бетмаркете (надо угадать знак изменения Close на час или несколько часов вперед) и за две недели у меня стабильно отношение 2к1 прибыльных/неудачных сделок. Это весьма и весьма круто, хотя может чистое везение... Выиграл где-то 16 ставок, и проиграл 6, сделав за неделю 100% от депо, ставками не более 5% от депозита. Вдохновленный результатами, решил развивать тему анализа новостей ) Может что и получится, по крайней мере сейчас эффективность выше, чем использование ранее всех возможных индикаторов, нейросетей, свечного анализа, EWA, ID вместе взятых...
Кстати, на forexite.ru есть календарь выхода экономических индикаторов и архив где-то за год. Причем показаны реальные значения и ожидаемые (если показатель еще не вышел), я уже сделал скрипт для скачивания, но при беглом просмотре вручную не нашел явных закономерностей. Имхо намного больше влияют на курс выступления шишек о силе/слабости валюты и о планах действий по укруплению/ослаблению. Блин, было бы больше свободного времени на изучение...
Нигде, их еще вырезать надо ) Архивы новостей тоже ведь нигде не лежат просто так, в zip архиве. Говорю же, получить любой текст с любого сайта можно скриптами. На http://temp666.nm.ru/Forexite_econom.zip я выложил архив индикаторов и скриптик, с помощью которого можно получать последние экономические индикаторы с того сайта.
Не понял, что значит классифицировать? Т.е., например, разбить новости по группам? Не вижу смысла. Вопрос состоит либо в хорошем алгоритме поиска похожих новостей на текущие, либо в статистической обработке текста, т.е. выявлении слов или словосочетаний, после появления которых в большинстве случаев курс двигался в одну сторону.
Т.е главным смыслом своей работы ты считаешь поиск словосочетаний которые больше всго трейдеров "за душу берут", и они ничинают играть в каком-то одном направлении? При всем многообразии русского языка алгоритм поистине должен обладать искусственныи интеллектом, а сортировка слов по алфавиту по-моему вообще ни чего путного не даст, и не с глаголами, например, пишется отдельно. Слово имеет определенный слысл, а с "не" противоположный. Можно конечно проверять на "не", поред словом, но это просто смешно.
Ну ведь после проверки по экон-ким индикаторам, в архиве, результаты будут носить стого типизированный характер?
На данный момент все намного проще - программка ищет в архиве новости с наибольшим числом совпавших слов. Проблема в том, что находит зачастую совсем не то что надо . Поэтому приходится вручную просматривать, действительно ли они одинаковые по смыслу. Что практически исключает возможность бэк-тестинга и сооветственно оценки прибыльности за длительный промежуток времени. Не понимаю, почему такая система обработки информации непременима к рынку? Если в 9 из 10 случаев при выходе новости со словами "ожидается, что рынки откроются с повышением", евро падает в течении 2-х часов, то для меня это достаточный повод, чтобы открыться. Просто на данный момент программа не предназначена для обычного форекса, т.к. показывает только среднее изменение только CLose, да и период в будущее около 4 часов, а на входе не более 6-8 новостей, иначе все усредняется. Ладно, время покажет, что получится. Но мне кажется, что есть над чем работать...
типа "три дня кондора", они тоже искали что- то
не пробовали для начала поискать на слово индекс?
мичиганский, пфиладельфийский..., цен, доверия и т. п.
как реагирует?
Вы не можете начинать темы Вы не можете отвечать на сообщения Вы не можете редактировать свои сообщения Вы не можете удалять свои сообщения Вы не можете голосовать в опросах Вы не можете прикреплять файлы к сообщению Вы можете загружать файлы
) Сам за год работы на форексе убедился, что индикаторы в принципе бесполезны. Иногда играют роль важные психологические уровни (или уровни, на которых у крупных банков стоят отложенные ордера), но прогноз только по графикам - это по большому счету чушь. Поэтому хотел бы узнать от более опытных людей, что они думают о влиянии выходящих новостей на рынок, а именно - существуют ли единичные новости, определяющие движение валюты на несколько часов. Т.к. реально в программе анализировать только несколько последних новостей (примерно за последние час-два, ориентация на внутридневную торговлю, хотя если использовать сайт с редкими (несколько в день), но очень значимыми новостями, то наверно
. Поэтому приходится вручную просматривать, действительно ли они одинаковые по смыслу. Что практически исключает возможность бэк-тестинга и сооветственно оценки прибыльности за длительный промежуток времени. Не понимаю, почему такая система обработки информации непременима к рынку? Если в 9 из 10 случаев при выходе новости со словами "ожидается, что рынки откроются с повышением", евро падает в течении 2-х часов, то для меня это достаточный повод, чтобы открыться. Просто на данный момент программа не предназначена для обычного форекса, т.к. показывает только среднее изменение только CLose, да и период в будущее около 4 часов, а на входе не более 6-8 новостей, иначе все усредняется. Ладно, время покажет, что получится. Но мне кажется, что есть над чем работать...