Пять методов машинного обучения, о которых должны знать Криптo

В недавнемстатья, я обсуждал актуальность методов машинного обучения, лежащих в основе знаменитого OpenAI GPT-3, которые могут иметь для рынка Криптo . GPT-3, который может отвечать на вопросы, выполнять языковой анализ и генерировать текст, может быть самым известным достижением за последние годы в области глубокого обучения. Но, ни в коем случае, он не является наиболее применимым к области Криптo . В этой статье я хотел бы обсудить некоторые новые области глубокого обучения, которые могут оказать NEAR немедленное влияние на Quant модели, применяемые к Криптo.

Jesus Rodriguez — генеральный директор IntoTheBlock, платформы рыночной аналитики для Криптo . Он занимал руководящие должности в крупных Технологии компаниях и хедж-фондах. Он активный инвестор, спикер, автор и приглашенный лектор в Колумбийском университете в Нью-Йорке.

Такие модели, как GPT-3 или BERT от Google, являются результатом огромного прорыва в глубоком обучении, известного как модели с предварительной подготовкой языка и модели-трансформеры. Эти методы, возможно, представляют собой самую большую веху за последние несколько лет в индустрии глубокого обучения, и их влияние T осталось незамеченным на Рынки капитала.

В прошлом году в области количественных Финансы велись активные исследования, изучающие, как модели трансформаторов можно применять к различным классам активов. Однако результаты этих исследований остаются отрывочными, показывая, что трансформаторы далеки от готовности работать в финансовых наборах данных и в основном применимы к текстовым данным. Но нет причин для беспокойства. Хотя адаптация трансформаторов к финансовым сценариям остается относительно сложной задачей, другие новые области пространства глубокого обучения демонстрируют многообещающие перспективы при применении в Quant моделях для различных классов активов, включая Криптo.

С многих точек зрения Криптo кажется идеальным классом активов для Quant моделей на основе глубокого обучения. Это из-за цифровой ДНК и прозрачности Криптo , а также из-за того, что рост Криптo совпал с возрождением машинного обучения и появлением глубокого обучения.

После десятилетий борьбы и пары так называемых «зим искусственного интеллекта (ИИ)» глубокое обучение наконец-то стало реальностью и в какой-то степени мейнстримом в различных областях индустрии программного обеспечения. Количественные Финансы стали ONE из самых быстрых последователей новых технологий и исследований глубокого обучения. Для некоторых ведущих Quant фондов на рынке очень характерно экспериментировать с теми же типами идей, которые исходят из высокотехнологичных исследовательских лабораторий ИИ, таких как Facebook, Google или Microsoft.

Смотрите также:Хесус Родригес - 10 причин, по которым Quant стратегии для Криптo терпят неудачу

Некоторые из самых захватывающих разработок в современном Quant финансировании исходят не от ярких техник, таких как трансформаторы, а от захватывающих прорывов в машинном обучении, которые больше разработаны для Quant сценариев. Многие из этих методов прекрасно применимы к Quant техникам криптоактивов и начинают проникать в Криптo модели.

Ниже я перечислил пять новых областей глубокого обучения, которые особенно важны для Quant Криптo . Я старался KEEP объяснения относительно простыми и адаптированными к сценариям Криптo .

1) Графовые нейронные сети

Наборы данных блокчейна являются уникальным источником альфа для Quant моделей в Криптo . С точки зрения структуры данные блокчейна по своей сути иерархичны и представлены графом с узлами, представляющими адреса, соединенными ребрами, представляющими транзакции. Представьте себе сценарий, в котором Quant модель пытается предсказать волатильность в Bitcoinв данной бирже на основе характеристик адресов, переводящих средства на биржу. Такая модель должна эффективно работать с иерархическими данными. Но большинство методов машинного обучения предназначены для работы с табличными наборами данных, а не с графиками.

Графовые нейронные сети (GNN) — это новая дисциплина глубокого обучения, которая фокусируется на моделях, эффективно работающих на графовых структурах данных. GNN — это относительно новая область глубокого обучения, изобретенная только в 2005 году. Однако GNN уже получили широкое распространение в таких компаниях, как Uber, Google, Microsoft, DeepMind и других.

В нашем примере сценария GNN может использовать график в качестве входных данных, представляющих потоки на биржах и из них, и выводить соответствующие знания, имеющие отношение к его влиянию на цену. В контексте Криптo GNN имеют потенциал для включения новых Quant методов на основе наборов данных блокчейна.

2) Генеративные модели

ONE из ограничений моделей машинного Quant является отсутствие больших исторических наборов данных. Предположим, что вы пытаетесь построить предсказательную модель для цены Chainlink (LINK) на основе его исторического торгового поведения. Хотя концепция кажется привлекательной, она может оказаться сложной, поскольку у LINK есть чуть более года исторических торговых данных на биржах, таких как Coinbase. Этот небольшой набор данных будет недостаточен для большинства глубоких нейронных сетей для обобщения любых соответствующих знаний.

Генеративные модели — это тип метода глубокого обучения, специализирующийся на генерации синтетических данных, которые соответствуют распределению обучающего набора данных. В нашем сценарии представьте, что мы обучаем генеративную модель распределению книги ордеров LINK в Coinbase, чтобы генерировать новые ордера, которые соответствуют распределению реальной книги ордеров.

Объединив реальный набор данных и ONE, мы можем построить достаточно большой набор данных для обучения сложной модели глубокого обучения. Концепция генеративной модели не является особенно новой, но в последние годы она получила большую популярность с появлением таких популярных методов, как генеративно-состязательные нейронные сети (GAN), которые стали ONE из самых популярных методов в таких областях, как классификация изображений, и с соответствующим успехом использовались с финансовыми наборами данных временных рядов.

3) Полуконтролируемое обучение

Размеченные наборы данных редки в Криптo , и это серьезно ограничивает тип Quant моделей машинного обучения (ML), которые могут быть построены в реальных сценариях. Представьте, что мы пытаемся построить модель ML, которая делает прогнозы цен на основе активности внебиржевых (OTC) столов. Для обучения этой модели нам понадобится большой размеченный набор данных с адресами, принадлежащими внебиржевым столам, что является типом набора данных, которым обладают лишь несколько субъектов на Криптo .

Полуконтролируемое обучение — это метод глубокого обучения, который фокусируется на создании моделей, которые могут Словарь с небольшими маркированными наборами данных и большим объемом немаркированных данных. Полуконтролируемое обучение аналогично тому, как учитель представляет несколько концепций группе студентов, а остальные концепции оставляет для домашнего задания и самостоятельного изучения.

В нашем примере сценария представьте, что мы обучаем модель с небольшим набором маркированных сделок из внебиржевых отделов и большим набором немаркированных. Наша полуконтролируемая обучающая модель Словарь ключевые особенности из маркированного набора данных, такие как размер или частота сделки, и будет использовать немаркированный набор данных для расширения обучения.

4) Обучение репрезентации

Извлечение и выбор признаков являются ключевым компонентом любой модели Quant машинного обучения и особенно актуальны в задачах, которые не очень хорошо поняты, таких как прогнозы Криптo . Представьте, что мы пытаемся построить предсказательную модель для цены Bitcoin на основе записей в книге заказов.

ONE из важнейших аспектов наших усилий является определение того, какие атрибуты или характеристики могут выступать в качестве предсказателей. Это средняя цена, объем или сотня других факторов? Традиционный подход заключается в том, чтобы положиться на экспертов в предметной области, которые вручную разрабатывают эти характеристики, но со временем это может стать сложным для масштабирования и поддержки.

Обучение репрезентации — это область обучения с глубиной, ориентированная на автоматизацию обучения твердых представлений или признаков для построения более эффективных моделей. Вместо того чтобы полагаться на моделирование признаков Human , обучение репрезентации пытается экстраполировать признаки непосредственно из немаркированных наборов данных. В нашем примере метод обучения репрезентации может анализировать книгу заказов и определять сотни тысяч потенциальных признаков, которые могут выступать в качестве предикторов цен на Bitcoin . Такого уровня масштабирования и автоматизации невозможно достичь при ручном проектировании признаков.

5) Поиск нейронной архитектуры

Процесс создания моделей Quant машинного обучения остается во многих аспектах крайне субъективным. Давайте рассмотрим сценарий модели, которая пытается спрогнозировать цену Ethereum на основе активности в наборе протоколов DeFi. Учитывая характер проблемы, специалисты по данным будут иметь определенные предпочтения относительно типа модели и архитектуры для использования.

В нашем сценарии большинство этих идей будут основаны на знании предметной области и субъективных мнениях о том, как активность в протоколах DeFi может повлиять на цену Ethereum. Учитывая, что машинное обучение основано на построении знаний, а знания не являются дискретной единицей, практически невозможно обсуждать достоинства ONE метода по сравнению с другим для данной проблемы.

Поиск нейронной архитектуры (NAS) — это ONE из областей глубокого обучения, которая пытается автоматизировать создание моделей с помощью машинного обучения. Это своего рода использование машинного обучения для создания машинного обучения. При наличии целевой проблемы и набора данных методы NAS оценят сотни возможных архитектур нейронной сети и выведут те, которые имеют наиболее многообещающие результаты.

В нашем примере сценария метод NAS может обрабатывать набор данных, включающий сделки на децентрализованных биржах, и создавать несколько моделей, которые потенциально могут предсказывать цену Ethereum на основе этих записей.

Еще больше впереди

Описанные выше методы представляют некоторые новые и более развитые области глубокого обучения, которые, вероятно, окажут влияние на модели Криптo в краткосрочной перспективе. И это далеко не единственные области глубокого обучения , на Quant Криптo должны обратить внимание.

Другие дисциплины глубокого обучения, такие как обучение с подкреплением, самоконтролируемое обучение и даже трансформаторы, быстро проникают в Quant пространство. Исследования и эксперименты по методам глубокого обучения, применяемым к Quant моделям, происходят повсюду, и Криптo может стать большим бенефициаром этой волны инноваций.