license: mit
configs:

• config_name: default
  data_files:
  • split: trades
    path: "backtest.partial_profit.json"
• config_name: raw_backtest
  data_files:
  • split: full
    path: "backtest.json"
• config_name: full_profit
  data_files:
  • split: trades
    path: "backtest.full_profit.json"
• config_name: partial_profit
  data_files:
  • split: trades
    path: "backtest.partial_profit.json"
• config_name: commission_loss
  data_files:
  • split: trades
    path: "backtest.commission_loss.json"
• config_name: stop_loss
  data_files:
  • split: trades
    path: "backtest.stop_loss.json"

Trading Signals Dataset

Описание

Этот датасет содержит данные о торговых сигналах для криптовалют, включающие взаимодействия между системными промптами, пользовательскими сообщениями и выходными данными языковых моделей для торговли криптовалютой.

Структура данных

Датасет расположен в директории dump/outline/ и содержит 188,975 файлов в формате Markdown, организованных в папки с уникальными идентификаторами сессий.

Структура папок

dump/outline/
├── [session-id]/
│   ├── 00_system_prompt.md      # Системный промпт
│   ├── 01_user_message.md       # Первое пользовательское сообщение
│   ├── 02_user_message.md       # Второе пользовательское сообщение
│   ├── ...                      # Дополнительные сообщения
│   └── XX_llm_output.md         # Финальный ответ модели

Содержание файлов

• System prompts (00_system_prompt.md): Детальные инструкции для анализа криптовалютных рынков, включающие стратегии для LONG/SHORT позиций, технический анализ, управление рисками
• User messages (XX_user_message.md): Рыночные данные в реальном времени - цены, индикаторы, объемы, техническая информация
• LLM outputs (XX_llm_output.md): Структурированные торговые решения в JSON формате с полями:
  • action: "trade" или "wait"
  • position: "long", "short", или "wait"
  • description: Краткое описание решения
  • reasoning: Детальное обоснование
  • current_price: Текущая цена
  • stop_loss_price: Уровень стоп-лосса
  • take_profit_price: Уровень тейк-профита

Использование для обучения языковых моделей

1. Подготовка данных

import os
import json
from pathlib import Path

def load_trading_dataset(dump_path="dump/outline/"):
    """Загружает все торговые сессии из датасета"""
    sessions = []

    

      

        text
        
          Copy
        
      
      
for session_dir in Path(dump_path).iterdir():
    if session_dir.is_dir():
        session_data = load_session(session_dir)
        if session_data:
            sessions.append(session_data)

return sessions
    
  
def load_session(session_path):
    """Загружает одну торговую сессию"""
    files = list(session_path.glob("*.md"))
    files.sort()

    

      

        text
        
          Copy
        
      
      
session = {
    "system_prompt": "",
    "user_messages": [],
    "llm_output": ""
}

for file in files:
    content = file.read_text(encoding='utf-8')
    
    if file.name.startswith("00_system_prompt"):
        session["system_prompt"] = content
    elif file.name.endswith("_user_message.md"):
        session["user_messages"].append(content)
    elif file.name.endswith("_llm_output.md"):
        session["llm_output"] = content

return session
    
  

2. Форматирование для обучения

def format_for_training(sessions):
    """Форматирует сессии для обучения модели"""
    training_data = []
    

    

      

        text
        
          Copy
        
      
      
for session in sessions:
    # Объединяем системный промпт с пользовательскими сообщениями
    full_prompt = session["system_prompt"] + "\n\n"
    full_prompt += "\n\n".join(session["user_messages"])
    
    training_example = {
        "input": full_prompt,
        "output": session["llm_output"]
    }
    
    training_data.append(training_example)

return training_data
    
  

3. Применение для fine-tuning

Для моделей типа GPT/Claude:

# Конвертация в формат для ChatML или аналогичный
def to_chat_format(sessions):
    chat_data = []
    

    

      

        text
        
          Copy
        
      
      
for session in sessions:
    messages = [
        {"role": "system", "content": session["system_prompt"]},
        *[{"role": "user", "content": msg} for msg in session["user_messages"]],
        {"role": "assistant", "content": session["llm_output"]}
    ]
    
    chat_data.append({"messages": messages})

return chat_data
    
  

Для обучения с Hugging Face Transformers:

from transformers import AutoTokenizer, AutoModelForCausalLM, Trainer

def create_hf_dataset(training_data, tokenizer, max_length=2048):
    """Создает датасет для Hugging Face"""

    

      

        text
        
          Copy
        
      
      
def tokenize_function(examples):
    full_text = examples["input"] + tokenizer.eos_token + examples["output"]
    return tokenizer(
        full_text,
        truncation=True,
        padding="max_length",
        max_length=max_length
    )

return [tokenize_function(example) for example in training_data]
    
  

4. Специализированные техники

Извлечение торговых паттернов:

def extract_trading_patterns(sessions):
    """Извлекает паттерны успешных торговых решений"""
    patterns = {
        "successful_longs": [],
        "successful_shorts": [],
        "wait_decisions": []
    }
    

    

      

        text
        
          Copy
        
      
      
for session in sessions:
    # Парсинг JSON из llm_output
    try:
        decision = json.loads(extract_json_from_output(session["llm_output"]))
        
        if decision["action"] == "trade":
            if decision["position"] == "long":
                patterns["successful_longs"].append(session)
            elif decision["position"] == "short":
                patterns["successful_shorts"].append(session)
        else:
            patterns["wait_decisions"].append(session)
            
    except Exception as e:
        continue

return patterns
    
  

Обучение с подкреплением:

# Использование исторических данных P&L для reward modeling
def create_reward_dataset(sessions):
    """Создает датасет для обучения reward модели"""
    reward_data = []
    

    

      

        text
        
          Copy
        
      
      
for session in sessions:
    # Извлекаем информацию о прибыли/убытке из reasoning
    reward_score = extract_pnl_score(session["llm_output"])
    
    reward_data.append({
        "state": session["user_messages"][-1],  # Последние рыночные данные
        "action": session["llm_output"],
        "reward": reward_score
    })

return reward_data
    
  

5. Рекомендации по обучению

1. Балансировка данных: Обеспечьте равное представление LONG, SHORT и WAIT решений
2. Временная валидация: Используйте хронологическое разделение на train/test
3. Контекстное обучение: Включайте исторические данные P&L в промпты
4. Многозадачное обучение: Тренируйте модель на предсказание и цены, и торгового решения
5. Регуляризация: Используйте dropout и weight decay для предотвращения переобучения