dump/outline/
├── [session-id]/
│   ├── 00_system_prompt.md      # Системный промпт
│   ├── 01_user_message.md       # Первое пользовательское сообщение
│   ├── 02_user_message.md       # Второе пользовательское сообщение
│   ├── ...                      # Дополнительные сообщения
│   └── XX_llm_output.md         # Финальный ответ модели

import os
import json
from pathlib import Path

def load_trading_dataset(dump_path="dump/outline/"):
    """Загружает все торговые сессии из датасета"""
    sessions = []
    
    for session_dir in Path(dump_path).iterdir():
        if session_dir.is_dir():
            session_data = load_session(session_dir)
            if session_data:
                sessions.append(session_data)
    
    return sessions

def load_session(session_path):
    """Загружает одну торговую сессию"""
    files = list(session_path.glob("*.md"))
    files.sort()
    
    session = {
        "system_prompt": "",
        "user_messages": [],
        "llm_output": ""
    }
    
    for file in files:
        content = file.read_text(encoding='utf-8')
        
        if file.name.startswith("00_system_prompt"):
            session["system_prompt"] = content
        elif file.name.endswith("_user_message.md"):
            session["user_messages"].append(content)
        elif file.name.endswith("_llm_output.md"):
            session["llm_output"] = content
    
    return session

def format_for_training(sessions):
    """Форматирует сессии для обучения модели"""
    training_data = []
    
    for session in sessions:
        # Объединяем системный промпт с пользовательскими сообщениями
        full_prompt = session["system_prompt"] + "\n\n"
        full_prompt += "\n\n".join(session["user_messages"])
        
        training_example = {
            "input": full_prompt,
            "output": session["llm_output"]
        }
        
        training_data.append(training_example)
    
    return training_data

# Конвертация в формат для ChatML или аналогичный
def to_chat_format(sessions):
    chat_data = []
    
    for session in sessions:
        messages = [
            {"role": "system", "content": session["system_prompt"]},
            *[{"role": "user", "content": msg} for msg in session["user_messages"]],
            {"role": "assistant", "content": session["llm_output"]}
        ]
        
        chat_data.append({"messages": messages})
    
    return chat_data

from transformers import AutoTokenizer, AutoModelForCausalLM, Trainer

def create_hf_dataset(training_data, tokenizer, max_length=2048):
    """Создает датасет для Hugging Face"""
    
    def tokenize_function(examples):
        full_text = examples["input"] + tokenizer.eos_token + examples["output"]
        return tokenizer(
            full_text,
            truncation=True,
            padding="max_length",
            max_length=max_length
        )
    
    return [tokenize_function(example) for example in training_data]

def extract_trading_patterns(sessions):
    """Извлекает паттерны успешных торговых решений"""
    patterns = {
        "successful_longs": [],
        "successful_shorts": [],
        "wait_decisions": []
    }
    
    for session in sessions:
        # Парсинг JSON из llm_output
        try:
            decision = json.loads(extract_json_from_output(session["llm_output"]))
            
            if decision["action"] == "trade":
                if decision["position"] == "long":
                    patterns["successful_longs"].append(session)
                elif decision["position"] == "short":
                    patterns["successful_shorts"].append(session)
            else:
                patterns["wait_decisions"].append(session)
                
        except Exception as e:
            continue
    
    return patterns

# Использование исторических данных P&L для reward modeling
def create_reward_dataset(sessions):
    """Создает датасет для обучения reward модели"""
    reward_data = []
    
    for session in sessions:
        # Извлекаем информацию о прибыли/убытке из reasoning
        reward_score = extract_pnl_score(session["llm_output"])
        
        reward_data.append({
            "state": session["user_messages"][-1],  # Последние рыночные данные
            "action": session["llm_output"],
            "reward": reward_score
        })
    
    return reward_data