somnolent_llm/config.qwen35.yaml at main · lexasub/somnolent_llm · GitHub

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
# config.qwen35.yaml — Qwen3.5-2B (эмбрион) + Qwen3.5-4B (донор)
# Эмбриогенез с SVD-инициализацией LoRA от 4B к 2B
#
# Архитектура:
# - Базовая модель: Qwen3.5-2B (hidden_size=2048, 24 слоя)
# - Родитель: Qwen3.5-4B (hidden_size=2560, 32 слоя)
# - Результирующая: 2B + LoRA (≈10M дополнительных параметров)

# === BASE MODEL (EMBRYO) ===
model_path: "/mnt/nfs/ai/hugginface/Qwen_Qwen3.5-2B-Base"
# Альтернатива: "Qwen/Qwen3.5-2B-Base" для HuggingFace Hub

# Параметры модели
max_position_embeddings: 262144  # 256K контекст
trust_remote_code: true
torch_dtype: "bf16"
device_map: "auto"  # Multi-GPU режим

# === QWEN3.5 SPECIFIC ===
# Индексы transformer слоёв (full_attention)
# Паттерн: L-L-L-F-L-L-L-F-L-L-L-F-L-L-L-F-L-L-L-F-L-L-L-F
# где L = linear_attention (frozen), F = full_attention (trainable)
# Сохраняем 4 верхних слоя для экономии памяти
transformer_layer_indices: [11, 15, 19, 23]

# === EMBRYOGENESIS: Genetic Phase ===
embryogenesis:
  enabled: true

  # === РОДИТЕЛЬСКАЯ МОДЕЛЬ (ДОНОР) ===
  # Qwen3.5-4B используется только для SVD-инициализации LoRA
  # Веса не переносятся напрямую (разные hidden_size)
  parent_models:
    - path: "/mnt/nfs/ai/hugginface/Qwen_Qwen3.5-4B-Base"
      # Альтернатива: "Qwen/Qwen3.5-4B-Base" для HuggingFace Hub
      weight: 1.0

  # === EMBRYOGENESIS: Genetic Phase ===
  # SVD инициализация с правильной нормализацией (10% дельта)
  lora_init_method: "svd"
  svd_rank: 32

  # === SYNTHESIS PHASE ===
  num_synthetic_memories: 1000
  dmn_temperature: 1.5
  memory_types:
    - pattern_completion
    - association_chains

  # === AWAKENING PHASE ===
  # Уменьшено для снижения потребления памяти (OOM fix)
  sleep_cycles: 2
  nrem_steps: 30
  rem_steps: 10      # Было 25 (уменьшено для OOM fix)
  deep_sleep_steps: 10

  # Устройства для оптимизации памяти
  history_device: "auto"      # L-BFGS история
  parent_model_device: "cpu"  # Родитель на CPU для экономии GPU
  episodic_buffer_device: "auto"
  clear_parent_states_after_distillation: true

# === LoRA CONFIG ===
lora_config:
  r: 32              # Ранг LoRA
  lora_alpha: 64     # alpha = 2*r для сильной адаптации
  lora_dropout: 0.05 # Меньше dropout при transfer learning

  # Target modules для Qwen3.5
  target_modules:
    - "q_proj"        # full_attention only
    - "k_proj"        # full_attention only
    - "v_proj"        # full_attention only
    - "o_proj"        # all layers
    - "gate_proj"     # all layers (MLP)
    - "up_proj"       # all layers (MLP)
    - "down_proj"     # all layers (MLP)

  bias: "none"
  task_type: "CAUSAL_LM"
  init_method: "svd"

# === SOMNOLENT PARAMS ===
sleep_enabled: true
fatigue_monitoring: true

# Параметры консолидации
sleep_replay_ratio: 0.1
memory_compression_ratio: 0.5

# Дополнительные параметры
seed: 42
verbose: true