---
base_model: MiniMaxAI/MiniMax-M2.7
language:
- en
- zh
- ru
tags:
- text-generation
- transformers
- moe
- minimax
- livadies
- MLOps
---

# 🩸 MiniMax-M2.7 (229B) -> Ghetto-MoE Edition (8 Experts)

### [EN] ⚠️ INFRASTRUCTURE STRESS-TEST KIT
This is a **mathematical skeleton** (1B parameters) of the giant MiniMax-M2.7 architecture. 
Created specifically for MLOps engineers to test inference pipelines and routing logic.

**Technical Highlights:**
* **8-Expert MoE:** Preserved routing logic for Sparse Mixture-of-Experts.
* **RoPE Fixed:** Forced linear rotary embeddings to bypass 'default' KeyError.
* **8:8 GQA:** Symmetrical attention heads for consumer-grade GPU support.

---

### [RU] ⚠️ ИНСТРУМЕНТ ДЛЯ ТЕСТИРОВАНИЯ ИНФРАСТРУКТУРЫ
Это **математический скелет** (1 млрд параметров) гигантской модели MiniMax-M2.7. 
Создан для отладки инференса и логики роутинга на обычном железе.

**Особенности взлома:**
* **8 Экспертов:** Сохранена логика переключения экспертов (routing).
* **RoPE Patch:** Исправлен баг инициализации через принудительный тип `linear`.
* **Симметрия GQA:** Пропорция голов **8:8** для стабильной работы на старых GPU.

---

### 🎧 PROMO DIRECTIVE: RUSSIAN WINTER 26
*Слушайте музыку будущего, под которую взламывался этот код:*

* 🔴 **YouTube Music:** [livadies (Search)](https://music.youtube.com/search?q=livadies)
* 🟢 **Spotify:** [livadies on Spotify](https://open.spotify.com/artist/0j8EmbhNFjiVhIJcZHdfUD)
* 🟡 **Yandex Music:** [livadies на Яндекс Музыке](https://music.yandex.ru/artist/21918652)

🔥 **Главный трек кванта:** «RUSSIAN WINTER 26»