4.9 KiB
OmniRoute Auto-Combo Engine (Bahasa Indonesia)
🌐 Languages: 🇺🇸 English · 🇸🇦 ar · 🇧🇬 bg · 🇧🇩 bn · 🇨🇿 cs · 🇩🇰 da · 🇩🇪 de · 🇪🇸 es · 🇮🇷 fa · 🇫🇮 fi · 🇫🇷 fr · 🇮🇳 gu · 🇮🇱 he · 🇮🇳 hi · 🇭🇺 hu · 🇮🇩 id · 🇮🇹 it · 🇯🇵 ja · 🇰🇷 ko · 🇮🇳 mr · 🇲🇾 ms · 🇳🇱 nl · 🇳🇴 no · 🇵🇭 phi · 🇵🇱 pl · 🇵🇹 pt · 🇧🇷 pt-BR · 🇷🇴 ro · 🇷🇺 ru · 🇸🇰 sk · 🇸🇪 sv · 🇰🇪 sw · 🇮🇳 ta · 🇮🇳 te · 🇹🇭 th · 🇹🇷 tr · 🇺🇦 uk-UA · 🇵🇰 ur · 🇻🇳 vi · 🇨🇳 zh-CN
Rantai model yang mengelola diri sendiri dengan penilaian adaptif
Cara Kerjanya
Auto-Combo Engine secara dinamis memilih penyedia/model terbaik untuk setiap permintaan menggunakan fungsi penilaian 6 faktor:
| Faktor | Bobot | Deskripsi |
|---|---|---|
| Quota | 0.20 | Kapasitas tersisa [0..1] |
| Health | 0.25 | Circuit breaker: CLOSED=1.0, HALF=0.5, OPEN=0.0 |
| CostInv | 0.20 | Biaya invers (lebih murah = skor lebih tinggi) |
| LatencyInv | 0.15 | Latensi p95 invers (lebih cepat = lebih tinggi) |
| TaskFit | 0.10 | Skor kesesuaian model × tipe tugas |
| Stability | 0.10 | Variansi rendah dalam latensi/kesalahan |
Paket Mode
| Paket | Fokus | Bobot Utama |
|---|---|---|
| 🚀 Ship Fast | Kecepatan | latencyInv: 0.35 |
| 💰 Cost Saver | Ekonomi | costInv: 0.40 |
| 🎯 Quality First | Model terbaik | taskFit: 0.40 |
| 📡 Offline Friendly | Ketersediaan | quota: 0.40 |
Pemulihan Mandiri
- Pengecualian sementara: Skor < 0.2 → dikecualikan selama 5 menit (backoff progresif, maks 30 menit)
- Kesadaran circuit breaker: OPEN → dikecualikan otomatis; HALF_OPEN → permintaan probe
- Mode insiden: >50% OPEN → nonaktifkan eksplorasi, maksimalkan stabilitas
- Pemulihan cooldown: Setelah pengecualian, permintaan pertama adalah "probe" dengan timeout yang dikurangi
Eksplorasi Bandit
5% permintaan (dapat dikonfigurasi) diarahkan ke penyedia acak untuk eksplorasi. Dinonaktifkan dalam mode insiden.
API
# Create auto-combo
curl -X POST http://localhost:20128/api/combos/auto \
-H "Content-Type: application/json" \
-d '{"id":"my-auto","name":"Auto Coder","candidatePool":["anthropic","google","openai"],"modePack":"ship-fast"}'
# List auto-combos
curl http://localhost:20128/api/combos/auto
Kesesuaian Tugas
30+ model dinilai di 6 tipe tugas (coding, review, planning, analysis, debugging, documentation). Mendukung pola wildcard (mis., *-coder → skor coding tinggi).
Berkas
| Berkas | Tujuan |
|---|---|
open-sse/services/autoCombo/scoring.ts |
Fungsi penilaian & normalisasi pool |
open-sse/services/autoCombo/taskFitness.ts |
Pencarian kesesuaian model × tugas |
open-sse/services/autoCombo/engine.ts |
Logika pemilihan, bandit, batas anggaran |
open-sse/services/autoCombo/selfHealing.ts |
Pengecualian, probe, mode insiden |
open-sse/services/autoCombo/modePacks.ts |
4 profil bobot |
src/app/api/combos/auto/route.ts |
REST API |