Failover بی‌وقفه به مدل‌های داخلی و راه‌اندازی متن‌باز محلی

وقتی دسترسی مستقیم Claude، سهمیه API یا مسیریابی منطقه‌ای ناپایدار می‌شود، یک پشته failover طراحی‌شده خط لوله توسعه شما را روشن نگه می‌دارد. مدل‌های پیشرو داخلی و پشته‌های open source محلی راه دور زدن نقض سیاست نیستند؛ ابزارهای مشروع تداوم برای تیم‌هایی‌اند که به تأخیر قابل پیش‌بینی، هزینه واحد پایین‌تر و fallback آفلاین نیاز دارند. این راهنما جایگزین‌های عملی را مقایسه می‌کند، راه‌اندازی Ollama و One-API را گام‌به‌گام می‌دهد و نشان می‌دهد چگونه بدون بازنویسی همه یکپارچه‌سازی‌ها بار کاری را مسیریابی کنید.

قبل از استقرار جایگزین‌ها، محیط پایه را هم‌راستا کنید. اگر Claude همچنان upstream اصلی است، راهنماهای پاک‌سازی محیط و تنظیم IP و انتخاب VPN و پروکسی را ببینید. برای کنترل هزینه API در سمت Claude، این راهنما را با بهینه‌سازی پیشرفته API ترکیب کنید.

1. مقایسه مدل‌های پیشرو داخلی

مدل‌های پیشرو چینی و منطقه‌ای اکنون بیشتر کارهای روزمره مهندسی را پوشش می‌دهند: تکمیل کد، refactor، تولید تست، تحلیل لاگ و پرسش‌وپاسخ سند بلند. تفاوت در طول context، وفاداری tool calling، عمق استدلال و قیمت است، نه در اینکه آیا می‌توانند Claude را کاملاً جایگزین کنند.

ماتریس مقایسه قابلیت

انتخاب مدل بر اساس بار کاری

• DeepSeek R1 / V3: R1 وقتی به دیباگ با سبک chain-of-thought یا منطق سطح مسابقه برنامه‌نویسی نیاز دارید. V3 پیش‌فرض بهتر برای فراخوانی API تولید است: سریع‌تر، ارزان‌تر و پایدار برای codegen. در ساعات اوج به محدودیت نرخ توجه کنید؛ کار batch غیرفوری را خارج از اوج صف کنید.
• Kimi / Kimi Code: وقتی یک prompt باید کل درخت README مونورپو، spec OpenAPI و سه RFC را ببلعد ایده‌آل است. Kimi Code جریان‌های مبتنی بر IDE اضافه می‌کند. حالت شکست: context بسیار بلند می‌تواند تمرکز را رقیق کند — outline ساخت‌یافته در ابتدا بگذارید تا مدل به بخش‌ها لنگر بیندازد.
• GLM-4 / Zhipu AI: وقتی انطباق به فاکتور، SLA و endpoint قابل دسترس در سرزمین اصلی بدون VPN نیاز دارد انتخاب قوی است. function calling و حالت JSON schema برای تولید آماده است. برای بحث معماری بازپایان کمتر از R1 یا Claude Opus مناسب است.
• open source محلی (Qwen، distilled DeepSeek، انواع Llama): بهترین برای کد مجاور secret، محیط‌های تنظیم‌شده، یا وقتی فراخوانی API خروجی کاملاً مسدود است. شکاف کیفیت نسبت به مدل‌های پیشرو ابری در کارهای محدود کمترین است: اصلاح lint، boilerplate، اسکلت unit test.

چه زمانی تعویض نکنید

Claude (یا upstream اصلی) را برای کارهای پرریسک که به tuning امنیتی خاص، حلقه agent بلندمدت، یا یکپارچه‌سازی‌های toolchain فقط روی مدل‌های Anthropic آزمایش شده وابسته‌اند نگه دارید. جایگزین‌ها در تداوم عالی‌اند، نه در کپی هر رفتار اختصاصی Claude. اگر دسترسی حساب ناپایدار است، قبل از فرض اینکه مدل داخلی مشکل eligibility زیرین را حل می‌کند ثبت‌نام حساب و ضد مسدودسازی پرداخت را بخوانید.

2. راه‌اندازی سازگاری خصوصی Ollama و One-API با Claude

درگاه محلی یا خصوصی که Messages API Anthropic را صحبت می‌کند به CLIها، افزونه IDE و اسکریپت موجود اجازه می‌دهد با عوض کردن upstream مدل به کار ادامه دهند. دو لایه رایج: Ollama (زمان اجرای مدل) و One-API یا LiteLLM (ترجمه پروتکل و مدیریت کلید).

چک‌لیست پیش‌نیاز

• میزبان با 16 GB+ RAM برای مدل 7B–14B؛ 32 GB+ و GPU مجزا برای 32B+ با سرعت قابل استفاده.
• Docker (برای One-API) یا Python 3.10+ (برای LiteLLM).
• کلید API جدا برای هر محیط (dev/staging/prod) — هرگز کلید تولید Claude را روی درگاه مشترک بازاستفاده نکنید.
• سیاست خروجی شبکه مستند: فقط محلی، داخل VPC یا VPN تیم.

راه‌اندازی مسیر محلی Claude با Ollama

# 1. Install Ollama (macOS/Linux)
curl -fsSL https://ollama.com/install.sh | sh

# 2. Pull a coding-oriented model (pick one tier)
ollama pull qwen2.5-coder:14b
ollama pull deepseek-r1:14b

# 3. Verify the OpenAI-compatible local endpoint
curl http://127.0.0.1:11434/v1/models

# 4. Deploy One-API (Anthropic/OpenAI aggregation)
docker run -d --name one-api \
  -p 3000:3000 \
  -v "$(pwd)/one-api-data:/data" \
  justsong/one-api

# 5. In One-API admin UI (http://localhost:3000):
#    - Add channel: Ollama base URL http://host.docker.internal:11434
#    - Map model name to a Claude-compatible alias, e.g. claude-sonnet-fallback
#    - Create a separate API token for your team

# 6. Point tools at the gateway—not at Anthropic directly
export ANTHROPIC_BASE_URL="http://127.0.0.1:3000"
export ANTHROPIC_API_KEY="sk-one-api-token-from-admin"

جایگزین LiteLLM (هدف یکسان، پشته متفاوت)

# pip install 'litellm[proxy]'
# config.yaml excerpt:
model_list:
  - model_name: claude-fallback
    litellm_params:
      model: ollama/qwen2.5-coder:14b
      api_base: http://127.0.0.1:11434

litellm --config config.yaml --port 4000

تأیید پس از استقرار

1. درخواست حداقلی Messages API (max_tokens: 64) بفرستید و HTTP 200 را تأیید کنید.
2. فیلدهای schema پاسخ (content، usage) را با مستندات Anthropic مقایسه کنید — برخی درگاه‌ها cache_creation_input_tokens را حذف می‌کنند؛ در backend غیر Claude انتظار می‌رود.
3. یک کار واقعی از افزونه IDE یا Claude Code با ANTHROPIC_BASE_URL تنظیم‌شده اجرا کنید؛ لاگ تأخیر و شکل خطا را ضبط کنید.
4. بازگشت را مستند کنید: با حذف متغیرهای محیطی در کمتر از 30 ثانیه مسیریابی مستقیم Anthropic را برگردانید.

حالت‌های شکست رایج

• Docker به Ollama روی میزبان نمی‌رسد: از host.docker.internal (macOS/Windows) یا --network host (Linux) استفاده کنید.
• مدل tool call توهمی می‌سازد: استفاده بومی ابزار را در کلاینت غیرفعال کنید یا به کانالی با پشتیبانی function calling تأییدشده (کانال API GLM-4 / DeepSeek V3 در One-API) نگاشت دهید.
• سرریز context: مدل‌های محلی 14B بالای حدود 32K توکن مؤثر افت کیفیت دارند؛ context repo را کوتاه کنید یا کار بلند را به Kimi بفرستید.
• کش کهنه درگاه: پس از تعویض مدل، فرآیند proxy را ری‌استارت کنید تا جدول alias به‌روز شود.

endpointهای سفارشی با fingerprinting کلاینت تعامل دارند. اگر Claude Code را علیه base URL غیر پیش‌فرض استفاده می‌کنید، رمزنگاری پنهان Claude و مدل ریسک و Claude Code و ایمنی API را برای بهداشت محیط ببینید — نه دور زدن، بلکه پیکربندی ثابت که از نشت تصادفی سیگنال جلوگیری کند.

3. استراتژی مسیریابی مدل ترکیبی

مسیریابی ترکیبی هر نوع درخواست را به ارزان‌ترین مدل کافی اختصاص می‌دهد. هدف کاهش 90%+ هزینه روی کار bulk است در حالی که Claude برای کارهایی که اندازه‌گیزی‌پذیر بهترند رزرو می‌شود.

قواعد مسیریابی پیشنهادی

طرح پیاده‌سازی

// Router pseudocode — keep Anthropic SDK shape
const ROUTES = [
  { match: /security|threat|architecture/i, upstream: 'claude' },
  { match: /generate tests|fix lint/i, upstream: 'deepseek-v3' },
  { match: /summarize repo|read spec/i, upstream: 'kimi' },
];

async function route(prompt: string) {
  const tier = ROUTES.find(r => r.match.test(prompt))?.upstream ?? 'deepseek-v3';
  try {
    return await callUpstream(tier, prompt);
  } catch (e) {
    if (isRetryable(e)) return await callUpstream('local-ollama', prompt);
    throw e;
  }
}

شیوه‌های عملیاتی

• سقف بودجه: هشدار مصرف روزانه روی هر API ابری؛ سرریز خودکار به Ollama محلی.
• قالب prompt: یک system prompt کانونیک برای هر نوع کار نگه دارید؛ مدل‌های داخلی اغلب به دستورالعمل صریح فرمت خروج نیاز دارند که Claude ضمنی استنتاج می‌کند.
• حلقه ارزیابی: هفتگی، 20 prompt طلایی را از Claude و fallbackها عبور دهید؛ نرخ قبولی تست و امتیاز بازبینی انسانی را رصد کنید. وقتی کیفیت fallback از آستانه عبور کرد قواعد مسیریابی را عوض کنید.
• playbook حادثه: مستند کنید چه کسی ANTHROPIC_BASE_URL را عوض می‌کند و چه کسی مسیریابی بار حساس به API شخص ثالث در برابر فقط محلی را تأیید می‌کند.

وقتی خود failover شکست می‌خورد — timeout درگاه، JSON ابزار نامفهوم، یا پاسخ 403 مبهم — قبل از تعویض تصادفی مدل از درخت تصمیم راهنمای عیب‌یابی استفاده کنید.

پرسش‌های متداول

آیا One-API می‌تواند Claude را برای Claude Code کاملاً جایگزین کند؟

CLI را روشن نگه می‌دارد، اما وفاداری ابزار و رفتار ایمنی متفاوت خواهد بود. One-API را مسیر تخریب برای کمک کدنویسی بدانید، نه جایگزین بایت‌به‌بایت Claude. ویرایش‌های بحرانی را با تست و بازبینی تأیید کنید.

کدام مدل داخلی به Claude برای کار backend پایتون نزدیک‌تر است؟

DeepSeek V3 پیش‌فرض رایج برای codegen backend و طراحی API است. Kimi وقتی اندازه ورودی هزینه را غالب می‌کند برنده است. GLM-4 وقتی صورتحساب سازمانی پایدار و خروجی JSON schema نیاز دارید قوی‌تر است.

آیا Ollama محلی برای کد اختصاصی امن است؟

داده روی دستگاه شما می‌ماند، اما وزن‌های مدل همچنان plaintext را پردازش می‌کنند. برای داده تنظیم‌شده، میزبان air-gapped، رمزنگاری دیسک و کنترل دسترسی استفاده کنید. استنتاج محلی ریسک نگهداری شخص ثالث را حذف می‌کند؛ ریسک insider یا بدافزار را حذف نمی‌کند.

آیا مسیریابی از جایگزین‌ها ریسک مسدودسازی حساب Claude را کم می‌کند؟

استفاده از جایگزین‌ها وابستگی به uptime Claude را کم می‌کند؛ حساب Claude را از اجرای سیاست مصون نمی‌کند. حساب‌ها، پرداخت و محیط را منطبق نگه دارید — ثبت‌نام و ضد مسدودسازی پرداخت را ببینید.

چگونه صرفه‌جویی هزینه را تخمین بزنم؟

دو هفته توکن به‌ازای نوع کار روی Claude اندازه بگیرید، سپس همان مجموعه طلایی را روی DeepSeek/Kimi تکرار کنید. صرفه‌جویی به ترکیب کار شما و مدل‌های مقایسه بستگی دارد؛ روی بار کاری خودتان اندازه بگیرید نه رقم تیتر. بازبینی معماری اغلب روی Claude می‌ماند چون زمان بازبینی انسانی غالب است.

چه سخت‌افزاری برای سرعت قابل قبول محلی لازم است؟

Apple Silicon M2 Pro با 32 GB RAM مدل 14B را تعاملی اجرا می‌کند. GPUهای کلاس NVIDIA RTX 4090 یا A5000 کوانتیزاسیون 32B را برای درگاه مشترک تیم کوچک مناسب می‌کنند. استنتاج فقط CPU برای ویرایش تک‌فایل عملی است، نه برای حلقه agent بزرگ.