llama.cpp / vLLM (local or self-hosted)

For running your own model server — on your own machine or a server you control. Both speak the same OpenAI-compatible API shape.

llama.cpp default	`http://localhost:8080/v1`
vLLM default	`http://localhost:8000/v1`
Needs a key	No by default; both support an optional API key if you've configured one on your server

Setup

Start your server: llama-server from llama.cpp, or vllm serve <model> from vLLM.
In BerryStudio: Settings → AI Provider → choose llama.cpp server (local) or vLLM (local or self-hosted), and set the base URL to wherever your server actually listens.
If you set a server-side API key, paste it too. Then Test Connection.

If Test Connection fails with a browser-console CORS error and your server isn't on localhost, check that server's own CORS/allowed-origin configuration — BerryStudio can only ask it to allow this origin, not force it to. Consult your server's own documentation for the exact flag, since this varies by version and BerryStudio doesn't ship a hardcoded command for these two the way it does for Ollama.

llama.cpp / vLLM (محلي أو مستضاف ذاتيًا)

لتشغيل خادم نموذج خاص بك — على جهازك أو خادم تتحكم به. كلاهما يتحدث بنفس شكل واجهة OpenAI المتوافقة.

افتراضي llama.cpp	`http://localhost:8080/v1`
افتراضي vLLM	`http://localhost:8000/v1`
يحتاج مفتاحًا	لا افتراضيًا؛ كلاهما يدعم مفتاح API اختياري إن أعددت واحدًا على خادمك

الإعداد

شغّل خادمك: llama-server من llama.cpp، أو vllm serve <model> من vLLM.
في BerryStudio: الإعدادات ← مزوّد الذكاء الاصطناعي ← اختر llama.cpp server (local) أو vLLM (local or self-hosted)، واضبط العنوان الأساسي على مكان استماع خادمك فعليًا.
إذا أعددت مفتاح API على الخادم، الصقه أيضًا. ثم Test Connection.

إذا فشل الاتصال بخطأ CORS في طرفية المتصفح وخادمك ليس على localhost، تحقق من إعدادات CORS/المصادر المسموحة الخاصة بالخادم نفسه — يمكن لـBerryStudio أن يطلب فقط السماح لهذا المصدر، لا أن يفرضه. راجع وثائق خادمك للاطلاع على الراية (flag) الدقيقة، إذ تختلف حسب الإصدار ولا يشحن BerryStudio أمرًا ثابتًا لهذين الخادمين كما يفعل مع Ollama.