Açık Kaynak Modellerle Yerel AI Sunucusu

Ollama, Llama 3, Mistral ve Phi-3 gibi güçlü modelleri saniyeler içinde yerel makinenizde ayağa kaldırmanızı sağlar. Bulut servislerine (OpenAI, Gemini) bağımlı kalmadan, tamamen çevrimdışı ve ücretsiz bir AI API deneyimi sunar.

1) PHP ile Entegrasyon (cURL)

Ollama varsayılan olarak 11434 portunda çalışır. İsteklerde stream => false parametresi yanıtın tek seferde gelmesini sağlar.

$url = "http://localhost:11434/api/generate";
$data = [
    "model" => "llama3",
    "prompt" => "Neden açık kaynak yazılım kullanmalıyız?",
    "stream" => false
];

$ch = curl_init($url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_POST, true);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($data));
curl_setopt($ch, CURLOPT_HTTPHEADER, ["Content-Type: application/json"]);

$response = curl_exec($ch);
$result = json_decode($response, true);
echo $result["response"];

2) Python Kullanımı

pip install ollama kütüphanesi ile en temiz kod yapısını elde edersiniz.

import ollama

response = ollama.chat(model='mistral', messages=[
  {
    'role': 'user',
    'content': 'Llama 3 ve Mistral arasındaki farklar nelerdir?',
  },
])
print(response['message']['content'])

3) Node.js Entegrasyonu

import ollama from 'ollama'

const response = await ollama.chat({
  model: 'llama3',
  messages: [{ role: 'user', content: 'Merhaba yerel AI!' }],
})
console.log(response.message.content)