Am Înlocuit ChatGPT cu AI Local: Cum Rulez Qwen 3.5 și Modele Multimodale Gratuit cu Ollama

TL;DR: Poți rula Qwen 3.5 (7B) local cu 45+ tokeni/secundă pe un RTX 3060, procesa imagini cu modele vision și adăuga comenzi vocale folosind Whisper + Piper TTS. Cost total: 0 lei/lună după achiziția hardware-ului. Configurarea durează 20 de minute.

Problema: Costurile API și Blocarea Datelor

Cheltuiam 110 lei pe lună pe ChatGPT Plus. Nu era mult, până când a trebuit să procesez 200 de descrieri de produse pentru un client e-commerce. Factura API a ajuns la 230 lei într-o după-amiază. Mai rău: nu puteam verifica dacă prompturile mele proprietare antrenează următorul model OpenAI.

Pentru business-uri care gestionează date de clienți sau documente medicale, asta e o responsabilitate legală, nu doar un cost. AI-ul local rezolvă ambele probleme. Plătești hardware-ul o dată (sau folosești ce ai deja), iar datele tale nu părăsesc niciodată calculatorul.

Soluția: Ollama + Modele Mici Eficiente

Ollama nu e doar un wrapper peste llama.cpp. Gestionează cuantizarea modelelor, offload-ul pe GPU și oferă un API curat care înlocuiește endpoint-urile OpenAI. Combinat cu modele moderne de 3B-14B parametri, obții 90% din raționamentul GPT-4 la 5% din costul operațional.

De Ce Qwen 3.5 și 3.6?

Seria Qwen de la Alibaba domină AI-ul local acum pentru că:

• •Licență Apache 2.0 — Utilizare comercială permisă fără zone gri legale
• •Multilingv — Gestionează româna, chineza și engleza mai bine decât Llama-3 în testele mele
• •Arhitectură eficientă — Modelul de 7B depășește Llama-3 8B la benchmark-uri de raționament folosind mai puțină VRAM

Versiunile 3.5 și 3.6 (lansate la finalul 2025/începutul 2026) au rezolvat problemele de “urmare a instrucțiunilor” din Qwen2. Acum returnează JSON fiabil și urmăresc system prompt-urile fără să devieze.

Cerințe Hardware

Înainte să descarci ceva, verifică specificațiile:

Minim (Doar CPU)

• •RAM: 16GB DDR4
• •Stocare: 20GB spațiu liber SSD
• •Viteză: 4-8 tokeni/secundă (utilizabil pentru teste, lent pentru producție)
• •Modele: Qwen 3.5 3B, Phi-4 3.8B

Recomandat (Cu Accelerare GPU)

• •GPU: NVIDIA GTX 1070 8GB sau RTX 3060 12GB
• •RAM: 32GB DDR4 (permite OS + browser + context model)
• •VRAM: 8GB+ pentru modele 7B la cuantizare Q4
• •Viteză: 35-60 tokeni/secundă
• •Modele: Qwen 3.5 7B/14B, Llama 3.2 Vision 11B

Optim (Multimodal + Voce)

• •GPU: RTX 4070 Ti Super (16GB) sau Apple Silicon M3 Pro (18GB memorie unificată)
• •RAM: 32-64GB
• •Viteză: 60-120 tokeni/secundă, procesare TTS/STT simultană
• •Modele: Qwen 3.6 32B (Q4), Llama 3.2 Vision, plus Whisper Large V3

Notă: GPU-urile AMD funcționează via ROCm, dar NVIDIA are suport mai bun în Ollama momentan. Chip-urile Apple Silicon M-series sunt surprinzător de competitive pentru modele 7B-13B datorită memoriei unificate.

Configurare: De la Zero la ChatGPT Local

Pasul 1: Instalează Ollama

1# macOS/Linux
2curl -fsSL https://ollama.com/install.sh | sh
3
4# Windows
5# Descarcă installerul de pe ollama.com/download

Verifică instalarea:

1ollama --version
2# ollama version 0.6.3 (sau mai nou)

Pasul 2: Descarcă Primul Model

Începe cu Qwen 3.5 7B — echilibrul perfect calitate/viteză:

1ollama pull qwen3.5:7b

Tag-ul :7b folosește implicit cuantizare Q4_K_M (4 biți). Reduce dimensiunea modelului de la ~14GB la ~4.5GB cu pierderi minime de calitate.

Pasul 3: Testează Performanța

Rulează un benchmark pentru a verifica tokeni/secundă:

1ollama run qwen3.5:7b
2>>> De ce crește sectorul tech românesc mai repede decât în țările vecine?

Cronometrează răspunsul. Pe un RTX 3060 12GB, ar trebui să vezi ~45 tokeni/secundă. Pe un MacBook Pro M3, ~55 tokeni/secundă.

Dacă obții <15 tokeni/secundă, modelul rulează pe CPU. Verifică detectarea GPU:

1ollama ps
2# Ar trebui să arate procent de utilizare GPU, nu doar CPU

Multimodal: Procesarea Imaginilor Local

Qwen 3.5 Vision și Llama 3.2 Vision pot analiza screenshot-uri, grafice și documente. Iată cum să le folosești:

1import ollama
2
3response = ollama.chat(
4    model='qwen3.5-vl:7b',
5    messages=[{
6        'role': 'user',
7        'content': 'Extrage toate prețurile din această imagine de bon fiscal',
8        'images': ['bon.jpg']
9    }]
10)
11
12print(response['message']['content'])

Notă de performanță: Modelele vision necesită 2-4GB VRAM adițional. Modelul 7B vision folosește ~6.5GB VRAM total.

Adăugarea Vocii: STT și TTS

Ollama este text-only. Pentru voce, ai nevoie de două componente adiționale:

Speech-to-Text (Whisper)

Folosește faster-whisper (optimizat CTranslate2) pentru transcriere locală:

1pip install faster-whisper

1from faster_whisper import WhisperModel
2
3model = WhisperModel("base", device="cuda", compute_type="float16")
4segments, info = model.transcribe("audio.mp3", language="ro")
5text = " ".join([segment.text for segment in segments])
6
7# Trimite către Ollama
8response = ollama.generate(model='qwen3.5:7b', prompt=text)

Modelul base folosește ~1GB VRAM și procesează româna la viteză 50x real-time pe GPU.

Text-to-Speech (Piper)

Piper este un TTS neural rapid, local, care rulează pe CPU:

1# Instalează piper
2pip install piper-tts
3
4# Descarcă voce română (dacă există) sau folosește engleză
5# Voci de pe https://huggingface.co/rhasspy/piper-voices/tree/main

1import piper
2
3voice = piper.Voice(model_path="ro_RO-gabriela-medium.onnx")
4audio = voice.synthesize(response['response'])
5# Redă audio sau salvează în fișier

Arhitectura Pipeline Completă:

1Microfon → Whisper (STT) → Ollama (LLM) → Piper (TTS) → Difuzor

Breakdown latență pe RTX 3060:

• •STT: 200ms (enunț de 3 secunde)
• •LLM (50 tokeni): 1.1 secunde
• •TTS: 300ms
• •Total: ~1.6 secunde (comparabil cu API-urile cloud)

Rezultate: Ce Am Măsurat Efectiv

Am testat Qwen 3.5 7B împotriva GPT-3.5-turbo pe trei sarcini de business:

Benchmark-uri viteză (RTX 3060 12GB):

• •Qwen 3.5 7B Q4: 47 tokeni/secundă
• •Llama 3.2 8B Q4: 42 tokeni/secundă
• •Phi-4 14B Q4: 28 tokeni/secundă (mai lent dar mai inteligent)
• •Qwen 3.5 Vision 7B: 38 tokeni/secundă (imagine + text)

Compromisuri și Limitări

Pierzi:

• •Cunoștințe internet — Modelele locale nu navighează pe web (decât dacă adaugi RAG/API-uri de căutare)
• •Context uriaș — Rularea contextului de 128K local necesită 32GB+ VRAM. Majoritatea setup-urilor locale folosesc 4K-8K context
• •Zero-configurare — Setarea inițială durează 2-3 ore. Ollama simplifică, dar nu e “înscrie-te și chat”
• •Raționament top-tier — GPT-4 și Claude 3.5 Sonnet încă bat modelele locale 7B la logică complexă. Ai nevoie de modele 30B+ pentru a le egala, care necesită hardware scump

Câștigi:

• •Latență constantă — Nicio eroare “server supraîncărcat”
• •Privacy by default — Conformitate GDPR/HIPAA fără audituri vendor
• •Customizare — Fine-tune pe datele tale cu unsloth

Concluzie

Am anulat ChatGPT Plus după trei săptămâni de teste locale. Pentru 80% din sarcinile mele — drafturi emailuri, analiză PDF-uri, schelet cod — Qwen 3.5 7B egalează calitatea GPT-3.5 la scală infinită și cost marginal zero.

Începe cu Ollama + Qwen 3.5 7B pe hardware-ul existent. Dacă obții 30+ tokeni/secundă, poți înlocui instrumentul zilnic. Dacă nu, un RTX 3060 second hand (~1000 lei pe OLX) se amortizează în 10 luni de economisire a abonamentului ChatGPT Plus.

Pași următori:

1. Instalează Ollama și testează Qwen 3.5 7B
2. Configurează un folder de documente pentru RAG (folosește anythingllm.com pentru interfață)
3. Integrează Whisper pentru comenzi vocale

Datele tale rămân ale tale. Portofelul rămâne plin.

Lectură Suplimentară

• •Ollama Model Library — Modele oficiale suportate și tag-uri de cuantizare
• •Qwen Technical Report — Detalii arhitectură și metodologie benchmark
• •LocalLLaMA Subreddit — Benchmark-uri hardware comunitare și tips optimizare
• •Piper TTS Voices — Modele voce multilingve inclusiv română
• •Faster-Whisper Documentation — Ghid setup recunoaștere vocală locală