Lokalni i on-prem AI LLM sustavi

Lokalni i on-prem AI LLM sustavi


Ovaj dio ponude odnosi se na najprivatniji oblik AI rješenja: lokalni ili on-prem LLM sustav.


Takav sustav omogućuje da AI model radi na vašoj infrastrukturi, u uredu, na vlastitom serveru ili u privatno kontroliranom okruženju. 

Ovo je idealan pristup kada je privatnost podataka ključna, kada se ne želi slati poslovni sadržaj prema vanjskim servisima ili kada je potrebno imati strogu kontrolu nad pristupom, sigurnošću i performansama.


U sklopu izrade uključujemo:

  • odabir odgovarajućeg AI modela prema potrebama, namjeni i budžetu

  • pripremu lokalnog AI okruženja

  • instalaciju i konfiguraciju inference stacka

  • pripremu API sloja ili lokalnog chat sučelja

  • povezivanje s dokumentima, bazama znanja i internim alatima

  • konfiguraciju korisničkih prava i pristupa

  • sigurnosne postavke za lokalno ili privatno okruženje

  • testiranje performansi, latencije i kvalitete odgovora

  • optimizaciju modela kroz kvantizaciju ili odabir lakšeg modela, prema potrebi

  • dokumentaciju za održavanje i daljnji razvoj sustava


Preporučena hardverska konfiguracija ovisi o veličini modela, broju korisnika i očekivanom opterećenju.


Za manji lokalni AI sustav preporučujemo:

  • CPU s najmanje 8 jezgri

  • 32 GB RAM-a

  • 1 TB NVMe SSD

  • GPU s najmanje 12 do 16 GB VRAM-a


Za ozbiljniji SMB setup preporučujemo:

  • CPU s 12 do 16 jezgri

  • 64 GB RAM-a

  • 2 TB NVMe SSD

  • GPU s 24 GB VRAM-a ili više


Za napredniji on-prem deployment preporučujemo:

  • server s jačim procesorom

  • 128 GB RAM-a ili više

  • brzi SSD/NVMe storage

  • jednu ili više profesionalnih GPU kartica

  • stabilnu mrežnu infrastrukturu

  • UPS zaštitu i kvalitetno hlađenje za dugotrajan rad


Što je hardver snažniji, to je moguće pokretati veće modele, podržati više korisnika i obrađivati složenije upite. Za manje modele i interne asistente često je dovoljan snažniji workstation, dok se za više korisnika, osjetljive podatke i ozbiljnije poslovne scenarije preporučujemo namjenski server ili dedicated AI workstation.


Ovaj paket namijenjen je korisnicima i tvrtkama koje žele:

  • potpunu kontrolu nad vlastitim podacima

  • lokalno procesiranje bez slanja informacija vanjskim servisima

  • AI rješenje za osjetljive poslovne procese

  • privatno, sigurnije i dugoročno skalabilno AI okruženje