Jei domitės dirbtinio intelekto pasauliu, tikriausiai pastebėjote, kad išgyvename beprotišką laikotarpį, kai įrankių apstu, bet privatumo trūksta. Iki šiol dauguma mūsų buvome įpratę siųsti savo duomenis į nuotolinius serverius, tačiau realybė tokia, kad... paleisti kalbos modelius lokaliai Iš keisto smalsumo tai tapo strategine būtinybe bet kuriai įmonei, kuri didžiuojasi savo saugumu.
Čia ir praverčia „Ollama“ – platforma, kuri supaprastina gyvenimą, leisdama mums be jokių komplikacijų įdiegti LLM savo kompiuteriuose. Svarbu ne tik įdiegti programą ir viskas, bet ir... sukonfigūruoti patikimą aplinką kuris nepalieka durų atvirų įsibrovėliams ir išspaudžia kiekvieną MHz iš mūsų vaizdo plokštės, nesvarbu, ar ji būtų asmeniniame nešiojamajame kompiuteryje, ar privačioje debesies infrastruktūroje.
Kas tiksliai yra Ollama ir kaip veikia jos architektūra?
Tiems, kurie pradeda nuo nulio, „Ollama“ iš esmės yra labai optimizuotas „llama.cpp“ bibliotekos apvalkalas. Užuot vargę su sudėtingomis žemo lygio konfigūracijomis, „Ollama“ siūlo paprastos abstrakcijos sluoksnis atsisiųsti ir paleisti tokius modelius kaip „Llama 3.2“, „Mistral“ arba „DeepSeek“. Sistema veikia per serverį, kuris valdo išvadas, ir komandinę eilutę (CLI), skirtą sąveikai su juo.
Pagrindinė koncepcija čia yra modelių kvantizavimasIš esmės tai procesas, kurio metu sumažinamas modelio svorių tikslumas (pavyzdžiui, nuo 16 bitų iki 4 bitų). Tai tikras išsigelbėjimas, nes leidžia didžiuliams modeliams tilpti standartinio kompiuterio RAM atmintyje, taip pagerinant našumą. atsako greitis net jei prarandama maža dalelė tikslumo, o tai praktiškai paprastai nepastebima.
Aparatinės įrangos reikalavimai: Nepraleiskite progos.
Jums nereikia NASA superkompiuterio, bet jums reikia šiek tiek sveiko proto su technine įranga. RAM atmintis yra lemiamas veiksnysJei norite naudoti mažus 7 GB modelius, pakaks 8 GB, bet optimaliausia yra 16 GB. Jei siekiate 30 GB ar 70 GB modelių, būkite pasiruošę investuoti į 32 GB ar daugiau. Kalbant apie procesorių, šiuolaikiniai procesoriai su... AVX512 palaikymas (pvz., 11-osios kartos „Intel“ arba AMD „Zen4“) skraido dėl savo matricinių skaičiavimo galimybių.
Grafikos procesorius yra ta vieta, kur vyksta magija. Jei turite suderinamą NVIDIA arba AMD vaizdo plokštę, aparatūros pagreitis Tai perkelia darbo krūvį iš procesoriaus į vaizdo operatyviąją atmintį (VRAM), sutrumpindama atsako laiką nuo sekundžių iki milisekundžių. 4 bitų kvantiniams modeliams 13B modeliams idealiai tinka GPU su 8 GB vaizdo operatyviosios atminties, o 65B modeliams reikalinga daug galingesnė aparatinė įranga arba optimizuoti lustai, tokie kaip „Apple Silicon“.
Įdiegimas ir diegimas įvairiose aplinkose
„Ollama“ įdiegimas yra vieni juokai. „Windows“ ir „macOS“ sistemose tiesiog atsisiųskite vykdomąjį failą iš oficialios svetainės. „Linux“ sistemoje tai paprasta. curl komanda terminale Viską paruošia akimirksniu. Įdiegus komandą, ollama run Jis atsakingas už modelio atsisiuntimą ir interaktyvaus lango atidarymą.
Kūrėjams, naudojantiems „Windows“, derinys su WSL2 („Windows“ posistemė, skirta „Linux“) Tai yra sėkmingas variantas. Jis leidžia „Ollama“ serverį paleisti natyviai „Windows“ sistemoje (geriau išnaudojant NVIDIA GPU), tuo pačiu metu kuriant kodą „Linux“ aplinkoje. Norint tai pasiekti, labai svarbu nustatyti aplinkos kintamąjį. OLLAMA_HOST, esanti 0.0.0.0:11434 kad serveris klausytųsi visų sąsajų, o ne tik „localhost“.
Rimtesnėse įmonių aplinkose diegimas paprastai atliekamas per Dokerių konteineriaiTai leidžia izoliuoti išteklius ir pritaikyti infrastruktūrą mastelio keitimui. Tokios priemonės kaip „SoaxNG“ pakelia tai į kitą lygį, integruodamos „Ollama“ su nuolatiniais tomais „flash“ dydžio saugykloje, kad būtų galima apdoroti GGUF modelius, viršijančius 100 GB, ir užtikrinti, kad našumas nesumažėtų.
Dramblys kambaryje: kibernetinis saugumas ir rizikos
Štai čia ir reikia atmerkti akis. Pagal numatytuosius nustatymus „Ollama“ yra atvira REST API be autentifikavimo. Jei sukonfigūruosite pagrindinį kompiuterį taip, kad jis būtų pasiekiamas iš tinklo, ir neapsaugosite 11434 prievado, tapsite pažeidžiamas. atskleisti savo skaičiavimo galią niekam. Yra reali rizika, vadinama LLMjackingkur užpuolikai nuskaito žiniatinklį ieškodami „Ollama“ serverių, kad galėtų naudoti jūsų aparatinę įrangą šlamšto kampanijoms arba kriptovaliutų kasimui.
Dar blogiau yra tai, DNS perrišimas (CVE-2024-28224)Ši ataka leidžia kenkėjiškai svetainei, aplankytai iš jūsų naršyklės, sąveikauti su jūsų vietiniu „Ollama“ serveriu, net jei jis yra susietas su „localhost“. Tai gali sukelti... failų išfiltracija sistemos ar net nuotolinio kodo vykdymo (RCE), kaip matyti iš pažeidžiamumo ProbllamaAuksinė taisyklė yra tokia: Neleiskite Ollamai patekti į internetą ir paleisti jį tik pagal poreikį.
Patirties gerinimas naudojant „Open WebUI“ ir „n8n“
Sąveika tik su terminalu gali būti varginanti. Štai kodėl Atidarykite WebUI Tai puikus „Ollama“ partneris. Tai grafinė sąsaja, imituojanti „ChatGPT“ patirtį, leidžianti valdyti vartotojus, kurti raginimų šablonus ir įkelti dokumentus vizualiai generuojamiems RAG (angl. Recall Augmented Generation). Ją galima lengvai diegti naudojant „Docker“, sukuriant profesionalią ir bendradarbiavimo aplinką.
Jei norite automatizuoti procesus, integracija su n8n Tai tiesiog nuostabu. Galite kurti srautus, kuriuose „n8n“ fiksuoja el. laiškus, perduoda juos per „Ollama“ modelį, kad... klasifikuoti jausmą arba apibendrinti turinįir tada išsaugokite rezultatą duomenų bazėje, nepalikdami nė vieno baito informacijos iš vietinės infrastruktūros, taip užtikrindami visiškas duomenų privatumas.
Išplėstinis optimizavimas ir modelio pritaikymas
„Ollama“ skirta ne tik modeliams, kokie jie tik yra. Galite susikurti savo. Modelio failas pritaikyti dirbtinio intelekto elgseną. Koreguojant temperatūraGalite nuspręsti, ar norite, kad modelis būtų griežtai nuoseklus (mažos vertės), ar labiau kūrybiškas ir avantiūristiškas (vertės artimos 1). Taip pat galite apibrėžti a SISTEMOS raginimas kad dirbtinis intelektas galėtų veikti kaip kibernetinio saugumo ekspertas arba specialus techninis asistentas jūsų įmonei.
Kad sistema veiktų sklandžiai, rekomenduojama naudoti komandą ollama ps stebėti, kurie modeliai įkeliami į atmintį ir ollama stop kad atlaisvintumėte vaizdo atminties (VRAM), kai jos nebereikia. Gamybos aplinkoje įdiekite atvirkštinis tarpinis serveris su „Nginx“ TLS nutraukimas yra būtinas siekiant užtikrinti, kad srautas tarp žiniatinklio sąsajos ir dirbtinio intelekto serverio būtų užšifruotas.
Galimybė apdoroti natūralią kalbą vietoje, kontroliuojant viską – nuo aparatinės įrangos iki duomenų srauto, – leidžia organizacijoms pasiekti tikrą skaitmeninį suverenitetą. Sujungus atvirųjų modelių galią su patikima tinklo konfigūracija ir orkestravimo įrankiais, tokiais kaip „Docker“, pasiekiama pusiausvyra tarp veiklos efektyvumo ir kibernetinio saugumo, išvengiant priklausomybės nuo išorinių debesų ir panaikinant pasikartojančias žetonų išlaidas. Bendrinkite informaciją, kad daugiau vartotojų sužinotų apie temą.