Šiandien dirbtinis intelektas, regis, yra visur, tačiau beveik visada už jį reikia mokėti nematomą kainą: mūsų privatumą. Dauguma populiarių įrankių verčia mus siųsti duomenis į nuotolinius debesis, o tai, ko mums reikia. įmonės, mokytojai ar bet kas Konfidencialių duomenų tvarkymas yra rizika, kurios negalime sau leisti. Būtent čia praverčia LLM programų vykdymas vietoje, nes jos leidžia mums visiškai kontroliuoti procesą, nepasikliaujant trečiosiomis šalimis.
LM Studio pristato save kaip tvirtą ir universalią alternatyvą, labai panašią į tai, ką siūlo „Ollama“, tačiau su tuo, kad jame yra labai intuityvi grafinė sąsajaŠi programa leidžia valdyti kalbos modelius „Windows“, „macOS“ ir „Linux“ sistemose, paverčiant jūsų kompiuterį privačiu dirbtinio intelekto serveriu. Tai idealus įrankis tiems, kurie ieško... skaitmeninis suverenitetas ir galimybę eksperimentuoti su skirtingais modeliais neišleidžiant nė euro prenumeratoms.
LM Studio diegimo ir paleidimo veiksmai
Norėdami pradėti, pirmiausia turite atsisiųsti programą iš oficialios svetainės. Diegimo procesas yra toks pat kaip ir bet kurios darbalaukio programos, tačiau jei naudojate „Linux“, gali tekti... suteikti vykdymo leidimus į „AppImage“ failą naudodami komandą chmod +xKai kuriose aplinkose, siekiant išvengti saugumo konfliktų, rekomenduojama jį paleisti su parametru --no-sandbox.
Atidarius programą, sistema paprašys pasirinkti vieną vietinis aplankas modeliams saugotiTai labai svarbu, nes LLM failai gali užimti nemažai vietos. Nustačius aplinką, rasite sąsają, kurioje galėsite ieškoti modelių tiesiogiai iš Apsikabinęs veidasTai labai supaprastina užduotį rasti tikslią reikiamo modelio versiją.
CLI ir modelių valdymo įvaldymas
Nors vizualinė sąsaja puiki, „LM Studio“ išsiskiria savo... komandinė eilutė (CLI)kurį galima įdiegti tokiose sistemose kaip Ubuntu, paleidus npx lmstudio install-cliŠis įrankis leidžia valdyti dirbtinį intelektą neliečiant pelės, taip palengvinant užduočių automatizavimą.
- Pakrovimas ir iškrovimas: Naudojant komandą
lms loadGalime įkelti modelį į atmintį, prireikus pakoreguodami konteksto ilgį arba išjungdami GPU. Norėdami atlaisvinti vietos, naudojamelms unload. - Ieškokite ir tyrinėkite: su
lms getGalime rasti modelius nuotolinėse saugyklose, filtruodami pagal formatus, tokius kaip GGUF arba MLXNorėdami pamatyti, ką jau atsisiuntėme, naudokite komandąlms lsJame pateikiama išsami informacija apie dydį ir architektūrą. - Serverio valdymas: Komandos
lms server startylms server stopJie leidžia valdyti vietinį serverį, netgi nurodyti pasirinktinius prievadus arba įjungti palaikymą ŠORTAI. - Išplėstinės programos: Yra tokių funkcijų kaip
lms psnorėdami pamatyti, kurie modeliai yra aktyvūs RAM atmintyje, arbalms log streamtiksliai stebėti, kurie raginimai realiuoju laiku siunčiami modeliui.
Išplėstinė integracija: API ir pritaikymas
Programuotojams „LM Studio“ yra išsipildžiusi svajonė, nes ji siūlo Su „OpenAI“ suderinami galiniai taškaiTai reiškia, kad bet kuri GPT sukurta programa gali būti nukreipta į mūsų vietinį serverį naudojant tokius maršrutus kaip /v1/chat/completions. Be to, yra SDK, skirti „Python“ ir „Typescript“ kurie integraciją paverčia itin paprasta.
Vienas novatoriškas aspektas yra failų naudojimas modelis.yamlŠie failai leidžia apibrėžti modelio architektūrą, jo metaduomenis (pvz., minimalų reikiamą RAM kiekį arba tai, ar jis palaiko regėjimą) ir konkrečias išvadų konfigūracijas. Nors šiuo metu tai yra beta versija, skirta LM Studio Hub, ji žada pasiūlyti panašų lankstumą kaip ir Ollama Modelfiles. Be to, jei turite modelį išorinis GGUFGalite lengvai importuoti naudodami komandą lms import.
Biuro automatizavimo skatinimas suvienijus LM Studio ir ONLYOFFICE
Vienas iš praktiškiausių šios sistemos pritaikymų yra jos prijungimas prie ONLYOFFICE darbalaukio redaktoriaiIntegravę „LM Studio“ API serverį su šiuo biuro programų paketu, turime dirbtinio intelekto asistentą, integruotą į dokumentus, skaičiuokles ir pristatymus, užtikrinantį, kad Neskelbtina informacija niekada neturėtų būti nutekinta. iš mūsų vietinio tinklo.
Norėdami tai pasiekti, tiesiog aktyvuokite serverį LM Studio programoje (pakeisdami būseną į RunningTada ONLYOFFICE įdiekite AI papildinį iš plėtinių tvarkyklės. Papildinio nustatymuose pridėkite Vietinio serverio URL (paprastai http://127.0.0.1:1234) ir pasirinkite atsisiųstą modelį. Tada, naudodami paprastą spartųjį klavišą, pvz., „Ctrl“ + /Galime paprašyti dirbtinio intelekto apibendrinti tekstą arba pasiūlyti sudėtingas formules.
Naudojimo atvejai ir techninės įrangos rekomendacijos
Šis derinys yra grynas auksas įvairiems profiliams. pedagogai ir mokiniai Jie gali greitai sukurti klausimynus ar studijų vadovus. Kita vertus, viešojo administravimo institucijos ar įmonės gali rengti konfidencialias ataskaitas nebijodamos duomenų nutekėjimo. Svarbiausia yra pasirinkti tinkamą modelį: modelį, 7B arba 8B parametrai Tai idealiai tinka įrenginiams su 8–16 GB RAM, o modeliams su 13 GB ir didesne atmintimi reikalingos galingos GPU arba „Apple Silicon“ lustai.
Galimybė perjungti tarp lengvesnio modelio, skirto greitiems pataisymams, ir patikimesnio modelio, skirto išsamiai analizei, suteikia mums visiškas lankstumasGaliausiai kalbame apie įmonės lygio funkcijų, tokių kaip intelektualus teksto generavimas ir tikslūs vertimai, gavimą, tačiau galime būti ramūs, žinodami, kad esame vieninteliai savo infrastruktūros ir duomenų savininkai.
Nesvarbu, ar ieškote įrankio, skirto programuoti kitą didelę programą, ar tiesiog norite asmeninio asistento, kuris parengtų jūsų dokumentus, vietinio modelių tvarkyklės įdiegimas yra saugiausias būdas. Galimybė vykdyti LLM neprisijungus, rankiniu būdu valdyti atmintį ir prijungti dirbtinio intelekto variklį prie produktyvumo įrankių paverčia jūsų kompiuterį... išmanioji darbo stotis ir visiškai privatu.