반응형
올라마를 설치해 보자.
Ollama는 다양한 LLM 모델을 설치해서 local에서 사용할 수 있는 나만의 AI가 되는 것이다.
나만의 자비스... 로는 언제쯤이나 될까나... ?
우선 아래 링크에서 다운로드 받자.
윈도우, 리눅스, 맥OS 가 있다.
처음에는 n100 미니PC에서 설치하려고 했으나, GPU 모델이 적합하지(지원하지) 않아서 설치할 수 없었다.
그래서 다음에는 좀 더 비싼 미니 PC를 사봐야겠다.
설치하는 동안, 어떤 LLM 모델을 설치할 지 찾아보자.
우선 처음이니... 한글이 지원되는 모델을 설치해 보자.
Ollama 홈페이지에서 Models를 클릭하여 "korean"을 검색해 보자.
오~
아래와 같이 exaone3.5라고 나온다. 설명에도 보면 by LG AI research라고 되어 있는 것을 보니... 한글 지원이 되나보다.
윈도우에서 설치가 완료되었으면,
1) 아래와 같이 cmd 터미널을 설치하고
2) ollama 실행
3) ollama run exaone3.5:7.8b 실행
4) success 확인
이제 질문을 해보자.
-_-;; 질문을 하면 데이터가 클라우드로 올라간다고 한다.
그래서... 좀 더 공부하고 다시 돌아와야겠다.
반응형
댓글