로컬 AI 설치 방법 — 인터넷 없이 내 컴퓨터에서 쓰는 무료 AI, LM 스튜디오로 3단계 따라하기
챗GPT나 제미나이는 내 질문이 멀리 있는 큰 컴퓨터로 갔다가 답이 돌아오는, 말하자면 배달 음식입니다. 그런데 AI 두뇌를 통째로 내 컴퓨터에 받아 놓고 집 안에서 해 먹는 집밥 AI도 있습니다. 바로 로컬 AI입니다. 할배가 직접 인터넷 선을 뽑고 시험해 봤더니, 정말 대답을 했습니다. 따라 하기 쉽게 세 단계로 정리합니다.
▲ 좌충우돌 할배의 AI 입문기 「공부합시다 Ep.28」
로컬 AI, 좋은 점과 솔직한 단점
- 좋은 점 — 한 번 깔면 구독료가 없고, 내 질문과 자료가 밖으로 나가지 않으며, 인터넷이 끊겨도 쓸 수 있습니다. 회사가 서비스를 닫거나 값을 올려도 내 컴퓨터 안의 AI는 그대로 남습니다.
- 단점 — 컴퓨터, 특히 그래픽카드가 좋아야 하고 전기를 많이 먹고 뜨거워집니다. 컴퓨터가 약하면 느립니다. AI 파일은 반드시 공식 사이트에서 받아야 합니다.
1단계. 내 컴퓨터 힘부터 보기
키보드에서 Ctrl + Shift + Esc를 같이 누르면 작업 관리자가 뜹니다. 성능 → GPU를 누르면 ‘전용 GPU 메모리’가 보입니다. 할배 컴퓨터는 16기가였습니다. 이 숫자가 AI가 들어갈 방 크기입니다.
2단계. LM 스튜디오(지금 이름 ‘바이오닉’) 설치
공식 사이트에서 받아 설치하면 바탕화면에 아이콘이 생기고, 몇 분이면 끝납니다. 할배는 여기서 한 번 막혔습니다. 켜자마자 그냥 꺼지는 것이었는데, 화면을 그리는 그래픽 기능이 그래픽카드 드라이버와 맞지 않아서였습니다. 그 기능만 끄고 다시 켜니 바로 됐습니다. 켜자마자 꺼져도 당황하지 마세요.
3단계. AI 두뇌(모델) 받고 질문하기
요령은 하나, 내 그래픽카드 메모리의 절반보다 작은 모델을 고르는 것입니다. 할배는 큐웬 3.5 4B 모델(약 3.4기가)을 골랐습니다. 손주 돌잔치 축사 세 줄, 혈압약 알람 문구, 손주 생일 문자를 물어보니 몇 초 만에 답이 나왔습니다. 인터넷 선을 뽑고 “할배한테 AI 공부 응원 한마디 해 줘”라고 물어도 대답했습니다.
단, 조심할 점이 있습니다. 인터넷을 끊었는데도 AI가 “인터넷이 연결되었다”고 대답했습니다. 작은 AI는 이렇게 그럴듯하게 지어내기도 하니, 중요한 내용은 꼭 확인하세요.
내 그래픽카드로 어디까지 될까
- 8기가 — 작은 AI와 대화, 받아쓰기
- 12기가 — 좀 더 똑똑한 대화
- 16기가 — 그림 만들기 시작
- 24기가 — 큰 AI, 고화질 그림과 영상
그림은 컴피유아이(블록을 이어 붙이듯 순서를 짜서 만드는 프로그램)로 해 봤습니다. 컴퓨터 앞에서 공부하는 할배 그림을 주문하니 1분 남짓 만에 한 장이 나왔습니다. 영상은 그림보다 메모리가 더 필요합니다.
공짜 AI, 쓰기 전에 확인할 3가지
- 라이선스 종류 — 아파치 2.0 같은 것은 비교적 자유롭게 쓸 수 있습니다.
- 돈 버는 데 써도 되는지 — 매출이 일정 금액을 넘으면 따로 허락을 받아야 하는 모델이 있습니다.
- 우리나라에서 써도 되는지 — 어떤 모델은 한국을 사용 지역에서 빼 놓기도 합니다.
※ 법률 자문이 아닙니다. 받기 전에 각 모델의 라이선스를 직접 읽어 보세요.
할배 생각 — 집밥과 배달, 섞어 쓰기
집밥만 먹을 수도, 배달만 먹을 수도 없습니다. 간단한 글과 요약은 내 컴퓨터 집밥으로, 어려운 일은 배달로. 섞어 쓰는 것이 제일 현명합니다.
오늘 배운 것
- 작업 관리자에서 내 그래픽카드 메모리(VRAM)를 확인한다.
- LM 스튜디오(바이오닉)를 공식 사이트에서 설치한다.
- 메모리 절반보다 작은 모델을 받으면 인터넷 없이도 대화된다.
- 작은 AI는 지어내기도 하니 중요한 건 확인한다.
- 공짜 AI도 라이선스·매출 기준·사용 나라를 먼저 본다.
좌충우돌 할배의 AI 입문기는 1958년생 할배가 AI를 직접 배우고 쓰면서, 어려운 말 없이 쉽게 풀어 드리는 채널입니다.
▶ 구독: 유튜브 좌충우돌 할배
🏠 제이슨킹덤 스튜디오 홈페이지: jasonkingdom.com
※ 영상의 내레이션·일부 화면은 AI 도구로 제작했습니다. 글: JASON KINGDOM STUDIO
댓글