글

라벨이 컴피유아이인 게시물 표시

로컬 AI 설치 방법 — 인터넷 없이 내 컴퓨터에서 쓰는 무료 AI, LM 스튜디오로 3단계 따라하기

이미지
챗GPT나 제미나이는 내 질문이 멀리 있는 큰 컴퓨터로 갔다가 답이 돌아오는, 말하자면 배달 음식 입니다. 그런데 AI 두뇌를 통째로 내 컴퓨터에 받아 놓고 집 안에서 해 먹는 집밥 AI 도 있습니다. 바로 로컬 AI 입니다. 할배가 직접 인터넷 선을 뽑고 시험해 봤더니, 정말 대답을 했습니다. 따라 하기 쉽게 세 단계로 정리합니다. ▲ 좌충우돌 할배의 AI 입문기 「공부합시다 Ep.28」 로컬 AI, 좋은 점과 솔직한 단점 좋은 점 — 한 번 깔면 구독료가 없고, 내 질문과 자료가 밖으로 나가지 않으며, 인터넷이 끊겨도 쓸 수 있습니다. 회사가 서비스를 닫거나 값을 올려도 내 컴퓨터 안의 AI는 그대로 남습니다. 단점 — 컴퓨터, 특히 그래픽카드가 좋아야 하고 전기를 많이 먹고 뜨거워집니다. 컴퓨터가 약하면 느립니다. AI 파일은 반드시 공식 사이트에서 받아야 합니다. 1단계. 내 컴퓨터 힘부터 보기 키보드에서 Ctrl + Shift + Esc 를 같이 누르면 작업 관리자가 뜹니다. 성능 → GPU 를 누르면 ‘전용 GPU 메모리’가 보입니다. 할배 컴퓨터는 16기가였습니다. 이 숫자가 AI가 들어갈 방 크기입니다. 2단계. LM 스튜디오(지금 이름 ‘바이오닉’) 설치 공식 사이트에서 받아 설치하면 바탕화면에 아이콘이 생기고, 몇 분이면 끝납니다. 할배는 여기서 한 번 막혔습니다. 켜자마자 그냥 꺼지는 것이었는데, 화면을 그리는 그래픽 기능이 그래픽카드 드라이버와 맞지 않아서였습니다. 그 기능만 끄고 다시 켜니 바로 됐습니다. 켜자마자 꺼져도 당황하지 마세요. 3단계. AI 두뇌(모델) 받고 질문하기 요령은 하나, 내 그래픽카드 메모리의 절반보다 작은 모델 을 고르는 것입니다. 할배는 큐웬 3.5 4B 모델(약 3.4기가)을 골랐습니다. 손주 돌잔치 축사 세 줄, 혈압약 알람 문구, 손주 생일 문자를 물어보니 몇 초 만에 답이 나왔습니다. 인터넷 선을 뽑고 “할배한테 AI 공부 응원 한마디 해 줘”라고 물어도 대답했습니다....