Ollama를 처음 설치했을 때는 “이제 내 Mac에서도 로컬 AI가 돌아가는구나” 싶어서 꽤 신기했습니다.
그런데요. 모델을 하나둘 받아보고, VS Code Continue에도 연결해 보고, 터미널 Agent에도 붙여보다 보니 바로 이런 문제가 생기더라고요.
“왜 어떤 모델은 빠른데, 어떤 모델은 한참 멈춘 것처럼 보일까?”
저도 이 부분이 궁금해서 Mac에서 여러 모델을 돌려보고, ollama ps도 확인하고, context 길이도 바꿔보면서 하나씩 살펴봤습니다.
특히 MacBook Pro M3 Pro 18GB 기준에서는 8B나 9B급 모델은 꽤 현실적으로 쓸 수 있었지만, 30B나 35B급 모델은 상황에 따라 Mac이 많이 버거워질 수 있겠더라고요.
오늘은 Mac에서 Ollama 느릴 때 확인할 7가지를 초보자 기준으로 정리해 보겠습니다. 단순히 “더 좋은 모델을 쓰세요”가 아니라, 지금 내 Mac에서 무엇을 확인해야 하는지 위주로 보겠습니다.
참고로 AI가 모든 걸 다 해주진 못하지만 그래도 이렇게 함께 시도해볼 수 있다는 면에서 상당히 고맙더라고요. 공부를 엄청 했어야 하는데… 도움을 이렇게 주니까요.
Ollama 설치와 첫 모델 선택이 아직이라면 아래 글을 먼저 보셔도 좋습니다.
→ Ollama 설치 후 첫 모델 고르는 법 | Mac 초보자를 위한 로컬 AI 입문
VS Code Continue에 Ollama를 연결하는 방법은 아래 글로 이어서 보시면 됩니다.
→ VS Code Continue에 Ollama 연결하는 법
이 글에는 다음과 같은 정보가 있어요
- Ollama가 느려지는 대표 원인
ollama ps에서 봐야 할 항목- 모델 크기와 Mac 메모리 관계
- context 길이를 너무 크게 잡았을 때의 문제
- 여러 모델이 동시에 올라갔는지 확인하는 방법
- Continue에서는 빠른데 Agent에서는 느릴 수 있는 이유
- 처음 점검할 터미널 명령어
그럼 하나씩 확인해 보겠습니다.
1. 모델이 내 Mac에 비해 너무 큰지 확인하기
Ollama가 느릴 때 가장 먼저 볼 것은 모델 크기입니다.
처음에는 당연히 큰 모델이 더 좋아 보입니다. 저도 그랬습니다. 이름만 보면 30B, 35B, 70B 같은 모델이 훨씬 똑똑할 것 같잖아요.
그런데 Mac에서 로컬로 돌릴 때는 이야기가 조금 달라집니다. 모델이 커질수록 필요한 메모리도 커지고, 속도도 느려질 수 있습니다. 특히 메모리가 넉넉하지 않은 Mac에서는 모델이 일부 CPU 쪽으로 내려가거나, Mac 전체가 버벅이는 느낌이 생길 수 있습니다.
정말 초보자의 길은 험난하다는 것을 다시금 깨달았죠.
제 기준에서는 18GB Mac에서 처음 테스트할 때 8B~9B급 모델이 가장 현실적이었습니다. 14B는 작업에 따라 가능하지만 더 무거웠고, 30B 이상은 초보자용 기본값으로 권하기는 어렵겠더라고요.
물론 사용하고 있는 머신의 성능이 뛰어나다면 상관이 없습니다. 여기서 가장 중요한 것은 CPU라기 보다는 메모리입니다. 메모리가 가격이 천장부지로 치솟는 이유를 이렇게 몸소 체험 중입니다.
| 모델 크기 | 초보자 체감 | 권장 판단 |
|---|---|---|
| 7B~9B | 비교적 가볍게 시작 가능 | 첫 테스트용으로 적당 |
| 14B | 품질은 기대되지만 더 무거움 | Mac 상태를 보며 테스트 |
| 30B 이상 | 느림·스왑·멈춤 가능성 증가 | 18GB Mac 초보자에게는 신중 |
여기서 중요한 건 “작은 모델은 별로다”가 아닙니다. 내 Mac에서 자주 쓸 수 있는 모델이 더 좋은 선택일 때가 많다는 뜻입니다.
2. ollama ps로 GPU에 올라갔는지 보기
Ollama가 느릴 때는 ollama ps를 꼭 확인해 보세요.
ollama ps
여기에서 특히 볼 항목은 PROCESSOR와 CONTEXT입니다.
| 표시 | 의미 | 생각해볼 점 |
|---|---|---|
| 100% GPU | 모델이 GPU 쪽에 올라간 상태 | 가장 기대할 만한 상태 |
| 100% CPU | CPU 메모리에서 처리 중 | 느릴 가능성이 큼 |
| CPU/GPU 혼합 | 일부가 CPU로 내려간 상태 | 모델이나 context가 무거울 수 있음 |
Ollama 공식 FAQ에서도 ollama ps의 PROCESSOR 열을 통해 모델이 GPU, CPU, 또는 CPU/GPU 혼합으로 올라갔는지 확인할 수 있다고 안내합니다.

3. context를 너무 크게 잡지 않았는지 확인하기
context는 모델이 한 번에 참고할 수 있는 문맥 길이라고 보면 됩니다.
긴 문서, 여러 파일, Agent 작업처럼 많은 정보를 한꺼번에 봐야 하는 작업에는 큰 context가 도움이 될 수 있습니다. Ollama 공식 문서에서도 웹 검색, Agent, 코딩 도구처럼 큰 문맥이 필요한 작업은 64,000 토큰 이상을 설정하라고 안내합니다.
다만 여기서 꼭 같이 봐야 할 문장이 있습니다. context를 크게 잡으면 모델 실행에 필요한 메모리도 늘어납니다. 그래서 짧은 질문이나 한 파일 코드 설명까지 항상 64K로 둘 필요는 없습니다.
하지만, Hermes Agent를 연동하려면 Context Length가 64K를 넘겨야 하더라고요. 이 부분은 참고하세요. 혹시 공식링크가 궁금하시다면 아래 남겨 놓았으니 확인하셔요~
| 작업 | 처음 권장 | 이유 |
|---|---|---|
| 짧은 질문 | 4K~8K | 가볍게 반응 확인 |
| 현재 파일 코드 설명 | 8K~16K | 대부분의 작은 작업에 충분 |
| 여러 파일 Agent 작업 | 32K~64K 검토 | 문맥은 넓지만 메모리 부담 증가 |
저도 처음에는 “큰 context가 무조건 좋은 것 아닌가?” 싶었는데요. 실제로는 작업 종류에 맞춰 조절하는 쪽이 더 안정적이었습니다.
context를 임시로 바꾸고 싶다면 아래처럼 실행할 수 있습니다.
OLLAMA_CONTEXT_LENGTH=8192 ollama serve
다만 이미 Ollama 앱이나 서버가 실행 중이면 포트 충돌이 날 수 있습니다. 그럴 때는 먼저 실행 중인 Ollama 상태를 확인해 주세요.
➲ Nous-Research Hermes Agent 공식 홈페이지 바로가기
4. 여러 모델이 동시에 올라가 있는지 확인하기
Ollama는 모델을 사용한 뒤 일정 시간 메모리에 유지할 수 있습니다. 그래서 한 모델만 쓰는 줄 알았는데, 실제로는 여러 모델이 메모리에 올라가 있을 수 있습니다.
이럴 때도 다시 ollama ps로 Ollama 메모리 사용되는지를 확인해보세요.
ollama ps
목록에 여러 모델이 보인다면, 지금 쓰지 않는 모델을 내려서 메모리를 확보할 수 있습니다.
ollama stop 모델이름
예를 들어 gemma4:hermes-64k가 올라가 있는데 지금은 쓰지 않는다면 이렇게 할 수 있습니다.
ollama stop gemma4:hermes-64k
API로 테스트할 때는 keep_alive 값을 조절해 모델을 얼마나 오래 유지할지도 정할 수 있습니다. 초보자라면 처음에는 기본값으로 두고, 모델이 여러 개 올라가 있는지부터 확인하는 편이 좋습니다.
5. 첫 응답 속도와 실제 생성 속도를 나눠 보기
Ollama가 느리다고 느낄 때, 사실은 두 가지가 섞여 있을 수 있습니다.
- 모델을 처음 불러오는 시간이 느린 경우
- 모델이 답을 생성하는 속도 자체가 느린 경우
처음 모델을 부를 때는 로딩 시간이 들어갈 수 있습니다. 이미 모델이 메모리에 올라간 뒤에는 같은 질문이 더 빠르게 느껴질 수 있고요.
간단히 API로 확인하고 싶다면 아래처럼 짧은 문장으로 테스트할 수 있습니다. 모델 이름은 본인 Mac의 ollama list에 맞게 바꿔 주세요.
curl http://localhost:11434/api/generate -d '{
"model": "qwen3.5:9b-mlx",
"prompt": "alpha beta gamma만 출력해 주세요.",
"stream": false,
"options": {
"num_ctx": 4096
}
}'
Ollama의 generate API는 기본적으로 streaming 응답을 사용할 수 있고, stream:false로 한 번에 결과를 받을 수도 있습니다. 속도 비교를 할 때는 같은 모델, 같은 prompt, 같은 context로 비교해야 합니다.
여기서 너무 복잡하게 벤치마크를 만들 필요는 없습니다. 초보자라면 “같은 질문을 같은 조건으로 두 번 돌렸을 때 첫 실행만 느린지”부터 보면 충분합니다.
6. Continue, Hermes, 터미널의 체감 속도를 구분하기
제가 재미있게 느낀 부분이 이거였습니다.
같은 계열의 모델을 써도 VS Code Continue에서는 꽤 빠르게 느껴졌는데, 터미널 기반 Agent에서는 훨씬 무겁게 느껴질 때가 있었습니다.
이건 모델 하나만의 문제가 아닐 수 있습니다. Continue는 현재 파일이나 선택한 코드 중심으로 비교적 짧게 대화할 수 있습니다. 반대로 Agent 도구는 긴 지시문, 파일 읽기, 수정 계획, 터미널 명령, 도구 호출을 함께 처리할 수 있습니다.
그러니 이렇게 나누어 생각하면 좋습니다.
| 환경 | 느려질 수 있는 이유 | 확인할 것 |
|---|---|---|
| 터미널 ollama run | 모델 크기, context, 로딩 시간 | ollama ps |
| VS Code Continue | 선택 모델, provider, 자동완성 설정 | 현재 모델 메뉴 |
| Agent 도구 | 긴 지시문, 도구 호출, 파일 접근 | 작업 범위와 로그 |
즉, “이 모델은 빠르다/느리다”라고 한 줄로 정리하기보다, 어떤 도구에서 어떤 작업을 시켰는지 같이 봐야 합니다.
7. Mac 메모리 압박과 다른 앱 상태 확인하기
마지막으로 Mac 자체 상태도 봐야 합니다.
Ollama 모델만 문제가 아니라, Chrome 탭이 많이 열려 있거나, VS Code, Docker, 이미지 편집 프로그램이 같이 떠 있으면 체감 속도가 크게 떨어질 수 있습니다.
Mac에서는 활성 상태 보기 앱에서 메모리 탭을 열어 메모리 압박을 볼 수 있습니다. Apple 공식 도움말에 따르면 메모리 압박은 사용 가능한 메모리, swap rate, wired memory, file cached memory 등을 바탕으로 판단됩니다.
- 메모리 압박이 계속 높게 표시되는지
- Swap 사용량이 많이 늘어나는지
- 무거운 앱이 동시에 실행 중인지
- 모델 실행 중 Mac 전체가 멈칫하는지

스왑이 일어나면 일단 느려진다고 보셔야 해요.
저는 이 부분을 보고 나서야 “아, 모델만의 문제가 아니라 Mac 전체 상태도 같이 봐야 하는구나” 싶었습니다.
아래는 윈도우에서도 돌려봤습니다.

처음 점검할 명령어만 모아보기
복잡하게 느껴진다면 아래 순서만 먼저 확인해 보세요.
# 1. 설치된 모델 확인
ollama list
# 2. 현재 올라간 모델 확인
ollama ps
# 3. Ollama 서버 응답 확인
curl http://localhost:11434
# 4. 11434 포트 사용 중인 프로세스 확인
lsof -nP -iTCP:11434 -sTCP:LISTEN
# 5. 사용하지 않는 모델 내리기
ollama stop 모델이름
이 정도만 확인해도 “모델이 너무 큰지”, “GPU에 올라갔는지”, “여러 모델이 같이 떠 있는지”, “Ollama 서버가 정상인지”를 어느 정도 분리해서 볼 수 있습니다.
제가 정리한 추천 순서
제가 다시 처음부터 Mac에서 Ollama를 쓴다면 이렇게 하겠습니다.
- 처음에는 7B~9B급 모델로 시작합니다.
ollama ps로 GPU와 context를 확인합니다.- 짧은 질문은 4K~8K context부터 테스트합니다.
- VS Code Continue에서는 현재 provider와 모델을 확인합니다.
- Agent 작업은 테스트 폴더에서 먼저 진행합니다.
- Mac 활성 상태 보기에서 메모리 압박을 같이 봅니다.
- 실사용에 불편하면 더 큰 모델보다 더 안정적인 모델을 고릅니다.
솔직히 큰 모델을 쓰면 뭔가 더 대단한 일을 할 수 있을 것 같긴 합니다. 그런데 실제로 자주 쓰려면 “잘 버티는 모델”이 더 중요하더라고요.
로컬 AI는 가장 큰 모델을 한 번 실행하는 것보다, 내 Mac에서 반복해서 안정적으로 쓸 수 있는 흐름을 만드는 게 더 중요했습니다.
마무리
오늘은 Mac에서 Ollama가 느릴 때 확인할 7가지를 정리해 보았습니다.
처음에는 모델 이름만 보고 고르면 될 줄 알았는데요. 막상 사용해 보니 모델 크기, context, GPU 사용 여부, Mac 메모리 상태, 연결 도구까지 같이 봐야 하더라고요.
그래도 너무 어렵게 생각하실 필요는 없습니다. 먼저 ollama list와 ollama ps부터 보시면 됩니다. 그다음 모델 크기와 context를 조금씩 조절해 보시면 감이 오실 거예요.
혹시 저처럼 “왜 이 모델은 여기서는 빠른데 저기서는 느리지?” 하고 궁금하셨다면, 오늘 내용이 조금이나마 도움이 되셨으면 좋겠습니다.
참고한 공식 자료
- Ollama FAQ
- Ollama Context length 문서
- Ollama Generate API 문서
- Ollama Streaming 문서
- Apple 활성 상태 보기 메모리 사용량 안내
함께 보면 좋은 글
아래 글은 이어서 정리할 예정입니다. 발행 후 내부링크로 연결해 두겠습니다.
- Ollama 설치 후 첫 모델 고르는 법 | Mac 초보자를 위한 로컬 AI 입문
- VS Code Continue에 Ollama 연결하는 법 | Mac 로컬 AI 코딩 도우미 만들기
- Ollama 로컬 모델 비교 | Mac M3 Pro 18GB 실사용 테스트
- Ollama streaming API 테스트 방법 | 초보자용 curl 예시 (작성 예정)
자주 묻는 질문
Mac에서 Ollama가 느린 가장 흔한 이유는 무엇인가요?
모델 크기와 context 길이가 현재 Mac 메모리에 비해 큰 경우가 많습니다. 특히 18GB Mac에서 30B, 35B급 모델을 긴 context로 돌리면 속도 저하나 멈춤이 생길 수 있습니다.
ollama ps에서 PROCESSOR는 무엇을 봐야 하나요?
PROCESSOR가 100% GPU이면 모델이 GPU 쪽에 올라간 상태이고, 100% CPU이면 CPU 메모리에서만 처리되는 상태입니다. CPU/GPU가 섞여 보이면 일부가 CPU로 내려간 것이므로 속도가 느려질 수 있습니다.
context는 무조건 64K로 올리면 좋은가요?
그렇지 않습니다. 긴 문서나 Agent 작업에는 큰 context가 도움이 될 수 있지만, 짧은 질문이나 한 파일 코드 설명까지 항상 64K가 필요한 것은 아닙니다. context를 크게 잡으면 메모리 사용량도 늘어납니다.
Ollama 첫 응답만 느린 것은 정상인가요?
처음 모델을 불러오는 시간 때문에 첫 응답이 느릴 수 있습니다. 이미 메모리에 올라간 뒤에는 더 빠르게 느껴질 수 있으니 첫 실행 시간과 이후 응답 속도를 나누어 보는 것이 좋습니다.
Continue에서는 빠른데 터미널 Agent에서는 느릴 수 있나요?
가능합니다. 같은 Ollama 모델을 써도 Continue는 현재 파일 중심으로 짧게 처리하고, 다른 Agent는 긴 지시문과 도구 호출을 함께 처리할 수 있습니다. 그래서 체감 속도가 달라질 수 있습니다.
Ollama가 너무 느리면 모델을 바로 삭제해야 하나요?
바로 삭제하기보다 먼저 ollama ps, Activity Monitor, context 설정, 실행 중인 모델 수를 확인해 보세요. 그래도 계속 버겁다면 더 작은 모델을 쓰는 편이 실사용에는 더 좋을 수 있습니다.
댓글 남기기