Cara Instal Ollama Menggunakan RX 6600 di Windows

Minggu, 25 Agustus 2024 2 menit baca

Hacking

• Apa itu Ollama
• AI Models
• Download
• Instalasi

Apa itu Ollama#

Ollama adalah program open-source untuk menjalankan models untuk mengenali dan menghasilkan teks, serta memproses bahasa. Ollama dapat menjadi alternatif dari Copilot yang dibandrol $10/bulan untuk penggunaan individu.

Secara official Ollama memberikan support untuk beberapa kartu grafis AMD pada tanggal 14 Maret 2024, termasuk Radeon RX 6000 series dimulai dari RX 6800. Ollama now supports AMD graphics cards

Untuk seri lain seperti RX 6750 XT, RX 6700 XT, RX 6700, RX 6650 XT, RX 6600 XT, RX 6600, dapat menggunakan hasil fork Ollama yang dikhususkan untuk support lebih pada AMD. Windows-supported GPUs

AI Model#

Per tanggal artikel ini dibuat, AI Model miliki google yaitu CodeGemma terbilang cukup baru, artikelnya merilis model 2b dan 7b pada tanggal 9 April di Hugging Face. CodeGemma - an official Google release for code LLMs

Untuk spesifikasi penggunaan, menjalankan model 7B dibutuhkan setidaknya 8GB RAM tersedia, 16GB untuk menjalankan model 13B, dan 32GB untuk model 33B. Olla GitHub

Download#

• AMD HIP SDK untuk Windows

  Per tanggal artikel ini dibuat: ollama-for-amd tidak mendukung HIP SDK 6.1.2. Dukungan akan ditambahkan jika ada kecepatan menguntungkan yang signifikan.

• ROCmLibs
• ollama-for-amd

  Pembaruan tidak dilakukan lewat program, melainkan lewat repositori secara manual.

• CodeGemma

  Download menggunakan CLI Ollama

• Continue untuk VSCode

Instalasi#

1. Instal HIP SDK

   Biarkan checkbox sesuai bawaan dan lanjutkan instalasi.

2. Patch rocBLAS dengan ROCmLibs

   • Buka folder C:\Program Files\AMD\ROCm\5.7\bin
   • Backup file rocblas.dll dan folder library yang ada di dalam folder rocblas
   • Ganti dengan rocblas.dll dan folder library milik ROCmLibs

3. Install ollama-for-amd

4. Pasang environtment path Ollama di Windows

   Edit variable Path, buat baru untuk path Ollama (Contoh: C:\Users\Budi\AppData\Local\Programs\Ollama)

5. Jalankan Ollama menggunakan CLI

   ollama serve
ollama run codegemma

6. Instal dan setup ekstensi Continue di VSCode

   • Buka sidebar Continue di vertical tab VSCode
   • Buka pengaturan, pastikan ada provider ollama dengan model yang sudah dijalankan

"models": [
  ...
  {
    "title": "CodeGemma",
    "provider": "ollama",
    "model": "codegemma"
  }
]

time=2024-08-26T06:59:04.379+07:00 level=INFO source=types.go:105 msg="inference compute" id=0 library=rocm compute=gfx1032 driver=5.7 name="AMD Radeon RX 6600"

Jika CLI Ollama menampilkan teks seperti di atas artinya RX 6600 sudah bisa menjalankan Ollama secara unofficial.