Как скачать нейросеть в формате .gguf? Библиотека Llama-cpp-python

Question

Использую вот этот код из документации Llama-cpp-python:

from llama_cpp import Llama

llm = Llama.from_pretrained(
    repo_id="Qwen/Qwen2-0.5B-Instruct-GGUF",
    filename="*q8_0.gguf",
    verbose=False,
    cache_dir="D:/NN/Models"
)

В документации написано, что должен скачаться файл формата .gguf, а на деле скачивается одноимённая папка и в ней папки blobs, refs и snapshots, в них же нет никакого .gguf

Подскажите, как мне дальше использовать нейросеть если всё правильно скачалось или как мне правильно скачать её в противном случае?

Если что Python 3.9.5, Windows 10, Pycharm

Answer 1

Я на linux делал так. Модели загружал через программу Alpaca она же ollama, по пути ~/.ollama/models/ и /usr/share/ollama/ .ollama/models затем

для конвертации в gguf

Клонируйте репозиторий:

git clone https://github.com/mattjamo/OllamaToGGUF.git cd OllamaToGGUF

Запустите скрипт:

python OllamaToGGUF.py

Процесс конвертации

Скрипт покажет список доступных моделей Ollama

Выберите номер модели для конвертации

Дождитесь завершения процесса

Готовый файл GGUF сохранится в папке Output

Структура каталогов

Манифесты моделей:

~/.ollama/models/manifests/registry.ollama.ai/

BLOB-файлы:

~/.ollama/models/blobs/

Выходные файлы:

Output/

Пример использования bash

python OllamaToGGUF.py

Доступные модели для конвертации:

model1 (квантование: q4_0, размер: 1.23 МБ)
model2 (квантование: q4_1, размер: 2.34 МБ)

БЛОГ НА HUSL

Как скачать нейросеть в формате .gguf? Библиотека Llama-cpp-python

Ответы (1 шт):