Проблема с подключением к модели на hugging face spaces
Пишу маленький проект с использованием ИИ для обработки данных. Решил использовать модель с hugging face spaces (https://huggingface.co/spaces/llamameta/Qwen2.5-Coder-32B-Instruct-Chat-Assistant). Вот то, как на самой платформе предлагается использовать эту модель:
from gradio_client import Client
client = Client("llamameta/Qwen2.5-Coder-32B-Instruct-Chat-Assistant")
result = client.predict(
message="Hello!!",
system_message="You are Qwen, created by Alibaba Cloud. You are a helpful assistant.",
max_tokens=18000,
temperature=0.7,
top_p=0.8,
api_name="/chat"
)
print(result)
Подобным же образом написал код. Писал на каггле, код рабочий. Решил перенести на сервер. Запускаю на сервере - ошибка
Loaded as API: https://llamameta-qwen2-5-coder-32b-instruct-chat-assistant.hf.space ✔
Traceback (most recent call last):
File "app.py", line 16, in <module>
client = Client("llamameta/Qwen2.5-Coder-32B-Instruct-Chat-Assistant")
File "/usr/local/lib/python3.8/dist-packages/gradio_client/client.py", line 171, in __init__
self._info = self._get_api_info()
File "/usr/local/lib/python3.8/dist-packages/gradio_client/client.py", line 566, in _get_api_info
raise ValueError(f"Could not fetch api info for {self.src}: {r.text}")
ValueError: Could not fetch api info for https://llamameta-qwen2-5-coder-32b-instruct-chat-assistant.hf.space:
Ошибка ссылается на третью строку, где происходит (как я понимаю) коннект с платформой. На каггле код запускается без проблем, на сервере же не хочет. Дальнейший свой код прилагать смысла не вижу, т.к. до него дело не доходит в принципе. Может быть я не понимаю каких то азов? Буду благодарен за помощь