"Auto-detected mode as 'legacy'" при попытке установить связь с графической картой
Я пытаюсь запустить чатбота h2o-gpt на моём компьютере, но у меня возникли проблемы с графической картой NVIDIA. Я получаю сообщение об ошибке "Auto-detected mode as 'legacy'", что указывает на то, что среда выполнения контейнера NVIDIA не может взаимодействовать с видеокартой. Я предполагаю, что это, скорее всего, связано с тем, что драйверы NVIDIA установлены или настроены неправильно. Но все же я могу использовать nvidia-smi. Вот сообщение об ошибке:
(base) user@user-16GB-computer:~/dev/project/chatbot-rag/v2_h2ogpt/h2ogpt-docker$ sudo docker compose up
[sudo] password for user:
Attaching to h2ogpt
Error response from daemon: failed to create shim task: OCI runtime create failed: runc create failed: unable to start container process: error during container init: error running hook #0: error running hook: exit status 1, stdout: , stderr: Auto-detected mode as 'legacy'
nvidia-container-cli: initialization error: load library failed: libnvidia-ml.so.1: cannot open shared object file: no such file or directory: unknown
Похоже, что я не могу работать со службами nvidia:
(base) user@user-16GB-computer:~/dev/project/chatbot-rag/v2_h2ogpt/h2ogpt-docker$ sudo systemctl start nvidia-container-runtime
Failed to start nvidia-container-runtime.service: Unit nvidia-container-runtime.service not found.
Но driver, похоже, работает:
(base) user@user-16GB-computer:~/dev/project/chatbot-rag/v2_h2ogpt/h2ogpt-docker$ nvidia-smi
Mon Jan 15 18:29:04 2024
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.146.02 Driver Version: 535.146.02 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3080 ... Off | 00000000:01:00.0 Off | N/A |
| N/A 43C P0 N/A / 125W | 8MiB / 16384MiB | 0% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 2440 G /usr/lib/xorg/Xorg 4MiB |
+---------------------------------------------------------------------------------------+
Не знаю, связано ли это, но сейчас мой компьютер работает очень медленно. Я читал что-то о том, что GEForce приносит кучу модулей, работающих в фоновом режиме, которые не служат никакой цели и замедляют работу машины.