dinlo
56 lines
3.6 KiB
Markdown
56 lines
3.6 KiB
Markdown
# Ollama Manager
|
||
|
||
Графический менеджер (Python + Tkinter) для управления удалённым сервером Ollama
|
||
по адресу `192.168.1.118`.
|
||
|
||
## Установка
|
||
|
||
```bash
|
||
pip install -r requirements.txt
|
||
python ollama_manager.py
|
||
```
|
||
|
||
`tkinter` входит в стандартную поставку Python. На Linux при необходимости:
|
||
`sudo apt install python3-tk`.
|
||
|
||
`paramiko` нужен только для вкладки **Сервер (SSH)** и кнопки **«Определить по SSH»**.
|
||
Без него управление моделями по HTTP работает в полном объёме.
|
||
|
||
## Возможности
|
||
|
||
### Вкладка «Модели» (по HTTP, порт 11434)
|
||
- Список установленных моделей: размер, число параметров, квантизация, дата.
|
||
- **Установить (pull)** — загрузка модели с индикатором прогресса.
|
||
- **Удалить**, **Копировать**, **Детали** (`/api/show`).
|
||
- **Создать из Modelfile** (`/api/create`, на основе базовой модели + system-prompt).
|
||
- **Push** — отправка модели в реестр (имя вида `namespace/model:tag`).
|
||
|
||
### Вкладка «Запущенные»
|
||
- Список загруженных в память моделей (`/api/ps`): объём в RAM и VRAM.
|
||
- **Выгрузить из памяти** (`keep_alive=0`).
|
||
|
||
### Вкладка «Сервер (SSH)»
|
||
- SSH-подключение к машине с Ollama (пароль или ключ).
|
||
- **Запустить / Остановить / Перезапустить / Статус** сервиса `ollama`.
|
||
Используется `systemctl` (через `sudo -n`), с резервом на `ollama serve` / `pkill`.
|
||
|
||
> Управление процессом сервера невозможно через HTTP API Ollama — он не умеет
|
||
> сам себя запускать/останавливать. Поэтому эти операции выполняются по SSH.
|
||
> Для `systemctl` без пароля настройте `sudo NOPASSWD` для пользователя.
|
||
|
||
### Вкладка «Рекомендации» — «Найти модель»
|
||
- Поля **ОЗУ** и **VRAM** заполняются вручную или кнопкой **«Определить по SSH»**
|
||
(читает `/proc/meminfo` и `nvidia-smi`, для Apple Silicon — единую память).
|
||
- Чекбокс **«Показывать только модели, подходящие для железа»**:
|
||
- включён → в списке остаются только модели, которые поместятся в ОЗУ;
|
||
- выключен → показывается весь каталог.
|
||
- Цветовая маркировка: 🟢 поместится в VRAM (быстро на GPU), 🟠 пойдёт на CPU/частично,
|
||
⚪ памяти не хватит.
|
||
- **Установить выбранную** — сразу запускает `pull` выбранной модели.
|
||
|
||
## Примечание о размерах моделей
|
||
|
||
Каталог рекомендаций (`MODEL_CATALOG` в `ollama_manager.py`) содержит ориентировочные
|
||
размеры и требования к памяти для популярных моделей (квантизация Q4). Это оценка,
|
||
а не точная гарантия — список легко расширить, отредактировав словарь в коде.
|