Руководство по открытию порта для доступа к Ollama в локальной сети

Ollama, как мощный инструмент для запуска больших языковых моделей с открытым исходным кодом, по умолчанию позволяет доступ только с локального компьютера. Однако в процессе работы нам может понадобиться, чтобы другие устройства в локальной сети также могли получить доступ к службе Ollama. В этой статье мы подробно расскажем, как открыть порт для доступа к Ollama на системах Windows, Linux и Mac.

Система Windows

Чтобы обеспечить доступ к службе Ollama в локальной сети на Windows, необходимо выполнить следующие два шага:

1. Настройка переменной окружения OLLAMA_HOST

   • Служба Ollama использует переменную окружения OLLAMA_HOST для указания адреса, на котором она будет слушать. По умолчанию он слушает только локальный хост, то есть доступен только с локального устройства.
   • Чтобы другие устройства в локальной сети могли получить доступ к службе Ollama, необходимо установить OLLAMA_HOST в 0.0.0.0. Это означает, что Ollama будет слушать все сетевые интерфейсы.
   • Шаги для установки переменной окружения:
     • Щелкните правой кнопкой мыши на “Этот компьютер” или “Компьютер” и выберите “Свойства”.
     • В левом меню выберите “Дополнительные параметры системы”.
     • На появившемся окне нажмите “Переменные окружения”.
     • В разделе “Системные переменные” нажмите “Создать”.
     • В поле “Имя переменной” введите OLLAMA_HOST.
     • В поле “Значение переменной” введите 0.0.0.0 и нажмите “ОК”.
     • После завершения настройки закройте и вновь откройте командную строку, чтобы новые переменные окружения вступили в силу.

2. Открытие порта в брандмауэре Windows

   • Чтобы другие устройства могли получить доступ к службе Ollama, необходимо открыть порт, на котором работает служба (например, 11434), в брандмауэре Windows.
   • Откройте “Панель управления”, найдите и выберите “Брандмауэр Windows Defender”.
   • В левом меню выберите “Дополнительные параметры”, чтобы открыть страницу расширенных настроек брандмауэра.
   • В левом меню выберите “Правила для входящих подключений”, а затем в правом меню нажмите “Создать правило”.
   • Выберите “Порт” в качестве типа правила, и нажмите “Далее”.
   • Выберите TCP и в разделе “Определенные локальные порты” введите 11434, затем нажмите “Далее”.
   • Выберите “Разрешить подключение” и нажмите “Далее”.
   • В зависимости от потребностей выберите тип сети для применения (доменная, частная или общедоступная) и затем нажмите “Далее”.
   • Дайте этому правиле название (например, “Разрешить порт Ollama 11434”) и нажмите “Готово”.

Система Linux

Чтобы обеспечить доступ к службе Ollama в локальной сети на Linux, необходимо выполнить следующие два шага:

1. Изменение конфигурационного файла

   • Для дистрибутивов Linux, управляемых через Systemd, можно отредактировать конфигурацию службы Ollama с помощью следующей команды:

     1	sudo systemctl edit ollama.service

   • После выполнения этой команды файл конфигурации откроется в редакторе nano. Найдите подходящее место в открывшемся файле и добавьте следующее содержимое:

     1 2	[Service] Environment="OLLAMA_HOST=0.0.0.0:11434"

   • Этот шаг позволяет службе Ollama связываться с портом 11434 на всех доступных сетевых интерфейсах (0.0.0.0), что обеспечивает доступ устройств в локальной сети.

2. Применение конфигурации и перезапуск службы

   • После изменения конфигурационного файла необходимо перезагрузить конфигурацию системного демона Systemd и перезапустить службу Ollama для применения изменений:

     1 2	sudo systemctl daemon-reload sudo systemctl restart ollama.service

3. Открытие порта в брандмауэре (если необходимо)

   • Если на системе включен брандмауэр, необходимо также открыть соответствующий TCP порт для внешней связи. Например, выполняя следующие команды с инструментом firewalld:

     1 2	sudo firewall-cmd --zone=public --add-port=11434/tcp --permanent sudo firewall-cmd --reload

Система Mac

Чтобы обеспечить доступ к службе Ollama в локальной сети на Mac, необходимо выполнить следующие шаги:

1. Настройка переменной окружения OLLAMA_HOST

   • Откройте приложение Terminal и выполните следующую команду для установки переменной окружения:

     1	export OLLAMA_HOST=0.0.0.0:11434

   • Обратите внимание, что такая установка переменной окружения временная и будет сбрасываться при каждой перезагрузке. Чтобы сделать изменения постоянными, добавьте указанную команду в файл ~/.zshrc:

     1	nano ~/.zshrc

     На конце файла добавьте следующее:

     1	export OLLAMA_HOST=0.0.0.0:11434

     Сохраните изменения и выйдите из редактора (в nano нажмите Ctrl+X, затем Y для подтверждения сохранения).

2. Тестирование доступа

   • В браузере Mac введите http://127.0.0.1:11434 для тестирования.
   • В браузере других устройств в локальной сети введите http://<IP-адрес Mac>:11434 для тестирования. Например, если IP-адрес вашего Mac — 192.168.1.100, введите http://192.168.1.100:11434 в браузере другого устройства.

Вывод

Следуя приведенным выше шагам, мы можем успешно открыть порты на системах Windows, Linux и Mac, обеспечивая доступ к службе Ollama в локальной сети. Таким образом, другие устройства в локальной сети смогут легко вызывать услуги Ollama, реализуя более широкие сценарии использования.