Где запускается модель

До этой главы всё происходило в браузере: открыли сервис, написали вопрос, приложили файл. Для задач из прошлых глав этого хватает.

Открыть чат можно и по-другому. От способа зависят 2 вещи: куда уходит ваш текст и до каких файлов сервис дотягивается.

Браузер и телефон

Вы открываете сайт или приложение на телефоне. Всё остальное происходит на чужих серверах.

Вопрос уходит по сети в компанию, которая делает сервис. Там он обрабатывается, и ответ возвращается к вам. Так работают ChatGPT, Claude, Gemini и Grok.

До файлов на вашем компьютере сервис не дотягивается. Что нужно показать, вы приносите сами: перетаскиваете файл в окно разговора.

Программа на компьютере

У тех же сервисов есть программа, которую устанавливают на компьютер. Окно чата в ней то же самое, а с файлами она работает иначе.

В программе можно создать проект и связать его с папками на компьютере. Программа создаёт файлы прямо в этих папках или работает с исходными данными, которые там уже лежат. Приносить файлы по одному не нужно.

Модель при этом остаётся в облаке. Файлы, которые программа прочитала, или их фрагменты уходят на серверы компании вместе с описанием задачи. Текст покидает ваш компьютер так же, как из браузера.

Модель на своём компьютере

Третий способ рассчитан на опытных пользователей. Он специфичный, и в книге описан, чтобы вы знали о такой возможности.

Саму модель ставят на ваш компьютер или на сервер компании. Такую называют локальной. Ни запрос, ни файл наружу не уходят.

Ставят её отдельной программой. Ollama и LM Studio скачивают выбранную модель на компьютер, и работает она настолько хорошо, насколько позволяет его мощность. Чем больше памяти и чем сильнее видеокарта, тем крупнее модель можно запустить и тем быстрее она отвечает.

На компьютере средней мощности, без отдельной видеокарты, модель отвечает значительно медленнее, чем облачный сервис. Для эксперимента этого достаточно, и попробовать стоит. Для постоянной работы такой вариант подходит плохо.

Платить приходится качеством: модель, которая помещается в ноутбук, слабее облачной и умеет меньше.

Компании запускают модели у себя, чтобы развивать их, дообучая на своих данных, и использовать во внутренних сервисах. Другая причина в данных, которые нельзя передавать за пределы компании.

Для этого нужна серьёзная техническая инфраструктура. Такие модели работают на мощных и дорогих серверах с профессиональными видеокартами.

Корпоративный доступ

Компании покупают корпоративный доступ к облачному сервису.

Данные при этом уходят наружу, но по договору. Он запрещает использовать их для обучения и определяет сроки хранения.

Решает это компания, а не сотрудник. Что разрешено в вашей, написано в её правилах.

Доступ к папке шире, чем доступ к файлу

Когда вы общаетесь с моделью через чат в браузере и прикрепляете один файл, модель получает только его. Когда вы прикрепляете папку, вы прикрепляете всё, что лежит в ней.