Где запускается модель
До этой главы всё происходило в браузере: открыли сервис, написали вопрос, приложили файл. Для задач из прошлых глав этого хватает.
Открыть чат можно и по-другому. От способа зависят 2 вещи: куда уходит ваш текст и до каких файлов сервис дотягивается.
Браузер и телефон
Вы открываете сайт или приложение на телефоне. Всё остальное происходит на чужих серверах.
Вопрос уходит по сети в компанию, которая делает сервис. Там он обрабатывается, и ответ возвращается к вам. Так работают ChatGPT, Claude, Gemini и Grok.
До файлов на вашем компьютере сервис не дотягивается. Что нужно показать, вы приносите сами: перетаскиваете файл в окно разговора.
Программа на компьютере
У тех же сервисов есть программа, которую устанавливают на компьютер. Окно чата в ней то же самое, а с файлами она работает иначе.
В программе можно создать проект и связать его с папками на компьютере. Программа создаёт файлы прямо в этих папках или работает с исходными данными, которые там уже лежат. Приносить файлы по одному не нужно.
Модель при этом остаётся в облаке. Файлы, которые программа прочитала, или их фрагменты уходят на серверы компании вместе с описанием задачи. Текст покидает ваш компьютер так же, как из браузера.
Модель на своём компьютере
Третий способ рассчитан на опытных пользователей. Он специфичный, и в книге описан, чтобы вы знали о такой возможности.
Саму модель ставят на ваш компьютер или на сервер компании. Такую называют локальной. Ни запрос, ни файл наружу не уходят.
Ставят её отдельной программой. Ollama и LM Studio скачивают выбранную модель на компьютер, и работает она настолько хорошо, насколько позволяет его мощность. Чем больше памяти и чем сильнее видеокарта, тем крупнее модель можно запустить и тем быстрее она отвечает.
На компьютере средней мощности, без отдельной видеокарты, модель отвечает значительно медленнее, чем облачный сервис. Для эксперимента этого достаточно, и попробовать стоит. Для постоянной работы такой вариант подходит плохо.
Платить приходится качеством: модель, которая помещается в ноутбук, слабее облачной и умеет меньше.
Компании запускают модели у себя, чтобы развивать их, дообучая на своих данных, и использовать во внутренних сервисах. Другая причина в данных, которые нельзя передавать за пределы компании.
Для этого нужна серьёзная техническая инфраструктура. Такие модели работают на мощных и дорогих серверах с профессиональными видеокартами.
Корпоративный доступ
Компании покупают корпоративный доступ к облачному сервису.
Данные при этом уходят наружу, но по договору. Он запрещает использовать их для обучения и определяет сроки хранения.
Решает это компания, а не сотрудник. Что разрешено в вашей, написано в её правилах.
Доступ к папке шире, чем доступ к файлу
Когда вы общаетесь с моделью через чат в браузере и прикрепляете один файл, модель получает только его. Когда вы прикрепляете папку, вы прикрепляете всё, что лежит в ней.