ИИ – это не только нейросети, но и другие виды автоматизации, которыми я пользуюсь очень давно (например, запись actions в Photoshop появилась ещё 30 лет назад, а Automator в macOS – 20 лет назад). Как выпускник факультета автоматизации и интеллектуализации процессов управления, я использую любую возможность автоматизировать работу. Но в этой статье я остановлюсь именно на нейросетях и локальных моделях.
Я пользуюсь ими ежедневно – в первую очередь, чтобы ускорить общение, генерировать изображения, озвучивать видео, проводить статистический анализ и создавать прототипы.
Общение
Я записываю Zoom-звонки с коллегами отдельными аудиодорожками для каждого участника. Распознавание речи в Zoom недостаточно хорошее, поэтому лучше доверить это сторонним инструментам. Записанные дорожки я загружаю в MacWhisper, используя локальную модель Parakeet v3 от Nvidia. На выходе получается набор текстовых файлов (по одному на участника) с таймкодами. Даже если участники перебивают друг друга, каждое слово полностью сохраняется. Дальше агент Claude собирает всё в один файл и подводит итоги встречи. Я публикую итог в общем чате и прикладываю полную расшифровку. Результат намного лучше, чем summary, которое генерирует сам Zoom. Это критично важно для совместной работы – как внутри команды, так и за её пределами.
Я также использую Spokenly со сверхбыстрыми локальными моделями для голосового ввода – в среднем это на 20% быстрее, чем печатать на клавиатуре, и точнее встроенных инструментов распознавания речи.
Озвучивание
Разрабатывая гайдлайны по озвучиванию видео для InvestEngine, я подобрал женский и мужской голос в ElevenLabs, уделив особое внимание британскому акценту и интонации, соответствующей позиционированию бренда. В части наших видео голос сгенерирован ИИ, в других голоса настоящие.
Записанные живые голоса обычно нуждаются в шумоподавлении. Шумоподавление нейросетями (такими как ElevenLabs) может дать посредственный результат (обрезаются целые слоги, голос становится мутным). Всегда стоит проверить, нет ли способа добиться результата лучше, чем даёт нейросеть. В данном случае это старое доброе спектральное шумоподавление вроде TC Electronic Spark XL или iZotope RX. Они тоже используют ИИ, но другого типа, нежели нейросети, поэтому дают более чистый звук.
Чтобы добиться профессионального качества, нужно вручную контролировать громкость с помощью огибающих (например, в Apple Logic), а также настроить плагин voice enhancer, чтобы контролировать тембр голоса. После этого подготовленный материал можно загрузить в ElevenLabs для мастеринга голоса нейросетью. Стоит отметить, что мы арендовали студию и профессиональное оборудование для видеосъёмки, поэтому качество звука должно соответствовать качеству картинки, недостаточно просто скормить аудиодорожку нейросети.
Генерация изображений
В InvestEngine я сократил использование дизайнерами Cinema 4D и рендера Arnold, заменив генерацией объектов на основе уже существующего набора 3D-изображений. Новый процесс оказался дешевле и быстрее, хотя иногда требовал ручной доработки сгенерированных изображений в Photoshop. Однако для качественного 3D нам всё равно приходится использовать Cinema 4D.
Что касается фотореалистичных изображений людей, мы давно хотели использовать их в маркетинговых материалах InvestEngine, и нейросети наконец сделали это возможным. Покажу процесс на паре примеров.
Вместо того чтобы бесконечно подбирать промпт и поглощать очередную чашку кофе, ожидая рендера (как обычно советуют в рекламе ИИ-сервисов), я загрузил изображение в Photoshop и использовал функцию умного выделения объекта, которая тоже работает на ИИ.
Когда у меня есть чистый фон, я могу разместить на нём людей и их головы в разных масштабах. Здесь видно, насколько я уменьшил размер голов по сравнению с исходным сгенерированным изображением. Я также немного скорректировал угол наклона голов. Осталось только восстановить фон.
Таков реальный процесс. ИИ – не волшебная палочка, он не может исполнить любое желание, и никакой промпт не способен в точности передать нейросети образ из вашей головы. Намётанный глаз и умение быстро работать руками по-прежнему остаются необходимыми качествами дизайнера.
Ещё более интересный пример – использование ИИ для обработки реальных фотографий. Я хотел использовать эту фотографию с коллегами для своего сайта. Но пропорции фото не подходили. Мне нужно более широкое изображение. Для этого нужно сгенерировать недостающий фон.
Попытки восстановить недостающий фон по множеству фотографий комнаты с помощью разных нейросетей оказались настолько ужасными (независимо от того, насколько хорошо вы владеете prompt engineering), что я даже не буду их здесь показывать (возможно, у меня слишком высокие требования к качеству?). К счастью, у меня была панорамная фотография комнаты, снятая на iPhone.
С помощью инструментов ИИ, встроенных в Photoshop и Pixelmator, я удалил людей на переднем плане (затем пришлось вручную доработать сгенерированный фон) и восстановил чёрные области сверху и снизу фотографии (это артефакты, вызванные дрожанием телефона при съёмке панорамы).
Я перепробовал несколько нейросетей, но неожиданно лучший результат для объединения двух фотографий дал ChatGPT. Единственный минус – ChatGPT генерирует фото недостаточно высокого разрешения.
Чтобы повысить разрешение, я использовал Topaz – на сегодняшний день лучшую нейросеть для этой задачи. Однако она добавляет контрастный контур вокруг объектов, что особенно заметно на людях на переднем плане.
Пришлось вручную кисточкой убрать все контуры вокруг людей. Это заняло около 20 минут. Затем я понял, что меня не устраивает качество волос. Так как у меня было качественное фото, я решил использовать его как референс для замены лиц, применяя разные локальные модели в системе Comfy.
К сожалению, качество получилось не очень хорошим, и я чуть не попал в ловушку «поиграться с параметрами» – процесс, который может продолжаться бесконечно. Очень важно вовремя остановиться и понять, что часть работы быстрее сделать вручную.
Я скопировал детали – лицо и руки – с исходного качественного фото, подогнал масштаб и угол, объединил их с изображением, сгенерированным ChatGPT, и отретушировал швы. Вы могли также заметить, что я вручную сдвинул плечо, которое мне не нравилось, и дорисовал фон за ним. Это заняло ещё полчаса. Теперь изображение не выглядит сгенерированным (по крайней мере, я выгляжу естественно). Кроме того, я выделил и затемнил все фигуры, кроме своей – это гораздо быстрее, чем писать промпт для изменения освещения и ждать результата генерации.
Подводя итог: попытка сделать всё исключительно средствами ИИ-генерации заняла целый день. В то же время наполовину ручной подход занял всего полтора часа. Если кто-то скажет, что может сгенерировать такое за час, правильный ответ: нет, не с таким уровнем качества и реалистичности.
Статистический анализ
В Amplitude появился ИИ-чатбот, которому можно задать любой вопрос по статистике. Но более интересный пример статистического анализа с помощью агента Claude Code я описал здесь.
Вообще говоря, крупные компании успешно внедряют ИИ в рабочие процессы, и обычный сотрудник в обычной компании не сможет конкурировать с гигантами ИИ-индустрии. Вы можете ожидать от дизайнера, что он напишет собственный ИИ-плагин для Figma, но разработчики Figma сделают это быстрее и лучше. Они заключили партнёрство с Anthropic, и затем Anthropic выпустил Claude Design на основе совместных наработок. Такие компании, как Adobe, тоже встраивают ИИ в свои продукты, и дизайнеры просто не смогут избежать их использования. ИИ-инструмент Spot Healing Brush появился в Photoshop более 20 лет назад, автоматическая трассировка растровых изображений и их конвертация в векторную графику – более 30 лет назад. Если вы всё ещё думаете, что дизайнеры недостаточно используют ИИ, реальность прямо противоположна: дизайнеры одними из первых начали использовать инструменты ИИ для ускорения и автоматизации своей работы. В дизайн-сообществе новости о по-настоящему полезных инструментах ИИ распространяются мгновенно. Не стоит об этом беспокоиться.
