Обработка на устройствах объяснена Techspert

# ai # Pixel # Fitbit

Если вы когда-либо брали новый пиксельный телефон, вы, вероятно, слышали о том, что «обработка на устройствах» является волшебностью, стоящей за новыми классными функциями. Возьмите, например, телефоны Pixel 9 - такие функции, как Pixel Studio и вызовы записных запуска «на устройстве». И это не просто телефоны; Камеры Nest, пиксельные умные часы и устройства Fitbit находятся в этом действии «обработка на устройствах». Учитывая, насколько это широко распространено и какие функции, которые он поддерживает, это явно имеет большое значение. Итак, что именно означает «обработка на устройстве»? Ну, это в значительной степени то, на что это похоже - обработка происходит прямо на устройстве. Но, погрузившись глубже, мы поговорили с Трайстаном Апстиллом, ветераном Google почти 20 лет, который работал в инженерных командах в Android, Google News и Search. Тристан, вы были частью команды, которая разработала некоторые захватывающие функции для новых устройств Pixel. На чем вы работали? Недавно я возглавил команду в Android, которая была сосредоточена на смешивании различных технических стеков Google в удивительный пользовательский опыт. Все дело в том, чтобы выяснить, как построить и отправить эти функции. С постоянным улучшением технологий и внедряются новые функции, она должна чувствовать себя как бесконечная работа. Абсолютно! За последние несколько лет наблюдался огромный скачок в генеративных возможностях ИИ. Сначала идея запуска больших языковых моделей на устройствах казалась далекой мечтой-может быть, что-то для 2026 года. Но технология развивалась так быстро, что мы смогли запустить функции, используя Gemini Nano, нашу модель на устройствах, на Pixel 8 Pro в декабре 2023 года. Давайте сломаем «Обработка в девице». Что на самом деле означает «обработка»? Основной процессор, или система на чипе (SOC) в ваших устройствах, имеет несколько обработчиков, разработанных специально для различных задач. Вот почему вы услышите о чипах, таких как тензорный чип в пикселях, называемых «системой на чипе». Это не просто один процессор, но и куча, наряду с памятью, интерфейсами и многое другое, все на одном куске кремния. Давайте использовать смартфоны пикселей в качестве примера: у вас есть центральный обработок (ЦП) в качестве основного «двигателя»; Графическая обработка (графический процессор) для визуальных эффектов; А теперь, блок обработки тензора (TPU), который Google разработал специально для обработки рабочих нагрузок AI/ML на устройстве. Все они работают вместе, чтобы добиться цели - ака, обработка. Например, когда вы снимаете фотографии, вы используете все эти силы обработки. ЦП выполняет основные задачи, графический процессор помогает отображать то, что видит объектив, а на Android -устройстве премиум -класса, как пиксель, TPU работает для улучшения ваших фотографий. Понятно. Обработка "On-Device" подразумевает, что существует обработка вне постройки. Где это происходит? Обработка вне положения происходит в облаке. Ваше устройство отправляет запрос через Интернет на серверы, которые выполняют задачу и отправляют результаты обратно на ваш телефон. Чтобы это произошло на устройстве, мы берем большую модель машинного обучения из облака, делаем ее меньше и эффективнее, и запускаем ее в операционной системе и аппаратном обеспечении вашего устройства. Какое оборудование делает это возможным? Новые, более мощные чипсеты. Например, Pixel 9 Pro использует наш SOC под названием Tensor G4, который позволяет этим телефонам запускать модели, такие как Gemini Nano, и обрабатывать высокопроизводительные вычисления. Таким образом, Tensor разработан специально для запуска Google AI, который поддерживает много возможностей Pixel New Gen AI. Точно! И хотя генеративные функции искусственного интеллекта являются важной его частью, обработка на грани также делает возможные вещи, такие как рендеринг видео, игра в игры, редактирование фотографий HDR и языковой перевод-что-то вполне все, что вы делаете со своим телефоном. Эти задачи случаются на вашем телефоне, а не на сервере. Talkback с Gemini, в котором анализируются изображения и читают описания вслух, для слепых или с низким видом пользователей, является примером обработки на устройстве, которая использует тензор, систему Pixel на чипе. Вычисление мощности современных смартфонов невероятна. Они в тысячи раз быстрее, чем ранние высокопроизводительные компьютеры, которые раньше заполняли целые комнаты. Эти старые компьютеры были передовым для анализа данных, обработки изображений, обнаружения аномалий и ранних исследований ИИ. Теперь мы можем сделать все это на наших устройствах, открывая новые возможности для полезных функций. Обработка на устройствах лучше, чем вне погрешности? Не обязательно. Если бы вы использовали поиск полностью на устройстве, он будет медленным или ограниченным, потому что поиск в Интернете похож на поиск иглы в стоге сена. Весь веб -индекс не может вписаться на ваш телефон! Вместо этого Search использует облако и наши центры обработки данных для доступа к триллионам веб -страниц. Но для более конкретных задач обработка на устройстве действительно полезна. Это быстрее, потому что задержки нет, и она работает без подключения к Интернету, что делает его более надежным. Кроме того, поскольку чип AI находится в вашем кармане, приложения могут использовать эти возможности LLM бесплатно. Оба имеют свои преимущества: облако имеет более мощные модели и может хранить много данных, таких как ваши фотографии и видео. Он также поддерживает такие действия, как поиск массовых баз данных, таких как Drive, Gmail и Google Photos. Я уже впечатлен тем, что может сделать мой пиксель, но похоже, что он только поправится. Да, модели, которые мы используем для этих сложных задач на устройствах Android, становятся все более способными. Но речь идет не только о лучших технологиях; Мы также сосредотачиваемся на том, что на самом деле принесет пользу людям. Мы не просто вводим продукты, потому что обработка на устройстве может справиться с этим; Мы хотим убедиться, что это то, что люди хотят использовать в своей повседневной жизни.

Связанная статья

Комментарии (28)