Traitement sur dispositif expliqué par Techspert

# ai # Pixel # Fitbit

Si vous avez déjà décroché un nouveau téléphone de pixel, vous avez probablement entendu parler de "Traitement sur les appareils" étant la magie derrière ses nouvelles fonctionnalités cool. Prenez les téléphones Pixel 9, par exemple - des folies comme Pixel Studio et des notes d'appel s'exécutent "sur l'appareil". Et ce ne sont pas seulement les téléphones; Les caméras Nest, les montres intelligentes de pixels et les appareils Fitbit sont entièrement dans cette action "Traitement à disque". Étant donné à quel point il est répandu et les fonctionnalités qu'il alimente, c'est clairement un gros problème. Alors, que signifie exactement le «traitement sur disque»? Eh bien, c'est à peu près ce à quoi cela ressemble - le traitement se produit directement sur l'appareil. Mais pour plonger plus profondément, nous avons discuté avec Trystan Upstrill, un vétéran de Google de près de 20 ans qui a travaillé sur des équipes d'ingénierie à travers Android, Google News et Search. Trystan, vous faisiez partie de l'équipe qui a développé certaines des fonctionnalités passionnantes des nouveaux appareils Pixels. Sur quoi avez-vous travaillé? Récemment, j'ai dirigé une équipe dans Android qui s'est concentrée sur le mélange des différentes piles technologiques de Google dans une expérience utilisateur incroyable. Il s'agit de comprendre comment construire et expédier ces fonctionnalités. Avec la technologie améliorant constamment et les nouvelles fonctionnalités introduites, elle doit ressembler à un travail sans fin. Absolument! Les dernières années ont vu un énorme saut dans les capacités génératrices de l'IA. Au début, l'idée de gérer de grands modèles de langage sur les appareils semblait être un rêve lointain - peut-être quelque chose pour 2026. Mais la technologie a évolué si rapidement que nous avons pu lancer des fonctionnalités à l'aide de Gemini Nano, notre modèle sur les appareils, sur le Pixel 8 Pro en décembre 2023. Décomposer "Traitement des périphériques". Que signifie réellement le «traitement»? Le processeur principal, ou système sur puce (SOC), dans vos appareils, a plusieurs unités de traitement conçues spécifiquement pour différentes tâches. C'est pourquoi vous entendrez parler de puces comme la puce du tenseur dans des pixels appelée «système sur puce». Ce n'est pas seulement un processeur, mais un tas d'entre eux, avec la mémoire, les interfaces, et plus encore, le tout sur un seul morceau de silicium. Utilisons les smartphones Pixel comme exemple: vous avez l'unité de traitement centrale (CPU) comme «moteur» principal; l'unité de traitement graphique (GPU) pour le rendu des visuels; Et maintenant, l'unité de traitement du tenseur (TPU), que Google a conçu spécifiquement pour gérer les charges de travail AI / ML sur l'appareil. Ils travaillent tous ensemble pour faire avancer les choses - l'aka, le traitement. Par exemple, lorsque vous prenez des photos, vous utilisez toutes ces pouvoirs de traitement. Le CPU exécute les tâches de base, le GPU aide à rendre ce que l'objectif voit, et sur un appareil Android premium comme un pixel, le TPU fonctionne pour améliorer vos photos. J'ai compris. Le traitement "à disque" implique qu'il y a un traitement hors-appareil. Où cela se produit-il? Le traitement hors périodes se produit dans le cloud. Votre appareil envoie une demande sur Internet aux serveurs, qui effectuent la tâche et renvoient les résultats à votre téléphone. Pour que cela se produise sur disque, nous prenons le grand modèle d'apprentissage automatique du cloud, le rendons plus petit et plus efficace, et l'exécutons sur le système d'exploitation et le matériel de votre appareil. Quel matériel rend cela possible? Nouveaux chipsets plus puissants. Par exemple, le Pixel 9 Pro utilise notre SOC appelé Tensor G4, qui permet à ces téléphones d'exécuter des modèles comme Gemini Nano et de gérer des calculs haute performance. Ainsi, Tensor est conçu spécifiquement pour exécuter Google AI, qui alimente beaucoup de nouvelles capacités de Gen AI de Pixel. Exactement! Et bien que les fonctionnalités génératrices de l'IA en soient une grande partie, le traitement sur les appareils rend également possible des choses comme le rendu des vidéos, la lecture de jeux, la modification photo HDR et la traduction du langage - ce que vous faites avec votre téléphone. Ces tâches se produisent sur votre téléphone, pas sur un serveur. Talkback avec Gemini, qui analyse les images et lit des descriptions à haute voix aux utilisateurs aveugles ou à faible vision, est un exemple de traitement sur les appareils qui utilise le système de tenseur, Pixel sur une puce. La puissance de calcul des smartphones d'aujourd'hui est incroyable. Ce sont des milliers de fois plus rapides que les premiers ordinateurs à haute performance, qui remplissaient des pièces entières. Ces anciens ordinateurs étaient à la pointe de l'analyse des données, du traitement de l'image, de la détection des anomalies et de la recherche précoce d'IA. Maintenant, nous pouvons faire tout cela sur nos appareils, ouvrant de nouvelles opportunités pour des fonctionnalités utiles. Le traitement sur dispositif est-il meilleur que hors de l'appareil? Pas nécessairement. Si vous avez utilisé la recherche entièrement sur disque, ce serait lent ou limité car la recherche sur le Web, c'est comme trouver une aiguille dans une botte de foin. L'index Web entier ne peut pas tenir sur votre téléphone! Au lieu de cela, Search utilise le cloud et nos centres de données pour accéder à des milliards de pages Web. Mais pour des tâches plus spécifiques, le traitement sur disque est vraiment utile. C'est plus rapide car il n'y a pas de latence, et cela fonctionne sans connexion Internet, ce qui le rend plus fiable. De plus, comme la puce AI est dans votre poche, les applications peuvent utiliser ces capacités LLM gratuitement. Les deux ont leurs avantages: le cloud a des modèles plus puissants et peut stocker beaucoup de données, comme vos photos et vidéos. Il prend également en charge des actions comme la recherche de bases de données massives, comme Drive, Gmail et Google Photos. Je suis déjà impressionné par ce que mon pixel peut faire, mais il semble que ça ne fera que s'améliorer. Oui, les modèles que nous utilisons pour ces tâches complexes sur les appareils Android deviennent plus capables. Mais ce n'est pas seulement une meilleure technologie; Nous nous concentrons également sur ce qui profitera réellement aux gens. Nous ne présentons pas seulement des produits car le traitement sur les appareils peut le gérer; Nous voulons nous assurer que c'est quelque chose que les gens veulent utiliser dans leur vie quotidienne.

Article connexe

commentaires (20)