Xử lý trực tuyến được giải thích bởi Techspert

# ai # Pixel # Fitbit

Nếu bạn đã từng chọn một chiếc điện thoại pixel mới, có lẽ bạn đã nghe về "xử lý trên thiết bị" là phép thuật đằng sau các tính năng mới tuyệt vời của nó. Lấy điện thoại Pixel 9, ví dụ như các hoạt động của Pixel như Pixel Studio và Call Notes chạy "trên thiết bị". Và nó không chỉ là điện thoại; Máy ảnh Nest, đồng hồ thông minh Pixel và các thiết bị Fitbit đều có trong hành động "xử lý thiết bị" này. Với mức độ phổ biến của nó và các tính năng mà nó có sức mạnh, nó rõ ràng là một vấn đề lớn. Vì vậy, chính xác thì "xử lý thiết bị" chính xác là gì? Chà, nó khá giống những gì nó giống như việc xử lý xảy ra ngay trên thiết bị. Nhưng để lặn sâu hơn, chúng tôi đã trò chuyện với Trystan Upstill, một cựu chiến binh Google gần 20 năm làm việc trong các nhóm kỹ thuật trên khắp Android, Google News và tìm kiếm. Trystan, bạn là một phần của nhóm đã phát triển một số tính năng thú vị cho các thiết bị Pixel mới. Bạn đã làm việc gì? Gần đây, tôi đã lãnh đạo một nhóm bên trong Android tập trung vào việc pha trộn các ngăn xếp công nghệ khác nhau của Google vào trải nghiệm người dùng tuyệt vời. Đó là tất cả về việc tìm ra cách xây dựng và vận chuyển các tính năng này. Với công nghệ liên tục cải thiện và các tính năng mới được giới thiệu, nó phải cảm thấy như một công việc không bao giờ kết thúc. Tuyệt đối! Vài năm qua đã chứng kiến ​​một bước nhảy vọt lớn trong khả năng AI thế hệ. Lúc đầu, ý tưởng chạy các mô hình ngôn ngữ lớn trên các thiết bị có vẻ như là một giấc mơ xa xôi có thể là một thứ gì đó cho năm 2026. Nhưng công nghệ đã phát triển nhanh đến mức chúng tôi có thể khởi chạy các tính năng sử dụng Gemini Nano, mô hình trên thiết bị của chúng tôi, trên Pixel 8 Pro vào tháng 12 năm 2023. "Xử lý" thực sự có nghĩa là gì? Bộ xử lý chính hoặc hệ thống trên một chip (SOC), trong các thiết bị của bạn, có một số đơn vị xử lý được thiết kế dành riêng cho các tác vụ khác nhau. Đó là lý do tại sao bạn sẽ nghe về các chip như chip tenor trong pixel được gọi là "hệ thống trên một chip". Nó không chỉ là một bộ xử lý mà là một nhóm trong số chúng, cùng với bộ nhớ, giao diện, và nhiều hơn nữa, tất cả trên một mảnh silicon. Chúng ta hãy sử dụng điện thoại thông minh Pixel làm ví dụ: bạn đã có đơn vị xử lý trung tâm (CPU) làm "động cơ" chính; Đơn vị xử lý đồ họa (GPU) để hiển thị hình ảnh; Và bây giờ, đơn vị xử lý tenxơ (TPU), mà Google đã thiết kế cụ thể để xử lý khối lượng công việc AI/ML trên thiết bị. Tất cả đều làm việc cùng nhau để hoàn thành công việc AKA, xử lý. Chẳng hạn, khi bạn chụp ảnh, bạn đang sử dụng tất cả các quyền hạn xử lý này. CPU chạy các tác vụ lõi, GPU giúp hiển thị những gì ống kính nhìn thấy và trên một thiết bị Android cao cấp như pixel, TPU hoạt động để tăng cường ảnh của bạn. Hiểu rồi. Xử lý "On-Device" ngụ ý có quá trình xử lý thiết bị. Điều đó xảy ra ở đâu? Xử lý ngoài thiết bị xảy ra trong đám mây. Thiết bị của bạn gửi yêu cầu qua Internet đến máy chủ, thực hiện nhiệm vụ và gửi kết quả trở lại điện thoại của bạn. Để thực hiện điều này trên thiết bị, chúng tôi lấy mô hình học máy lớn từ đám mây, làm cho nó nhỏ hơn và hiệu quả hơn và chạy nó trên hệ điều hành và phần cứng của thiết bị. Phần cứng nào làm cho điều này có thể? Mới, chipset mạnh hơn. Ví dụ, Pixel 9 Pro sử dụng SOC của chúng tôi có tên là Tensor G4, cho phép các điện thoại này chạy các mô hình như Gemini Nano và xử lý các tính toán hiệu suất cao. Vì vậy, Tensor được thiết kế đặc biệt để chạy Google AI, cung cấp năng lượng cho rất nhiều khả năng Gen AI mới của Pixel. Chính xác! Và trong khi các tính năng AI tổng quát là một phần lớn của nó, việc xử lý thiết bị cũng có thể tạo ra những thứ có thể như hiển thị video, chơi trò chơi, chỉnh sửa ảnh HDR và ​​dịch ngôn ngữ, rất nhiều mọi thứ bạn làm với điện thoại của mình. Những nhiệm vụ này xảy ra trên điện thoại của bạn, không phải trên máy chủ. Talkback với Song Tử, phân tích hình ảnh và đọc các mô tả to cho người dùng mù hoặc có tầm nhìn thấp, là một ví dụ về xử lý thiết bị sử dụng hệ thống tenor, pixel trên chip. Sức mạnh tính toán của điện thoại thông minh ngày nay là không thể tin được. Chúng nhanh hơn hàng ngàn lần so với các máy tính hiệu suất cao sớm, được sử dụng để lấp đầy toàn bộ phòng. Những máy tính cũ đó là tiên tiến để phân tích dữ liệu, xử lý hình ảnh, phát hiện dị thường và nghiên cứu AI sớm. Bây giờ, chúng tôi có thể làm tất cả những điều này trên các thiết bị của chúng tôi, mở ra các cơ hội mới cho các tính năng hữu ích. Xử lý thiết bị có tốt hơn thiết bị không? Không nhất thiết. Nếu bạn sử dụng tìm kiếm hoàn toàn trên thiết bị, nó sẽ chậm hoặc hạn chế vì tìm kiếm trên web giống như tìm kim trong một đống cỏ khô. Toàn bộ chỉ mục web không thể phù hợp với điện thoại của bạn! Thay vào đó, Search sử dụng đám mây và các trung tâm dữ liệu của chúng tôi để truy cập hàng nghìn tỷ trang web. Nhưng đối với các nhiệm vụ cụ thể hơn, xử lý trên thiết bị thực sự hữu ích. Nó nhanh hơn vì không có độ trễ và nó hoạt động mà không có kết nối internet, làm cho nó đáng tin cậy hơn. Ngoài ra, vì chip AI nằm trong túi của bạn, các ứng dụng có thể sử dụng các khả năng LLM này miễn phí. Cả hai đều có lợi thế của họ: đám mây có các mô hình mạnh mẽ hơn và có thể lưu trữ nhiều dữ liệu, như ảnh và video của bạn. Nó cũng hỗ trợ các hành động như tìm kiếm cơ sở dữ liệu lớn, như Drive, Gmail và Google Photos. Tôi đã ấn tượng với những gì pixel của tôi có thể làm, nhưng có vẻ như nó sẽ chỉ trở nên tốt hơn. Có, các mô hình chúng tôi sử dụng cho các tác vụ phức tạp này trên các thiết bị Android đang có khả năng hơn. Nhưng nó không chỉ là về công nghệ tốt hơn; Chúng tôi cũng tập trung vào những gì thực sự sẽ có lợi cho mọi người. Chúng tôi không chỉ giới thiệu sản phẩm vì xử lý trên thiết bị có thể xử lý nó; Chúng tôi muốn chắc chắn rằng đó là thứ mà mọi người muốn sử dụng trong cuộc sống hàng ngày của họ.

Bài viết liên quan

Nhận xét (20)