Khuôn mặt tổng hợp 'xuống cấp' có thể tăng cường công nghệ nhận dạng khuôn mặt

Các nhà nghiên cứu tại Đại học Bang Michigan đã tìm ra một cách sáng tạo để sử dụng khuôn mặt tổng hợp cho một mục đích cao cả—nâng cao độ chính xác của các hệ thống nhận diện hình ảnh. Thay vì góp phần vào hiện tượng deepfake, những khuôn mặt tổng hợp này được thiết kế để mô phỏng các khuyết tật thường thấy trong các đoạn video giám sát thực tế.

Nhóm nghiên cứu đã phát triển một Mô-đun Tổng hợp Khuôn mặt Có thể Kiểm soát (CFSM) có khả năng tái tạo khuôn mặt theo phong cách phản ánh các khuyết tật điển hình của hệ thống CCTV, như mờ khuôn mặt, độ phân giải thấp và nhiễu cảm biến. Phương pháp này khác với việc sử dụng hình ảnh người nổi tiếng chất lượng cao từ các bộ dữ liệu phổ biến, vốn không thể hiện được những thách thức thực tế mà các hệ thống nhận diện khuôn mặt gặp phải.

*Kiến trúc khái niệm cho Mô-đun Tổng hợp Khuôn mặt Có thể Kiểm soát (CFSM).* Nguồn: http://cvlab.cse.msu.edu/pdfs/Liu_Kim_Jain_Liu_ECCV2022.pdf

Không giống như các hệ thống deepfake tập trung vào việc tái tạo tư thế đầu và biểu cảm, CFSM hướng tới việc tạo ra các góc nhìn thay thế phù hợp với phong cách của hệ thống nhận diện mục tiêu thông qua chuyển đổi phong cách. Mô-đun này đặc biệt hữu ích để thích nghi với các hệ thống cũ không có khả năng nâng cấp do hạn chế về chi phí nhưng vẫn cần đóng góp vào các công nghệ nhận diện khuôn mặt hiện đại.

Khi thử nghiệm CFSM, các nhà nghiên cứu nhận thấy sự cải thiện đáng kể trong các hệ thống nhận diện hình ảnh xử lý dữ liệu chất lượng thấp. Họ cũng phát hiện ra một lợi ích bất ngờ: khả năng phân loại và so sánh các bộ dữ liệu mục tiêu, giúp đơn giản hóa quá trình đánh giá chuẩn và tạo ra các bộ dữ liệu tùy chỉnh cho các hệ thống CCTV khác nhau.

*Huấn luyện các mô hình nhận diện khuôn mặt để thích nghi với các hạn chế của hệ thống mục tiêu.* Nguồn: http://cvlab.cse.msu.edu/pdfs/Liu_Kim_Jain_Liu_ECCV2022_supp.pdf

Phương pháp này cũng có thể áp dụng cho các bộ dữ liệu hiện có, thực hiện hiệu quả việc thích nghi miền để khiến chúng phù hợp hơn cho nhận diện khuôn mặt. Nghiên cứu, có tựa đề **Tổng hợp Khuôn mặt Có thể Kiểm soát và Hướng dẫn cho Nhận diện Khuôn mặt Không Hạn chế**, được hỗ trợ một phần bởi Văn phòng Giám đốc Tình báo Quốc gia Hoa Kỳ (ODNI, tại IARPA) và có sự tham gia của bốn nhà nghiên cứu từ khoa Khoa học Máy tính & Kỹ thuật của MSU.

Nhận diện Khuôn mặt Chất lượng Thấp: Một Lĩnh vực Đang Phát triển

Trong vài năm qua, nhận diện khuôn mặt chất lượng thấp (LQFR) đã trở thành một lĩnh vực nghiên cứu quan trọng. Nhiều hệ thống giám sát video cũ, được thiết kế để bền bỉ và sử dụng lâu dài, đã trở nên lỗi thời và gặp khó khăn trong việc cung cấp dữ liệu hiệu quả cho học máy do nợ kỹ thuật.

Mức độ phân giải khuôn mặt khác nhau trong một loạt các hệ thống giám sát video từ lịch sử đến hiện đại hơn. Nguồn: https://arxiv.org/pdf/1805.11519.pdf

May mắn thay, các mô hình khuếch tán và các mô hình dựa trên nhiễu khác rất phù hợp để giải quyết vấn đề này. Nhiều hệ thống tổng hợp hình ảnh mới nhất bao gồm việc nâng cấp hình ảnh độ phân giải thấp như một phần của quy trình, điều này cũng rất quan trọng đối với các kỹ thuật nén thần kinh.

Thách thức trong nhận diện khuôn mặt là tối đa hóa độ chính xác với số lượng đặc trưng ít nhất có thể được trích xuất từ hình ảnh độ phân giải thấp. Điều này không chỉ hữu ích cho việc nhận diện khuôn mặt ở độ phân giải thấp mà còn cần thiết do các hạn chế về kích thước hình ảnh trong không gian tiềm ẩn của các mô hình huấn luyện.

Trong thị giác máy tính, 'đặc trưng' đề cập đến các đặc điểm phân biệt từ bất kỳ hình ảnh nào, không chỉ khuôn mặt. Với sự tiến bộ trong các thuật toán nâng cấp, nhiều phương pháp đã được đề xuất để cải thiện cảnh quay giám sát độ phân giải thấp, có khả năng khiến nó trở nên hữu ích cho các mục đích pháp lý như điều tra hiện trường tội phạm.

Tuy nhiên, có nguy cơ nhận diện sai, và lý tưởng nhất, các hệ thống nhận diện khuôn mặt không nên yêu cầu hình ảnh độ phân giải cao để đưa ra nhận diện chính xác. Những chuyển đổi như vậy tốn kém và đặt ra các câu hỏi về tính hợp lệ và hợp pháp của chúng.

Nhu cầu về Những Người Nổi Tiếng 'Xuống Cấp' Hơn

Sẽ có lợi hơn nếu các hệ thống nhận diện khuôn mặt có thể trích xuất đặc trưng trực tiếp từ đầu ra của các hệ thống cũ mà không cần chuyển đổi hình ảnh. Điều này đòi hỏi sự hiểu biết tốt hơn về mối quan hệ giữa các danh tính độ phân giải cao và các hình ảnh bị suy giảm từ các hệ thống giám sát hiện tại.

Vấn đề nằm ở các tiêu chuẩn: các bộ dữ liệu như MS-Celeb-1M và WebFace260M được sử dụng rộng rãi vì chúng cung cấp các chuẩn mực nhất quán. Tuy nhiên, các tác giả lập luận rằng các thuật toán nhận diện khuôn mặt được huấn luyện trên các bộ dữ liệu này không phù hợp với các miền hình ảnh của các hệ thống giám sát cũ.

*Ví dụ từ bộ dữ liệu MS-Celeb1m phổ biến của Microsoft.* Nguồn: https://www.microsoft.com/en-us/research/project/ms-celeb-1m-challenge-recognizing-one-million-celebrities-real-world/

Bài báo nhấn mạnh rằng các mô hình nhận diện khuôn mặt tiên tiến gặp khó khăn với hình ảnh giám sát thực tế do các vấn đề dịch chuyển miền. Những mô hình này được huấn luyện trên các bộ dữ liệu bán hạn chế thiếu các biến thể tìm thấy trong các tình huống thực tế, như nhiễu cảm biến và mờ chuyển động.

Các phương pháp trước đây đã cố gắng khớp với đầu ra của các hệ thống giám sát lịch sử hoặc chi phí thấp, nhưng đây là những tăng cường 'mù'. Ngược lại, CFSM sử dụng phản hồi trực tiếp từ hệ thống mục tiêu trong quá trình huấn luyện và thích nghi thông qua chuyển đổi phong cách để mô phỏng miền đó.

*Nữ diễn viên Natalie Portman, không xa lạ với một số bộ dữ liệu thống trị cộng đồng thị giác máy tính, xuất hiện trong số các danh tính trong ví dụ này về CFSM thực hiện thích nghi miền theo phong cách dựa trên phản hồi từ miền của mô hình mục tiêu thực tế.*

Kiến trúc của các tác giả sử dụng Phương pháp Dấu Hiệu Gradient Nhanh (FGSM) để nhập phong cách và đặc điểm từ đầu ra của hệ thống mục tiêu. Khi quá trình huấn luyện tiến triển, phần tạo hình ảnh của đường ống trở nên trung thực hơn với hệ thống mục tiêu, cải thiện hiệu suất nhận diện khuôn mặt và khả năng tổng quát hóa.

Kiểm tra và Kết quả

Các nhà nghiên cứu đã thử nghiệm CFSM bằng cách sử dụng công trình trước đó của MSU làm mẫu, sử dụng MS-Celeb-1m và MS1M-V2 làm bộ dữ liệu huấn luyện. Dữ liệu mục tiêu là bộ dữ liệu WiderFace từ Đại học Trung Quốc Hồng Kông, được thiết kế để phát hiện khuôn mặt trong các tình huống thách thức.

Hệ thống được đánh giá dựa trên bốn chuẩn mực nhận diện khuôn mặt: IJB-B, IJB-C, IJB-S và TinyFace. CFSM được huấn luyện với khoảng 10% dữ liệu MS-Celeb-1m, khoảng 0,4 triệu hình ảnh, trong 125.000 lần lặp với kích thước lô 32, sử dụng bộ tối ưu hóa Adam với tốc độ học 1e-4.

Mô hình nhận diện khuôn mặt mục tiêu sử dụng ResNet-50 được sửa đổi với hàm mất mát ArcFace. Một mô hình bổ sung được huấn luyện với CFSM để so sánh, được gắn nhãn là 'ArcFace' trong kết quả.

*Kết quả từ các bài kiểm tra chính cho CFSM. Số càng cao càng tốt.*

Kết quả cho thấy mô hình ArcFace, được cải tiến bởi CFSM, vượt trội so với tất cả các chuẩn mực trong cả nhiệm vụ nhận diện và xác minh khuôn mặt, đạt được hiệu suất tiên tiến mới.

Khả năng trích xuất các miền từ các đặc điểm khác nhau của các hệ thống giám sát cũ cũng cho phép so sánh và đánh giá sự tương đồng phân phối giữa các hệ thống này, trình bày mỗi hệ thống theo một phong cách hình ảnh có thể được tận dụng trong các công trình tương lai.

*Ví dụ từ các bộ dữ liệu khác nhau thể hiện sự khác biệt rõ ràng về phong cách.*

Các tác giả cũng lưu ý rằng CFSM thể hiện cách thao túng đối kháng có thể được sử dụng để tăng độ chính xác nhận diện trong các nhiệm vụ thị giác. Họ đã giới thiệu một chỉ số tương đồng bộ dữ liệu dựa trên các cơ sở phong cách đã học, nắm bắt sự khác biệt về phong cách theo cách không phụ thuộc vào nhãn hoặc bộ dự đoán.

Nghiên cứu nhấn mạnh tiềm năng của các mô hình tổng hợp khuôn mặt có thể kiểm soát và hướng dẫn cho nhận diện khuôn mặt không hạn chế và cung cấp cái nhìn sâu sắc về sự khác biệt giữa các bộ dữ liệu.