Công ty khởi nghiệp Prophesee của Pháp đang hợp tác với Qualcomm để cung cấp một loại cảm biến hình ảnh mới mà họ cho biết sẽ cho phép điện thoại thông minh chụp và đóng băng hành động nhanh tốt hơn bất kỳ loại cảm biến nào hiện có.
Thỏa thuận kéo dài nhiều năm sẽ cho phép Qualcomm nhúng công nghệ của Tiên tri vào chip của mình. Qualcomm không sản xuất cảm biến hình ảnh, vì vậy thay vì thay thế các cảm biến hiện có đến từ các thương hiệu khác, công nghệ này sẽ can thiệp khi một bức ảnh được chụp để xử lý các thay đổi về chuyển động và ánh sáng.
Các cảnh thể thao và hành động nhanh rất khó bị đóng băng chuyển động khi chụp bằng điện thoại mà không có một số cài đặt mờ trong khi chuyển động. Chụp trong điều kiện ánh sáng yếu cũng thường dẫn đến kết quả mờ. Công ty khởi nghiệp có trụ sở tại Paris cho biết họ muốn khắc phục điều đó bằng cách phá vỡ các thay đổi trong một cảnh xuống từng pixel.
Ý tưởng là giảm công suất, độ trễ và quá trình xử lý dữ liệu cần thiết để giúp các cảm biến dựa trên khung hình truyền thống xử lý các pixel vô hình. Các cảm biến và thuật toán Metavision của Tiên tri được cho là bắt chước cách hoạt động của mắt và não người để loại bỏ hiện tượng mờ do chuyển động và tạo ảnh giả.
Cảm biến Metavision nhúng một lõi logic cho phép nó hoạt động như một nơ-ron. Tiên tri gọi mỗi pixel kích hoạt trong điều này là một “sự kiện”. Khi các pixel tự kích hoạt, chúng sẽ cảm nhận số lượng photon một cách thông minh và không đồng bộ, được điều khiển bởi tính năng động của cảnh. Để tránh mờ, cảm biến dựa trên sự kiện đồng bộ hóa với tính năng chụp ảnh dựa trên khung hình của cảm biến hình ảnh và “lấp đầy khoảng trống giữa và bên trong khung hình bằng các sự kiện micro giây để trích xuất thông tin chuyển động thuần túy theo thuật toán và sửa chữa hiện tượng mờ do chuyển động”.
Quá trình này chỉ tập trung vào những thay đổi trong cảnh với tốc độ cực cao. Nó không làm bất cứ điều gì liên quan đến quá trình xử lý hoặc bố cục ở chỗ nó bỏ qua các pixel không hiển thị bất kỳ chuyển động nào để không can thiệp vào cách cảm biến hình ảnh của điện thoại chụp ảnh. Kết quả phải là một hình ảnh chất lượng cao đóng băng chuyển động, nhưng không làm mất đi tính toán phần mềm của thương hiệu điện thoại.
Không rõ Qualcomm dự định làm gì hoặc khi nào hãng sẽ triển khai công nghệ Metavision dựa trên sự kiện của Tiên tri, mặc dù nó có thể sẽ có trong các chipset Snapdragon trước đây thường thấy trong nhiều điện thoại Android.
Cũng không rõ liệu điều này có hoạt động với tất cả ảnh được chụp trong ứng dụng máy ảnh, bao gồm ảnh thủ công, độ phân giải cao và ảnh RAW hay không hoặc liệu nó có yêu cầu điện thoại kích hoạt nó thông qua một chế độ cụ thể hay không. Tiên tri cho biết họ sẽ phát hành một bộ công cụ phát triển tương thích với các công nghệ cảm biến của mình vào khoảng năm 2023.
