Whisper AI

Whisper là một hệ thống nhận diện giọng nói tự động (ASR) với kiến trúc đơn giản và hiệu quả. Nó được huấn luyện trên một tập dữ liệu đa dạng và lớn, bao gồm 680.000 giờ âm thanh được thu thập từ trên web với đa ngôn ngữ và đa nhiệm.

Một điểm nổi bật của Whisper là việc sử dụng tập dữ liệu lớn và đa dạng này đã giúp nâng cao tính ổn định đối với các yếu tố như giọng địa phương, tiếng ồn nền và ngôn ngữ chuyên ngành. Whisper cung cấp khả năng truyền tải tin nhắn và dữ liệu giọng nói trong nhiều ngôn ngữ khác nhau, và có thể dịch từ những ngôn ngữ đó sang tiếng Anh.

Với kiến trúc mã hóa-giải mã Transformer, Whisper chia âm thanh đầu vào thành các đoạn có độ dài 30 giây và chuyển đổi chúng thành biểu đồ tần số log-Mel trước khi đưa vào bộ mã hóa. Bộ giải mã được huấn luyện để dự đoán chú thích văn bản tương ứng, cùng với việc sử dụng các mã đặc biệt để thực hiện nhiều nhiệm vụ như xác định ngôn ngữ, đồng bộ thời gian ở mức câu và dịch giọng nói sang tiếng Anh.

Một trong những ưu điểm của Whisper là tính ổn định cao và gây ít lỗi hơn so với các mô hình khác khi đánh giá hiệu suất zero-shot trên nhiều tập dữ liệu đa dạng. Đặc biệt, Whisper có khả năng học dịch từ giọng nói sang văn bản vượt trội và đạt kết quả tốt hơn so với các mô hình giám sát trên nhiệm vụ dịch từ CoVoST2 sang tiếng Anh zero-shot. Với việc công bố mã mô hình và mã suy luận, Whisper cung cấp một nền tảng cho việc xây dựng các ứng dụng hữu ích và tiếp tục nghiên cứu về xử lý giọng nói mạnh mẽ. Whisper đóng góp vào việc phát triển công nghệ nhận diện giọng nói và mở ra nhiều cơ hội ứng dụng trong lĩnh vực giao tiếp giọng nói đa ngôn ngữ và đa nhiệm.