Ngôn ngữ ký hiệu không dễ học và thậm chí còn khó để dạy. Ngôn ngữ này không chỉ sử dụng cử chỉ tay mà còn cả miệng, nét mặt và tư thế cơ thể để truyền đạt ý nghĩa. Sự phức tạp này làm cho các chương trình giảng dạy chuyên nghiệp trở nên hiếm và thường đắt tiền. Nhưng điều này hoàn toàn có thể được thay đổi với trợ giúp từ trí tuệ nhân tạo (AI).
Các nhà khoa học hiện đang xây dựng một phần mềm dạy ngôn ngữ ký hiệu một cách tự động, trực quan. Hiện tại, công cụ này có thể phân tích cách học sinh thực hiện một dấu hiệu trong ngôn ngữ ký hiệu Thụy Sĩ-Đức và cung cấp phản hồi chi tiết về cách cải thiện hình dạng bàn tay, chuyển động, vị trí và thời gian của động tác.
Nhưng các nhà nghiên cứu hy vọng có thể sử dụng công nghệ AI đằng sau công cụ này để tạo ra phần mềm có thể dạy các ngôn ngữ ký hiệu khác nhau từ khắp nơi trên thế giới và tính đến các tính năng phức tạp hơn của các ngôn ngữ, như ngữ pháp câu và các yếu tố giao tiếp không bằng tay.
AI trước đây đã được sử dụng để nhận dạng, dịch thuật hoặc giải thích ngôn ngữ ký hiệu. Nhưng các nhà khoa học tin rằng đây là dự án đầu tiên cố gắng đánh giá các dấu hiệu mà một người đưa ra. Quan trọng hơn, họ muốn tận dụng công nghệ AI để cung cấp phản hồi cho người dùng về những điểm họ đã làm sai khi tập sử dụng ngôn ngữ ký hiệu.
Thực hành và đánh giá ngôn ngữ ký hiệu rất khó vì bạn không thể đọc hoặc viết ngôn ngữ này. Thay vào đó, các nhà nghiên cứu đã tạo ra một trò chơi máy tính. Để thực hành một dấu hiệu, trò chơi hiển thị cho bạn một video mẫu về thực hiện dấu hiệu đó hoặc cung cấp cho bạn từ gần nhất với dấu hiệu trong ngôn ngữ nói.
Sau đó, chương trình ghi lại việc thực hành của bạn bằng máy quay và cho bạn biết các điểm cần cải thiện. Các nhà nghiên cứu đã phát hiện ra rằng biến việc học ngôn ngữ trở thành một trò chơi có thể khuyến khích mọi người cạnh tranh để có được điểm số cao nhất.
Trí tuệ nhân tạo được sử dụng ở tất cả các giai đoạn đánh giá hiệu suất thực hành ngôn ngữ. Đầu tiên, một mạng nơ-ron tích chập (CNN) trích xuất thông tin từ video về tư thế phần thân trên của người thực hành.
CNN là một loại AI thiết kế dựa trên quá trình xử lý được thực hiện bởi vỏ não thị giác. Thông tin về hình dáng bộ xương của người học và video gốc sau đó được gửi đến bộ phân tích hình dạng bàn tay, trong đó một CNN khác nhìn vào video và lấy ra thông tin hình dạng bàn tay tại các thời điểm trong video.
Thông tin về bộ xương và hình dạng bàn tay sau đó được gửi đến máy phân tích chuyển động tay, sử dụng mô hình Hidden Markov. Loại AI này cho phép chúng ta mô hình hóa thông tin về bộ xương và hình dạng bàn tay theo thời gian.
Sau đó, nó so sánh những gì nó đã thấy với một mô hình tham chiếu, đại diện cho phiên bản hoàn hảo của dấu hiệu và đưa ra số điểm đánh giá về mức độ trùng khớp giữa dấu hiệu của người học và dấu hiệu mẫu.
Kết quả của cả máy phân tích hình dạng bàn tay và máy phân tích chuyển động tay sau đó sẽ được ghi lại và cho bạn xem dưới dạng phản hồi. Tất cả AI được ẩn đằng sau một giao diện dễ sử dụng, cho phép bạn tập trung vào việc học.
Hy vọng của các nhà nghiên cứu là phản hồi tự động và cá nhân hóa sẽ khiến người học gắn kết hơn với quá trình học ngôn ngữ ký hiệu.
Cho đến nay, phần mềm chỉ hoạt động cho ngôn ngữ ký hiệu Thụy Sĩ-Đức. Nhưng nghiên cứu cho thấy kiến trúc của hệ thống sẽ không cần phải thay đổi để ứng dụng được với các ngôn ngữ khác.
Để ứng dụng cho các ngôn ngữ khác nhau, chương trình sẽ chỉ cần nhiều bản ghi video của từng ngôn ngữ làm dữ liệu để huấn luyện.
Một lĩnh vực mà nhóm nghiên cứu muốn khám phá là làm thế nào chúng ta có thể sử dụng những gì AI đã biết để giúp nó học các ngôn ngữ mới. Họ cũng muốn xem làm thế nào chúng ta có thể thêm vào chương trình các khía cạnh khác của giao tiếp, trong khi sử dụng ngôn ngữ ký hiệu, chẳng hạn như nét mặt.
Hiện tại, phần mềm hoạt động tốt nhất trong lớp học. Nhưng nếu được phát triển để chấp nhận nhiều biến thể hơn trong phông nền của đoạn phim mà nó đang đánh giá, chương trình này có thể trở thành giống như nhiều ứng dụng phổ biến cho phép bạn học ngôn ngữ mọi lúc mọi nơi - mà không cần sự trợ giúp của chuyên gia.
Công nghệ này có thể sẽ sớm làm cho việc học ngôn ngữ ký hiệu trở nên dễ dàng với tất cả mọi người.
Theo Khoa học & Phát triển
http://khoahocphattrien.vn/phat-minh-sang-che/tro-choi-tuong-tac-tren-may-tinh-giup-hoc-ngon-ngu-ky-hieu/20190219083940224p160c926.htm
