Kể từ khi OpenAI phát hành DALL-E vào cuối năm 2022, các trình tạo văn bản thành hình ảnh đã trở nên bùng nổ với rất nhiều đối thủ cạnh tranh gia nhập thị trường. Giờ đây, hơn một năm sau, chúng ta đang ở những ngày đầu của một công nghệ mới: tạo video AI.
Mới đây, Google Research đã phát hành một bài giới thiệu về Lumiere, một mô hình chuyển từ văn bản sang video có thể tạo ra video sở hữu độ chân thực cao từ lời nhắc văn bản và các hình ảnh khác.
Theo bài viết, mô hình này được thiết kế để giải quyết một thách thức đáng kể trong việc tổng hợp video, đó là tạo ra "chuyển động chân thực, đa dạng và mạch lạc". Bạn có thể nhận thấy các mô hình tạo video thường hiển thị video bị giật nhưng cách tiếp cận của Google mang lại trải nghiệm xem liền mạch hơn. Lumiere làm được điều đó thông qua kiến trúc Space-Time U-Net, trong đó tạo ra video hoàn chỉnh từ đầu đến cuối chỉ trong một lần chạy.
Phương thức này khác với những mô hình trước đây, vốn chỉ tổng hợp những khoảnh khắc chính và cách xa nhau, khiến video cuối cùng khó đạt được sự đồng nhất.
Lumiere có thể xây dựng phong cách riêng cho video, dựa trên hình ảnh mẫu do người dùng cung cấp. Ngoài tạo nội dung mới, nó cũng được dùng để chỉnh sửa hoặc chữa những phần bị lỗi trong video sẵn có theo yêu cầu của người dùng.
Google Research so sánh hiệu năng của Lumiere với các AI tạo video từ văn bản hiện nay, như ImagenVideo, Pika, ZeroScope và Gen2, bằng cách đề nghị một nhóm thử nghiệm chọn ra video có chất lượng hình ảnh và chuyển động tốt nhất, nhưng không cho biết chúng được tạo ra bởi mô hình nào. Theo báo cáo, Lumiere vượt xa mọi đối thủ trong thử nghiệm.
Hiện tại, mô hình này vẫn chưa được ra mắt công chúng; tuy nhiên, nếu bạn muốn tìm hiểu thêm, bạn có thể truy cập trang web Lumiere, nơi có nhiều bản demo khi mô hình thực hiện các nhiệm vụ khác nhau.
Theo ZD Net
