Self-Supervised Learning: Liệu máy móc có thể học như con người?

Self-Supervised Learning là gì? Học tự giám sát là gì?

Self-Supervised Learning (SSL), Học tự giám sát, là một quá trình học máy trong đó mô hình tự đào tạo để học một phần đầu vào từ một phần khác của đầu vào. 

Trong quá trình này, vấn đề không được giám sát được chuyển thành vấn đề được giám sát bằng cách tự động tạo nhãn. Để tận dụng số lượng lớn dữ liệu không được gán nhãn, điều quan trọng là phải đặt ra các mục tiêu học phù hợp để có được sự giám sát từ chính dữ liệu.

Quy trình của phương pháp Self-Supervised Learning là xác định bất kỳ phần ẩn nào của đầu vào từ bất kỳ phần không ẩn nào của đầu vào. 

Ví dụ, trong xử lý ngôn ngữ tự nhiên, nếu chúng ta có một vài từ và sử dụng phương pháp học tự giám sát, chúng ta có thể hoàn thành phần còn lại của câu. Tương tự, trong video, chúng ta có thể dự đoán khung hình trong quá khứ hoặc tương lai dựa trên dữ liệu video có sẵn. Self-Supervised Learning sử dụng cấu trúc của dữ liệu để tận dụng nhiều tín hiệu giám sát trên các tập dữ liệu lớn - tất cả đều không dựa vào nhãn.

Supervised Learning, Unsupervised Learning, Self-Supervised Learning khác nhau thế nào?

• Supervised Learning đòi hỏi đào tạo một mô hình với dữ liệu có các nhãn thủ công chất lượng cao được liên kết với chúng để điều chỉnh trọng số của mô hình cho phù hợp.
• Self-Supervised Learning cũng yêu cầu đào tạo một mô hình với dữ liệu và nhãn của chúng, nhưng các nhãn ở đây được tạo bởi chính mô hình và không có sẵn ngay từ đầu.
• Unsupervised Learning hoạt động trên tập dữ liệu không có sẵn nhãn và cố gắng hiểu dữ liệu được cung cấp mà không cần đến nhãn trong bất kỳ giai đoạn đào tạo nào.

Do đó, có thể suy ra rằng Học tự giám sát là một tập hợp con của Học không giám sát vì cả hai đều chỉ được cung cấp các dữ liệu phi cấu trúc. Tuy nhiên, Học không giám sát hoạt động theo hướng phân cụm, nhóm và giảm kích thước, trong khi Học tự giám sát thực hiện các tác vụ kết luận như phân loại, phân đoạn và hồi quy giống như bất kỳ mô hình được giám sát nào.

Các loại dữ liệu được sử dụng trong Supervised Learning

Bất kỳ học máy nào kể cả Học tự giám sát đều liên quan đến hai loại dữ liệu:

• Dữ liệu tích cực: Dữ liệu là mục tiêu của thuật toán.
• Dữ liệu phủ định: Dữ liệu không quan trọng đối với thuật toán.

Ví dụ, thuật toán có nhiệm vụ xác định các biển báo giao thông trong lưới hình ảnh. Tất cả các biển báo giao thông hiển thị trong đó sẽ là dữ liệu tích cực và các hình ảnh còn lại của lưới là dữ liệu tiêu cực. Nó giống như câu hỏi 'chứng minh bạn không phải là người máy' mà chúng ta vẫn thường thấy. Trò chơi lựa chọn đó tự nó là một ví dụ của Học tự giám sát. 

Phân loại Supervised Learning

Học tập tự giám sát được phân thành 2 loại chính: Tương phản và Không tương phản. 

Contrastive self-supervised learning

Contrastive self-supervised learning, học tập giám sát tương phản là phương pháp học xen kẽ sử dụng cả hai loại dữ liệu tích cực và tiêu cực. Hai chức năng chính của việc học này là:

• Để giảm khoảng cách giữa các dữ liệu tích cực xuống mức tối thiểu.
• Để tăng khoảng cách giữa các dữ liệu âm lên mức tối đa.

Non-contrastive self-supervised learning

Non-contrastive self-supervised learning, học tự giám sát không tương phản là phương pháp học chỉ sử dụng dữ liệu tích cực. 

Tại sao chúng ta cần Self-Supervised Learning?

Học tự giám sát ra đời do các vấn đề tồn tại dai dẳng trong các quy trình học khác như:

• Chi phí cao: Hầu hết các phương pháp học đều yêu cầu các dữ liệu được gán nhãn. Chi phí cho dữ liệu có nhãn chất lượng tốt là rất cao cả về mặt thời gian và tiền bạc.
• Vòng đời dài: Vòng đời chuẩn bị dữ liệu là một quá trình dài trong việc phát triển các mô hình học máy. Đòi hỏi phải làm sạch, lọc, chú thích, xem xét và tái cấu trúc theo khung đào tạo.
• AI chung: Khung học tập tự giám sát là một bước tiến gần hơn đến việc nhúng nhận thức của con người vào máy móc.

Lợi ích của Self-Supervised Learning

Dưới đây là một số lợi ích của học tự giám sát.

Khả năng mở rộng

Sự thành công của học có giám sát đa phần phụ thuộc vào số lượng nhãn dữ liệu chất lượng cao. Hơn nữa, các lớp mới bên ngoài những lớp mà mô hình được giám sát được đào tạo sẽ không thể được cung cấp vào thời gian thử nghiệm. Mặt khác, học tự giám sát hoạt động với dữ liệu phi cấu trúc và có thể đào tạo trên một lượng lớn dữ liệu.

Hiểu cách trí óc con người hoạt động

Supervised Learning yêu cầu các nhãn do con người chú thích để đào tạo các mô hình. Ở đây, máy tính cố gắng học cách con người suy nghĩ thông qua các ví dụ đã được dán nhãn của họ. Tuy nhiên, việc gắn nhãn một lượng lớn dữ liệu như vậy không phải lúc nào cũng khả thi.

SSL khám phá khả năng suy nghĩ độc lập của một cỗ máy - giống như con người - bằng cách tự động tạo ra các nhãn mà không cần bất kỳ con người nào trong vòng lặp AI. Bản thân mô hình cần quyết định xem các nhãn được tạo có đáng tin cậy hay không và theo đó sử dụng chúng trong lần lặp tiếp theo để điều chỉnh trọng số của nó.

Khả năng AI mới

SSL lần đầu tiên được sử dụng trong ngữ cảnh của NLP. 

Kể từ đó, nó đã được mở rộng để giải quyết nhiều nhiệm vụ khác nhau của Thị giác máy tính (Computer Vision) như phân loại hình ảnh, dự đoán khung hình video, v.v. Lĩnh vực Self-Supervised Learning đang được tích cực nghiên cứu để nâng cao tính chính xác của nó ngang với các mô hình Supervised Learning.

Hạn chế của Self-Supervised Learning

Dưới đây là một số hạn chế của Học tự giám sát.

Yêu cầu nhiều sức mạnh tính toán

Trong SSL, mô hình cần hiểu rõ dữ liệu không được gán nhãn được cung cấp và cũng tạo ra các nhãn tương ứng, điều này tạo gánh nặng cho mô hình hơn. 

Độ chính xác thấp

Các mô hình Học tự giám sát tạo các nhãn riêng cho tập dữ liệu và không có bất kỳ hỗ trợ bên ngoài nào có thể giúp mô hình xác định các tính toán của nó có chính xác hay không. Do đó, các mô hình Self-Supervised Learning không thể chính xác như các mô hình Supervised Learning truyền thống.

Trong SSL, nếu mô hình dự đoán sai lớp với điểm tin cậy rất cao, mô hình sẽ tiếp tục tin rằng dự đoán là đúng và sẽ không điều chỉnh trọng số theo dự đoán này.

Các ứng dụng của Self-Supervised Learning

Học tự giám sát có vai trò nhất định trong hầu hết mọi công nghệ hiện có. Dưới đây là các ứng dụng chính của học tự giám sát:

Xử lý ngôn ngữ tự nhiên

Một trong những ứng dụng nổi bật nhất của học tự giám sát trong thế giới công nghệ là xử lý ngôn ngữ tự nhiên (Natural language processing - NLP). 

Ví dụ, Google Docs và Microsoft Word đều là ứng dụng của học tự giám sát, qua các tính năng như gợi ý văn bản và hoàn thành câu tự động. Do tính chất tiên đoán của Self-Supervised Learning, các thuật toán này lý tưởng cho việc phát triển các chương trình phần mềm dựa trên khả năng phân tích và sản xuất ngôn ngữ của con người của máy móc.

Người máy

Một robot không thể được đào tạo để đối phó với mọi tình huống trong thế giới thực tế. Vì lý do này, SLL cho phép robot tham gia vào các chức năng nhất định và theo đuổi một cách tự động mà không cần sự tương tác của con người. 

Ví dụ, nhiều nhiệm vụ thám hiểm được thực hiện trên sao Hỏa dựa vào kỹ thuật điều hướng tự giám sát, vì khoảng cách và độ trễ giữa Trái đất và sao Hỏa ngăn cản con người có thể điều khiển những cỗ máy này một cách hiệu quả.

Chăm sóc sức khỏe

Các ứng dụng Học tự giám sát trong chăm sóc sức khỏe có thể là phân đoạn các hình ảnh y tế, ví dụ, phân đoạn các cơ quan từ hình ảnh X-Ray. Những thông tin này hỗ trợ bác sĩ trong việc chẩn đoán bệnh.

Lái xe tự động

Vì các phương tiện tự hành phải có khả năng điều hướng các giao lộ và đường đông đúc theo cách bắt chước người lái xe, máy học tự giám sát có thể được sử dụng để hỗ trợ quá trình này theo nhiều cách. 

Ví dụ: SSL có thể được sử dụng để đào tạo các phương tiện tự hành để ước tính độ gồ ghề của một địa hình hoặc cảnh quan cụ thể. Ngoài ra, SLL cũng có thể được sử dụng cho mục đích hoàn thiện chiều sâu, vì ô tô tự hành phải có khả năng xác định khoảng cách giữa các phương tiện, người hoặc vật thể hiện diện trong một môi trường cụ thể..

Phát hiện khuôn mặt

Đây là một trong những ứng dụng phổ biến nhất của Self-Supervised Learning. Học tự giám sát được sử dụng để so sánh gương mặt trên màn hình với dữ liệu đã được cung cấp trong đầu vào. Self-Supervised Learning được sử dụng cho mục đích bảo mật trong điện thoại di động.

Xác nhận chữ ký

Học tự giám sát được sử dụng trong việc nhận dạng chữ ký. Ứng dụng này được sử dụng để xác minh thông tin đăng nhập của người dùng từ các tài liệu khác nhau ở chế độ trực tuyến.

Xoay 3D

Nếu là người dùng Instagram thường xuyên, bạn có thể biết đến các bộ lọc 3D trong Reel, giúp hình ảnh 2D gốc của bạn xoay theo phong cách 3D. Đó là một ví dụ về học tự giám sát.

Tô màu

Học tự giám sát giúp truyền tải các màu sắc khác nhau cho một hình ảnh cụ thể. Hoặc, theo thuật ngữ, các bộ lọc bạn sử dụng trong ảnh của mình như thang độ xám, hiệu ứng cổ điển, v.v. là các đặc quyền của Self-Supervised Learning.

Dự đoán chuyển động video

Dự đoán về khung hình trong tương lai trong dữ liệu chuỗi video là một mô hình ứng dụng SSL rất hữu ích. Có thể đạt được độ chính xác cao trong các tác vụ như vậy vì video là tập hợp các khung liên quan đến ngữ nghĩa theo trình tự. Một số logic luôn tuân theo thứ tự của các khung, ví dụ, chuyển động của các vật thể luôn trơn tru và trọng lực luôn tác động xuống dưới.

Dự báo thời tiết

Dự báo thời tiết là một quá trình phức tạp. Việc sử dụng dữ liệu được giám sát hoặc không được giám sát có thể ảnh hưởng đến độ chính xác của báo cáo. Trong những trường hợp như vậy, học tự giám sát chính là vị cứu tinh. Nó giúp tạo ra các báo cáo khí hậu một cách chính xác.

Những ví dụ hàng đầu về Self-Supervised Learning

Hai ví dụ thực tế hàng đầu về học tập tự giám sát là:

• Wav2vec: Wav2vec là một thuật toán tự giám sát của Facebook, giúp thực hiện nhận dạng giọng nói.
• BERT: BERT là thuật toán của Google giúp hiểu các truy vấn tìm kiếm tốt hơn.

Kết luận 

Học tự giám sát là một công nghệ mới nổi. Nó hữu ích trong mọi vấn đề của cuộc sống, với ứng dụng trong chăm sóc sức khỏe, chỉnh sửa, dự báo, lái xe, chatbots, chỉnh sửa video, chuyển đổi và nhận dạng dữ liệu… Tuy nhiên vẫn tồn tại một số hạn chế cần lưu tâm nhưng một khi những rào cản này được vượt qua Self-Supervised Learning có thể sẽ trở thành một chuẩn mực mới trong lĩnh vực công nghệ.