Foto dan video merupakan bagian integral dari jejaring sosial apa pun, tetapi media media ini juga ternyata menjadi pelaku utama berita hoax dan ujaran kebencian. Untuk meminimalkan dampak media berbahaya seperti itu, perusahaan seperti Facebook menggunakan tool otomatis.

Dalam posting blog baru – baru ini , Facebook mendeskripsikan mesin baru yang menggunakan sistem pembelajaran yang dapat mengidentifikasi teks dalam video dan gambar, dan mentranskripsikan teks ke dalam format yang dapat dibaca mesin.

Disebut Rosetta, sistem ini berjalan satu di depan teknik pengenalan karakter optik tradisional (OCR) karena membuat upaya untuk memahami konteks gambar dan teks bersama.

Perusahaan menggunakan miliaran gambar dan video publik dari Facebook dan Instagram untuk melatih model pengenalan teksnya. Proses keseluruhan melibatkan dua langkah mendeteksi wilayah persegi panjang yang mungkin berisi teks dan kemudian melakukan pengenalan teks menggunakan convolutional neural network (CNN).

Modelnya tidak hanya terbatas pada teks bahasa Inggris; itu juga mendukung berbagai bahasa dan pengkodean, termasuk bahasa Hindi dan bahasa Arab.

Rosetta terintegrasi secara luas dengan berbagai produk di Instagram dan Facebook. Perusahaan mengatakan menggunakan hal yang sama untuk meningkatkan pencarian foto, menyajikan konten yang dipersonalisasi, dan mengidentifikasi konten ujaran kebencian dalam berbagai bahasa.