Cara Kerja AI pada Google Translate untuk Bahasa Isyarat

Berita Trend Masa Kini — Ada ribuan bahasa di dunia. Hampir semua bahasa terpopuler dapat diterjemahkan secara langsung menggunakan software Google Translate.

Untuk terjemahan langsung, beberapa perangkat lunak menggunakan suara melalui mikrofon untuk menerjemahkan pesan tanpa pengguna mengetiknya.

Namun bagaimana dengan jutaan orang yang tidak dapat mendengar maupun berbicara.

Begini cara kerja Artificial Intelligence (AI) pada Google Translate bahasa isyarat untuk membantu pengguna disabilitas wicara dan tuli dengan pemanfaatan gambar.

Convolution Neural Nets (CNN)

Futuristic holographic simulation of artificial neural networks, artificial intelligence deep learning performing analytic computational head up display background

Sistem ini sudah terlatih untuk mendeskripsikan ribuan foto dan mengklasifikasikan masing-masing kategori gambar untuk diterjemahkan.Convolution Neural Nets (CNN) adalah salah satu cara kerja komputer berupa jaringan saraf konvolusional untuk dapat mengklasifikasikan gambar atau citra visual.

CNN terdiri atas beberapa lapisan. Lapisan biasanya terdiri dari konvolusional, penggabungan, dan terhubung sepenuhnya (fully-connected layers).

Lapisan konvolusional terdiri atas kernel (filter) dengan ukuran yang berbelit-belit. Di atas piksel, mengalikan dan menjumlahkan nilai lalu pada akhirnya dibentuk dalam matriks baru yang lebih kecil dan disederhanakan.

Matriks baru yang lebih kecil ini penting karena menyoroti fitur dalam gambar dan juga lebih mudah dilatih karena lebih kecil pula yang diperlukan untuk mengidentifikasi bobot gambar tersebut.

Lapisan berikutnya adalah lapisan penggabungan. Lapisan ini bertujuan untuk mengurangi ukuran matriks.

Untuk mengurangi ukuran matriks, mesti melewati kernel (filter) di atas matriks fitur dan mengambil nilai piksel gambar tertinggi atau rata-rata.

Selanjutnya, beralih ke lapisan ketiga yakni fully-connected layers (terhubung sepenuhnya). Di sinilah klasifikasi gambar terjadi.

Pertama-tama matriks akan diratakan menjadi vektor lalu kemudian melewati neutral net (jaringan saraf). Neutral net ini mirip dengan Artificial Neutral Net (Jaringan Saraf Tiruan).

CNN mengklasifikasikan gambar dengan menggunakan fungsi aktivasi softmax yang memberikan probabilitas input dari kelas tertentu.

Cara Kerja AI dalam Menerjemahkan Bahasa Isyarat

Futuristic holographic simulation of artificial neural networks, artificial intelligence deep learning performing analytic computational head up display background

  • Persiapan Data

Data gambar bahasa isyarat yang telah dikumpulkan diatur ke dalam 29 folder dengan 3.000 gambar di setiap folder untuk setiap huruf alfabet.

Tiga folder tambahan adalah ruang untuk menghapus gambar. Selain itu, untuk mempercepat pelatihan, gambar bahasa isyarat diturunkan ukurannya ke 48×48 dari 200×200.

  • Lapisan Konvolusional dan Penggabungan

Ada lima tindakan dalam lapisan konvolusional dan penggabungan untuk menerjemahkan bahasa isyarat pada Google Translate, yaitu:

1. Di baris pertama, jumlah filter dan ukuran filter ditentukan. Untuk lapisan pertama, 64 filter 3×3 digunakan. Ukuran gambar ditentukan 48×48.

Setelah matriks mengalami konvolusi, lalu ia membentuk matriks ifitur kemudian melewati normalisasi batch. Tindakan ini akan mengurangi pergeseran nilai lapisan yang tersembunyi.

Hal tersebut juga membuat matriks gampang dilatih karena menstabilkan bobot dan meningkatkan akurasi gambar.

Setelah itu, jalankan fungsi Re-LU untuk membawa beberapa non-linearitas ke lapisan yang memungkinkan CNN untuk memahami gambar rumit yang telah dimasukkan.

2. Baris berikutnya adalah tempat terjadinya penggabungan. Telah ditentukan ukuran filter penggabungan 2×2 dan menggunakan penggabungan maksimal demi mengurangi ukuran matriks.

3. Akhirnya, matriks dihapus node-nya melalui jaringan saraf (Neural Net). Manfaat dari menghapus node adalah jaringan akan mengurangi kesensitifannya terhadap bobot setiap node.

Hal tersebut juga memungkinkan jaringan menjadi lebih umum dalam memprediksikan dan meningkatkan akurasi.

Dalam model yang digunakan, 25 persen node dihapus dan akan diganti dengan lapisan yang baru berikutnya.

  • Fully-connected Layers

Setelah konvolusi, selanjutnya adalah tahapan fully-connected layers. Namun sebelumnya, data diratakan menjadi vektor kolom tunggal.

  1. Setelah itu, data dapat melewati jaringan saraf ke lapisan yang lebih padat. Lapisan padat ini meneruskan masukan dari langkah sebelumnya dan mengeluarkan semua matriks ke dalam neuron. Neuron terhubung dalam meneruskan data dari satu lapisan berikutnya, dalam kasus ini ada 256 neuron.
  2. Lalu data melewati normalisasi batch.
  3. Kemudian fungsi ULT digunakan untuk aktivasi.
  4. Akhirnya, 25 persen dari node terhapus menggunakan dropout.
  5. Ada dua lapisan yang terhubung sepenuhnya, jadi kode ini berulang dengan 512 node.
  6. Setelah melewati lapisan kedua yang terhubung sepenuhnya, keluaran datanya dimasukkan melalui fungsi softmax yang digunakan untuk memberikan probabilitas bahwa gambar tersebut termasuk ke dalam salah satu dari 29 kelas gambar bahasa isyarat.
  7. Terakhir, menurut Towards Data Science, beberapa baris akhir akan menyetel kecepatan pembelajaran dan mengevaluasi keakuratan model.

Google Tengah Kembangkan Penerjemah Bahasa Isyarat Lewat Konferensi Video

Woman at home video chatting with her boyfriend on her cell phone and using earphones

Dilansir dari AI Google, AI tersebut menggunakan kamera untuk menangkap pergerakan 21 titik di telapak tangan untuk mengartikan ke bentuk teks dan ucapan.

Meskipun demikian, teknologi ini tidak cukup sempurna lantaran hanya menerjemahkan sebagian percakapan saja. Aspek lain seperti ekspresi wajah, kecepatan, dan dialek pengucapan masih terabaikan.

“Kami berencana memperluas teknologi ini dengan tracking yang lebih stabil dan kuat, memperluas jumlah bahasa isyarat yang bisa kami deteksi dengan benar, dan mendukung gerakan dinamis seiring waktu.”

“Kami percaya dengan mempublikasikan teknologi ini bisa memberikan dorongan untuk ide dan penerapan kreatif baru oleh anggota penelitian dan komunitas pengembang secara luas,” tulis Google.

Perkembangan teknologi dari Google ini tidak lepas dari peran penting dari keberadaan ponsel pintar atau smartphone. Keberadaan smartphone ini akan memudahkan teknologi ini untuk dibawa ke mana pun.

Google saat ini sedang berusaha untuk membuat Ai tersebut agar dapat bekerja lebih kompleks dan stabil. Teknologi serupa juga dibuat oleh Microsoft. Dan sejumlah perusahaan swasta lain juga terus menyempurnakan teknologi komunikasi ini.

By admin

RSS
Follow by Email