Facebook Rilis Open Source Library

FAISS adalah open source library yang dirilis oleh Facebook untuk mencari kesamaan dan kekelompokan dimensi tinggi data. Perpustakaan ini menemukan aplikasi dalam dataset yang kompleks seperti gambar dan video yang tidak bisa muat di RAM sekaligus.

Dengan metode pembelajaran mesin, booming terjadi di dataset dan variasi domain. Dengan dataset besar ini, perangkat keras menjadi macet. Pengolahan dataset ini memerlukan kemampuan memori tinggi bandwidth dan prosesor. Selain itu, pengindeksan titik data, pengelompokan dan pencarian menjadi sangat susah.

Para peneliti di Facebook AI Research(FAIR) baru saja menerbitkan sebuah makalah penelitian yang menggambarkan desain yang efisien untuk pengelompokan dan kesamaan pencarian. Struktur algoritma baru mereka melakukan jauh lebih cepat daripada sebelumnya yaitu state-of-art algoritma dan memanfaatkan GPU untuk memori bandwidth yang lebih tinggi.

Berdasarkan penelitian mereka, mereka telah membuat sebuah perpustakaan yang disebut FAISS dan itu adalah open-source. Meskipun algoritma untuk pencarian pengelompokan dan kesamaan terkenal, Perpustakaan ini mengoptimalkan algoritma untuk melakukan efisien di GPU.

Beberapa algoritma diterapkan di library termasuk :

  1. Fast K-Nearest Neighbour
  2. QuickSelect
  3. Warpselect
  4. K-Means clustering

Sebagai uji coba, pada gambar berikut, yang pertama dan terakhir gambar yang diberikan dan algoritma menghitung transisi antara gambar dari koleksi gambar sebanyak 95 juta

Kelebihan dari FAISS Library:

  • Ditulis dalam C ++ dengan lengkap Python
  • Mendukung GPU tunggal/ganda
  • Sangat Scalable, biasanya mendukung hingga 100 dimensi
  • Dibangun di BLAS dan CUDA Library
  • 8,5 x kinerja yang lebih cepat daripada saat ini perpustakaan state-of-art

Bagi anda yang ingin mencoba library ini, dapat diakses di repo GitHub Library FAISS.

Leave a Comment

Your email address will not be published.