Assalamu‘alaikum wr. wb.
Halo guys! Dalam Machine Learning, kita tentunya mengenal yang namanya beberapa Parameter seperti Accuracy, Precision, Recall, dan F1-Score dalam Confusion Matrix, misalnya seperti True Positive, True Negative, False Positive, dan False Negative. Kali ini kita akan membahasnya pada Postingan ini.
Sumber Artikel Materi : Evidentlyai.com, Labelf.ai (Blog), Ultralytics.com (Blog), Esairina.Medium.com, Geeksforgeeks.org, dan Kaggle.com
Evaluasi model merupakan tahapan penting untuk mengetahui seberapa baik suatu model mampu menghasilkan prediksi sesuai dengan yang diharapkan. Sebagai ilustrasi, proses ini dapat dianalogikan dengan latihan menendang bola dalam permainan sepak bola. Kita dapat mencatat jumlah tendangan yang berhasil mengenai gawang dan jumlah tendangan yang meleset. Tendangan yang tepat sasaran menggambarkan prediksi yang benar, sedangkan tendangan yang meleset merepresentasikan prediksi yang keliru. Data tersebut kemudian dapat digunakan untuk mengukur performa sekaligus menentukan bagian yang perlu ditingkatkan.
Dalam bidang data mining, text mining, maupun machine learning, evaluasi model memiliki fungsi yang serupa. Tahapan ini digunakan untuk mengetahui apakah model mampu menjalankan tugasnya dengan baik dan menghasilkan prediksi yang akurat. Misalnya, pada analisis sentimen, evaluasi dapat digunakan untuk mengukur kemampuan model dalam mengklasifikasikan teks ke dalam kategori positif atau negatif. Dengan demikian, hasil evaluasi dapat memberikan gambaran mengenai tingkat keberhasilan dan kualitas model dalam menyelesaikan tugas yang diberikan.
A. Pengertian
1. Confusion Matrix
Confusion Matrix (Matriks Kebingungan) merupakan tabel berukuran 2 × 2 yang menjadi salah satu komponen penting untuk mengevaluasi performa model Artificial Intelligence (AI) atau machine learning. Matriks ini mengelompokkan hasil prediksi ke dalam empat kategori dengan membandingkan kelas sebenarnya (actual) dengan kelas hasil prediksi (predicted) yang diberikan oleh model.
Perbandingan tersebut memberikan gambaran yang lebih terperinci mengenai kemampuan model dalam melakukan klasifikasi. Confusion Matrix juga menjadi dasar untuk menghitung berbagai metrik evaluasi penting, seperti Precision dan Recall, karena nilai kedua metrik tersebut dapat diperoleh langsung dari komponen yang terdapat di dalam matriks.
Pada Confusion Matrix, baris menunjukkan kelas atau kondisi yang sebenarnya, sedangkan kolom menunjukkan kelas yang diprediksi oleh model. Setiap sel berisi jumlah data yang termasuk ke dalam kategori tertentu. Dengan kata lain, matriks ini menunjukkan berapa banyak prediksi yang benar sekaligus jenis kesalahan yang dibuat oleh model.
Confusion Matrix sangat berguna ketika bekerja dengan dataset yang tidak seimbang (imbalanced dataset), yaitu ketika jumlah data pada satu kelas jauh lebih banyak dibandingkan kelas lainnya. Matriks ini juga bermanfaat ketika setiap jenis kesalahan memiliki dampak atau biaya yang berbeda.
Sebagai contoh, pada sistem deteksi penipuan (fraud detection), kemampuan mendeteksi transaksi yang benar-benar merupakan penipuan sangat penting. Namun, jika sistem secara keliru menandai transaksi yang sebenarnya sah sebagai penipuan, hal tersebut juga dapat menimbulkan masalah bagi pengguna. Confusion Matrix dapat memperlihatkan dengan jelas seberapa sering masing-masing jenis kesalahan tersebut terjadi.
Berikut adalah 4 (Empat) Komponen utama yang terdapat dalam Confusion Matrix :
- True Positive (TP): Terjadi ketika model berhasil memprediksi suatu data sebagai kelas positif dan prediksi tersebut memang benar. Contohnya, model computer vision berhasil mengenali sebuah kendaraan dalam gambar sebagai kendaraan.
- True Negative (TN): Terjadi ketika model berhasil mengidentifikasi data negatif dengan benar. Misalnya, sistem klasifikasi email mengenali sebuah pesan biasa sebagai bukan spam.
- False Positive (FP): Terjadi ketika model memprediksi suatu data sebagai positif, padahal kondisi sebenarnya adalah negatif. Kondisi ini juga disebut Type I Error. Contohnya, sistem pendeteksi penipuan menandai transaksi yang sebenarnya valid sebagai transaksi penipuan.
- False Negative (FN): Terjadi ketika model gagal mengenali data yang sebenarnya positif dan justru memprediksinya sebagai negatif. Kondisi ini disebut Type II Error. Contohnya, sistem diagnosis medis gagal mendeteksi suatu penyakit pada pasien yang sebenarnya menderita penyakit tersebut.
2. Akurasi (Accuracy)
Akurasi (Accuracy) adalah metrik yang digunakan untuk mengukur seberapa sering model machine learning berhasil menghasilkan prediksi yang benar. Nilai akurasi dapat dihitung dengan membagi jumlah prediksi yang benar dengan jumlah seluruh prediksi yang dilakukan.
Namun, meskipun Akurasi memberikan gambaran umum mengenai kinerja model secara cepat, metrik ini dapat menyesatkan ketika digunakan pada dataset yang tidak seimbang (imbalanced dataset). Sebagai contoh, jika sebuah dataset terdiri dari 90% kelas A dan hanya 10% kelas B, model yang selalu memprediksi setiap data sebagai kelas A tetap akan memperoleh akurasi sebesar 90%. Akan tetapi, model tersebut sama sekali tidak mampu mengenali data yang termasuk ke dalam kelas B.
Dengan demikian, akurasi memang berguna, tetapi tidak selalu cukup untuk menggambarkan performa model secara menyeluruh. Pada dataset yang tidak seimbang, nilai akurasi yang tinggi dapat memberikan kesan seolah-olah model memiliki performa yang sangat baik, padahal model mungkin gagal mengklasifikasikan sampel dari kelas minoritas. Risiko kesalahan klasifikasi terhadap kelas minoritas tersebut dapat menjadi sangat tinggi, sehingga metrik lain seperti Precision, Recall, dan F1-Score sering kali perlu dipertimbangkan untuk mendapatkan evaluasi yang lebih representatif.
Nilai akurasi (accuracy) dapat dinyatakan dalam rentang 0 hingga 1 atau dikonversikan ke dalam bentuk persentase. Semakin tinggi nilai akurasi, semakin baik kemampuan model dalam melakukan prediksi. Model dikatakan memiliki akurasi sempurna sebesar 1,0 atau 100% apabila seluruh prediksi yang dihasilkannya benar.
Akurasi juga menjadi salah satu metrik evaluasi yang mudah dihitung dan dipahami. Secara sederhana, metrik ini menggambarkan seberapa baik model dalam mengklasifikasikan data secara tepat. Karena konsepnya intuitif, akurasi sering menjadi metrik pertama yang digunakan untuk melihat performa sebuah model machine learning.
3. Precision
Precision adalah metrik yang digunakan untuk mengukur seberapa sering model machine learning berhasil memberikan prediksi positif yang benar. Nilai precision dihitung dengan membandingkan jumlah prediksi positif yang benar (True Positive/TP) dengan seluruh data yang diprediksi sebagai kelas positif, baik yang benar maupun yang sebenarnya salah (True Positive + False Positive).
Secara sederhana, precision menunjukkan seberapa dapat dipercaya prediksi positif yang dihasilkan oleh model. Semakin sedikit False Positive, semakin tinggi nilai precision yang diperoleh.
AAAAAAAAAAAAAA
Nilai precision dapat dinyatakan dalam rentang 0 hingga 1 atau dalam bentuk persentase. Semakin mendekati 1, semakin baik performa model dalam memberikan prediksi positif. Nilai precision sempurna sebesar 1,0 atau 100% tercapai ketika setiap data yang diprediksi sebagai kelas target positif memang benar-benar termasuk dalam kelas tersebut. Dengan kata lain, model tidak pernah memberikan tanda atau prediksi positif yang keliru.
4. Recall
Recall adalah metrik yang digunakan untuk mengukur seberapa baik model machine learning dalam menemukan seluruh data yang sebenarnya termasuk ke dalam kelas positif. Metrik ini menunjukkan seberapa banyak kasus positif yang berhasil diidentifikasi dengan benar (True Positive/TP) dibandingkan dengan seluruh sampel yang memang merupakan kelas positif dalam dataset.
Recall dapat dihitung dengan membagi jumlah True Positive dengan total seluruh data positif yang sebenarnya, yaitu True Positive (TP) + False Negative (FN). False Negative merupakan kasus positif yang seharusnya berhasil dikenali oleh model, tetapi justru terlewat atau diklasifikasikan sebagai negatif.
AAAAAAAAAAAAAA
Nilai recall berada pada rentang 0 hingga 1 atau dapat dinyatakan dalam bentuk persentase. Semakin tinggi nilai recall, semakin baik kemampuan model dalam menemukan data dari kelas positif. Nilai recall sempurna sebesar 1,0 atau 100% tercapai ketika model berhasil mengidentifikasi seluruh sampel yang termasuk dalam kelas target positif tanpa ada satu pun yang terlewat.
Recall juga dikenal dengan istilah Sensitivity atau True Positive Rate (TPR). Istilah sensitivity lebih sering digunakan dalam bidang kedokteran dan penelitian biologi, sedangkan recall lebih umum digunakan dalam machine learning. Sebagai contoh, dalam pemeriksaan medis, sensitivity digunakan untuk menunjukkan kemampuan suatu tes diagnostik dalam mendeteksi sebanyak mungkin pasien yang benar-benar memiliki kondisi tertentu. Meskipun istilahnya berbeda, konsep yang digunakan pada dasarnya sama.
5. F1-Score
F1 Score adalah metrik evaluasi yang digunakan untuk mengukur keseimbangan antara Presisi (Precision) dan Sensitivitas (Recall) dalam suatu model klasifikasi. Dalam analisis review film Upin & Ipin, F1 Score dapat digunakan untuk mengetahui seberapa baik model dalam mengklasifikasikan review ke dalam kategori positif maupun negatif secara tepat.
Sebagai ilustrasi, anggaplah kita sedang mengevaluasi performa seorang penjaga gawang dalam pertandingan sepak bola. F1 Score dapat dianalogikan sebagai ukuran yang menggabungkan kemampuan penjaga gawang dalam melakukan penyelamatan dan mencegah terjadinya gol menjadi satu nilai yang menggambarkan performa secara keseluruhan.
Dengan demikian, semakin tinggi nilai F1 Score, semakin baik pula kemampuan model dalam menyeimbangkan Presisi dan Sensitivitas. Pada klasifikasi review film, metrik ini penting untuk mengetahui seberapa efektif model dalam mengenali review positif dan negatif dengan benar. Hasil tersebut dapat membantu memberikan gambaran yang lebih akurat mengenai penerimaan penonton terhadap film yang dianalisis.
AAAAAAAAAAAAAA
Berdasarkan hasil perhitungan tersebut, dapat disimpulkan bahwa model memiliki nilai F1 Score sebesar 0,71 atau 71%. Nilai ini menunjukkan adanya keseimbangan antara kemampuan model dalam menghasilkan prediksi yang tepat (Precision) dan mengenali seluruh data positif yang sebenarnya (Recall).
Keunggulan utama F1 Score adalah kemampuannya menggabungkan Precision dan Recall ke dalam satu nilai, sehingga memberikan gambaran yang lebih menyeluruh mengenai performa model klasifikasi. Dengan demikian, kita tidak hanya melihat salah satu aspek kinerja model, tetapi mempertimbangkan keduanya secara bersamaan.
Meskipun demikian, F1 Score tidak selalu menjadi metrik yang paling sesuai untuk setiap kondisi. Jika analisis lebih berfokus pada kemampuan model dalam mengenali salah satu kelas tertentu, metrik lain seperti Precision, Recall, dan Specificity juga perlu diperhatikan. Dengan menggunakan beberapa metrik evaluasi secara bersamaan, performa model dapat dinilai secara lebih komprehensif.
B. Perbandingan
 |
| Perbedaan Accuracy, Precision, Recall, dan F1-Score dalam Confusion Matrix [Sumber Gambar : ChatGPT] |
Accuracy adalah ukuran yang menunjukkan seberapa banyak keseluruhan data berhasil diprediksi dengan benar oleh model, baik kelas positif maupun negatif. Sementara itu, Precision mengukur seberapa tepat prediksi positif yang dibuat model, yaitu dari seluruh data yang diprediksi positif, berapa banyak yang benar-benar positif. Recall mengukur kemampuan model dalam menemukan data positif yang sebenarnya, yaitu dari seluruh data yang sebenarnya positif, berapa banyak yang berhasil diprediksi positif. Rumusnya masing-masing adalah Accuracy = (TP + TN)/(TP + TN + FP + FN), Precision = TP/(TP + FP), dan Recall = TP/(TP + FN).
F1-Score merupakan metrik yang menggabungkan Precision dan Recall menggunakan harmonic mean, sehingga berguna ketika ingin memperoleh keseimbangan antara keduanya. F1-Score memiliki nilai antara 0 hingga 1; semakin mendekati 1, semakin baik performa model. Secara sederhana, Accuracy berfokus pada seluruh prediksi, Precision berfokus pada ketepatan prediksi positif, Recall berfokus pada kemampuan menemukan seluruh kasus positif, sedangkan F1-Score berfokus pada keseimbangan Precision dan Recall. Accuracy perlu digunakan dengan hati-hati pada dataset yang tidak seimbang (imbalanced dataset), karena nilai Accuracy yang tinggi belum tentu menunjukkan model mampu mengenali kelas minoritas dengan baik.
Kapan Menggunakan Masing-Masing?
Secara praktis :
- Accuracy → gunakan ketika distribusi kelas relatif seimbang dan kesalahan FP/FN memiliki konsekuensi yang relatif serupa. Untuk dataset imbalanced, jangan hanya mengandalkan accuracy.
- Precision → prioritaskan jika False Positive lebih bermasalah.
- Recall → prioritaskan jika False Negative lebih bermasalah.
- F1-Score → gunakan ketika ingin mendapatkan keseimbangan antara Precision dan Recall, khususnya ketika accuracy saja tidak cukup representatif.
C. Contoh
Misalkan model diagnosis diabetes menghasilkan :
Itulah Perbedaan Accuracy, Precision, Recall, dan F1-Score dalam Confusion Matrix. Semoga Bermanfaat bagi kita semua!
Terima Kasih 😄😘👌👍 :)
Wassalamu‘alaikum wr. wb.