Tingkat signifikansi arbitrer ditentukan sebelum menghitung statistik kontras , dan tingkat signifikansi non-arbitrer bergantung pada nilai yang diambil oleh statistik kontras, yang keduanya bergantung pada distribusi yang diikuti oleh data.
Dengan kata lain, tingkat signifikansi arbitrer akan selalu sama untuk nilai statistik uji yang berbeda dan tingkat signifikansi non-arbitrer akan berbeda untuk nilai statistik uji yang berbeda.
Tidak sembarangan
Ketika sebuah konsep ditunjukkan, sifat arbitrer berarti bahwa nilai konsep itu dipilih oleh peneliti secara apriori (sebelum) melakukan percobaan tanpa bergantung pada informasi terkait.
Nilai-P dan gajah
Misalnya, kita ingin menguji jumlah gajah di padang rumput.
Nilai-P dan gajah
Sebelum melihat padang rumput dan gajah yang benar-benar ada, kita asumsikan secara apriori jumlah gajah. Kita mengatakan bahwa bisa ada 10 gajah. Jadi, kita pergi ke padang rumput dan menghitung jumlah gajah yang kita lihat: 1, 2, 3, 4, 5, 6 dan 7.
Hipotesis nol kita adalah bahwa jumlah gajah di padang rumput sama dengan 10 dan hipotesis alternatif kita adalah bahwa ada kurang dari 10. Jadi, dengan adanya gajah, kita akan menolak hipotesis nol. Tapi… Bagaimana jika ada 3 gajah lagi di padang rumput tetapi mereka bersembunyi di balik pepohonan? Kita akan menolak hipotesis nol kita ketika itu bisa benar jika, alih-alih menghitung gajah, kita telah menghitung jumlah maksimum gajah yang dapat ditampung oleh padang rumput.
Analisis
10 ekor gajah yang dipilih pada awalnya benar-benar sewenang-wenang karena kita belum melihat ukuran padang rumput dan, oleh karena itu, kita tidak tahu apakah 10 gajah itu banyak atau sedikit.
Di sisi lain, jika, mengingat ukuran padang rumput, kita menghitung jumlah gajah maksimum yang dapat ditampungnya, kita akan tahu berapa nilai maksimumnya agar tidak menolak hipotesis nol. Jadi menemukan bilangan asli akan jauh lebih mudah.
Perbandingan
Hal yang sama berlaku untuk tingkat signifikansi 1%, 5%, dan 10% dibandingkan dengan nilai-p. Dalam banyak kontras, kita memilih tingkat signifikansi tanpa memperhitungkan informasi apa pun selain distribusi. Biasanya 5% digunakan sebagai tingkat signifikansi (alfa), menyisakan 95% sampel dalam interval kepercayaan.
Masalah menetapkan tingkat signifikansi secara sewenang-wenang adalah masalah yang sama yang kita miliki dengan contoh gajah. Jika kita yakin bahwa penerapan 5% (tingkat signifikansi) itu benar, kita dapat menolak hipotesis nol ketika minimum untuk ditolak adalah 2% (nilai-p). Kita akan mendapatkan hasil yang salah hanya dengan menetapkan 5% alih-alih nilai minimum yang akan ditolak (2%).
Dengan kata lain, kita menyimpulkan bahwa ada kurang dari 10 gajah di padang rumput tetapi pada kenyataannya ada 3 gajah lagi tetapi disembunyikan. Jadi, jauh lebih cepat untuk menghitung berapa tingkat signifikansi maksimum atau minimum yang tidak akan kita tolak atau kita akan menolak hipotesis nol.
Aturan penolakan
Jika nilai – p < tingkat signifikansi => Penolakan H0.
Jika nilai – p > tingkat signifikansi => Tidak ada penolakan terhadap H0.