ࡱ> *,)bjbjUU >??   0\9<3 0{0l :Resumo Uma ferramenta comumente utilizada no processo de comparao de classificadores a anlise da significncia estatstica, realizada atravs de teste de hipteses. Entretanto, percebe-se que muitos pesquisadores esto buscando cegamente a significncia estatstica por meio da condio p-valor<0,05 e ignorando conceitos importantes como o tamanho do efeito e o poder do teste. Neste trabalho, so evidenciados possveis problemas causados pelo mau uso dessa ferramenta e como o tamanho do efeito e o poder do teste acrescentam informaes para uma melhor tomada de deciso. Para tanto, so realizados estudos empricos com diferentes classificadores e 50 bases de dados, comparando-se os resultados por meio do teste t de Student e do teste de Wilcoxon. Alm disso, dados sintticos que simulam os resultados de classificadores so utilizados para ampliar as anlises. Os resultados mostram que a anlise isolada do p-valor pode levar a concluses equivocadas e que o clculo do tamanho do efeito e do poder do teste colaboram para que a tomada de deciso seja mais fundamentada e responsvel. Palavras-chave:comparao de classificadores, significncia estatstica, p-valor, tamanho do efeito, poder do teste, teste de hipteses, teste t de Student, teste de Wilcoxon. Abstract A common tool used in the process of comparing classifiers is the statistical significance analysis, performed through the hypothesis test. However, there are many researchers attempting to obtain statistical significance through a blinding evaluating of the p-value<0.05 condition, ignoring important concepts such as the effect size and statistical power. This work highlight possible problems caused by the misuse of the hypothesis test and how the effect size and the statistical power can provide information for a better decision making. For this, empirical studies with different classifiers and 50 datasets are performed, comparing the results using the Student's t-test and the Wilcoxon test. In addition, synthetic data that simulate the results of classifiers are used to increase the analyzes. The results show that the isolated p-value analysis can lead to wrong conclusions and that the evaluation of the effect size and the statistical power contribute to a more informed and responsible decision-making. Keywords:comparison of classifiers, statistical significance, p-value, effect size, statistical power, statistical hypothesis test, Students t-test, Wilcoxon signed-ranks test. M \    ౜~c~4hdSB*OJQJ^JfHmH ph"""q sH :h>hdSB*OJQJ^JfHmH ph"""q sH )h>hdSB*OJQJ^JmH ph"""sH /h>hdS5B*OJQJ\^JmH ph"""sH ,hdSB*OJQJ^JfHph"""q hdSB*OJQJ^Jph"""!hdS5B*OJQJ\^Jph""" M <P1h:pi5. A!"#$% Dpj 666666666vvvvvvvvv666666>6666666666666666666666666666666666666666666666666hH6666666666666666666666666666666666666666666666666666666666666666662 0@P`p2( 0@P`p 0@P`p 0@P`p 0@P`p 0@P`p 0@P`p8XV~ OJPJQJ_HmHnHsHtHX`X i5Normal$da$ CJPJ^J_HaJmHsHtH DA D 0Default Paragraph FontRiR 0 Table Normal4 l4a (k ( 0No List PK![Content_Types].xmlj0Eжr(΢Iw},-j4 wP-t#bΙ{UTU^hd}㨫)*1P' ^W0)T9<l#$yi};~@(Hu* Dנz/0ǰ $ X3aZ,D0j~3߶b~i>3\`?/[G\!-Rk.sԻ..a濭?PK!֧6 _rels/.relsj0 }Q%v/C/}(h"O = C?hv=Ʌ%[xp{۵_Pѣ<1H0ORBdJE4b$q_6LR7`0̞O,En7Lib/SeеPK!kytheme/theme/themeManager.xml M @}w7c(EbˮCAǠҟ7՛K Y, e.|,H,lxɴIsQ}#Ր ֵ+!,^$j=GW)E+& 8PK!Ptheme/theme/theme1.xmlYOo6w toc'vuر-MniP@I}úama[إ4:lЯGRX^6؊>$ !)O^rC$y@/yH*񄴽)޵߻UDb`}"qۋJחX^)I`nEp)liV[]1M<OP6r=zgbIguSebORD۫qu gZo~ٺlAplxpT0+[}`jzAV2Fi@qv֬5\|ʜ̭NleXdsjcs7f W+Ն7`g ȘJj|h(KD- dXiJ؇(x$( :;˹! I_TS 1?E??ZBΪmU/?~xY'y5g&΋/ɋ>GMGeD3Vq%'#q$8K)fw9:ĵ x}rxwr:\TZaG*y8IjbRc|XŻǿI u3KGnD1NIBs RuK>V.EL+M2#'fi ~V vl{u8zH *:(W☕ ~JTe\O*tHGHY}KNP*ݾ˦TѼ9/#A7qZ$*c?qUnwN%Oi4 =3ڗP 1Pm \\9Mؓ2aD];Yt\[x]}Wr|]g- eW )6-rCSj id DЇAΜIqbJ#x꺃 6k#ASh&ʌt(Q%p%m&]caSl=X\P1Mh9MVdDAaVB[݈fJíP|8 քAV^f Hn- "d>znNJ ة>b&2vKyϼD:,AGm\nziÙ.uχYC6OMf3or$5NHT[XF64T,ќM0E)`#5XY`פ;%1U٥m;R>QD DcpU'&LE/pm%]8firS4d 7y\`JnίI R3U~7+׸#m qBiDi*L69mY&iHE=(K&N!V.KeLDĕ{D vEꦚdeNƟe(MN9ߜR6&3(a/DUz<{ˊYȳV)9Z[4^n5!J?Q3eBoCM m<.vpIYfZY_p[=al-Y}Nc͙ŋ4vfavl'SA8|*u{-ߟ0%M07%<ҍPK! ѐ'theme/theme/_rels/themeManager.xml.relsM 0wooӺ&݈Э5 6?$Q ,.aic21h:qm@RN;d`o7gK(M&$R(.1r'JЊT8V"AȻHu}|$b{P8g/]QAsم(#L[PK-![Content_Types].xmlPK-!֧6 +_rels/.relsPK-!kytheme/theme/themeManager.xmlPK-!Ptheme/theme/theme1.xmlPK-! ѐ' theme/theme/_rels/themeManager.xml.relsPK]   a\%+~3uUAQQVFM_ivWAx9/~`i&PdS>i5 @ @@UnknownG*Ax Times New Roman5Symbol3. *Cx Arial7.@CalibriACambria Math"KhKh30$P >!xxResumoNadine MelloniHelioOh+'0  < H T`hpxResumoNadine MelloniNormal_WordconvHelio2Microsoft Office Outlook@F#@v* 0@v* 03՜.+,0 hp|   Resumo Title  "#$%&'(+Root Entry Fp@3 0-1Table WordDocument>SummaryInformation(DocumentSummaryInformation8!CompObjy  F'Microsoft Office Word 97-2003 Document MSWordDocWord.Document.89q  F#Documento do Microsoft Office Word MSWordDocWord.Document.89q