106 (edited by lilia 21.07.2010г. 23:12:34)

Re: Лекция на тема "Парадоксът на Симпсън"

Защо парадоксът на Симпсън поставя важни въпроси?

Представете си, че ви боли глава. Отивате в близката аптека, където ви предлат лекарството Х. Питате машинално: помага ли наистина? И получавате следния отговор: ами зависи, като цяло помага, но при мъжете и при жените усилва главоболието. Как ще реагирате на такъв отговор? Енкож твърди, че този отговор бил нормален. Ако беше нормален, щяха ли да се полагат толкова усилия при клиничните изследвания да се гарантира максимална хомогенност на сравняваните групи от изследвани лица с цел да се избегне получаването на подобни "нормални" отговори?

По-сериозният проблем, както вече писах, е друг: никога не можем да гарантираме пълна хомогенност на сравняваните групи. Винаги съществува потенциален риск от скрит (неотчетен)Симпсън ефект, който да обърне резултата наопаки. На всички, които са склонни да омаловажат този проблем препоръчвам да прочетат следната измислена (но напълно реалистична) история:

http://www.cawtech.freeserve.co.uk/simpsons.2.html

Пак статистици са изчислили, че вероятността един статистически резултат да бъде обърнат вследствие на Симпсън ефект е 1/60. Не знам как са го изчислили, но това не е никак малка вероятност. Това означава, че за всяко 60-то лекарство, успешно преминало клинични изпитания може да се окаже, че помага като цяло, ама вреди на хората под 35 г., както и на тези над 35 години :-); или на родените през февруари, както и на родените през останалата част от годината и т.н.

It's not what happens to you but how you react to it that matters...

Re: Лекция на тема "Парадоксът на Симпсън"

в #105: ниската успеваемост на жените се наблюдава в по-голямата извадка, сиреч те я по-представителна(та) и "тежи" повече
софизмът е в премълчаването на това измерение

---------------------------------

вярно #97 не е парадокс и не е на симпсон,
само че поантата не беше отсъствие на "скаченост", а в това, че характеристиката на частите се мени еднотипно, докато за цялото остава константа; софизмът е в премълчаването, че размерът на частите се мени (логиката изисква те да се сумират всеки път със съответните тегла, за да се запази общото средно)
----------------------------------

другият път към извода, че няма парадокс, а само илюзия за противоречие, е в обръщането: некой, знаещ числата, съчинява история с изненадващ край

108 (edited by lеda 21.07.2010г. 23:45:36)

Re: Лекция на тема "Парадоксът на Симпсън"

... по Аристотел как ли би изглеждало?

Но не мога, наистина сърце не ми дава да отрека усилията и времето, които може да вложи/положи някой за да обърка тотално един парадокс. Трябва да измислят име и за парадокс на парадокса- метапарадокс. И така, да видим какво имаме:

lilia wrote:

Департамент по история: 1 приет от 5 явили се мъже; 2 приети от 8 явили се жени
Департамент по география: 6 приети от 8 явили се мъже; 4 приети от 5 явили се жени.

Общо за двата департамента: 7 приети от 13 явили се мъже, 6 приети от 13 явили се жени.

А ето и двете валидни схеми на извод:

Първа схема: и в департамента по история, и в департамента по география процентът на приетите жени е по-висок от процента на приетите мъже (25% срещу 20% и 80% срещу 75%), СЛЕДОВАТЕЛНО, (1) няма основания да се говори за дисКриминация на жените.

Втора схема: общо за двата департамента процентът на приетите мъже е по-висок от процента на приетите жени (около 54% срещу 46%), СЛЕДОВАТЕЛНО, (2) може да се говори за дискриминация на жените на тези конкурси.

Противоречивите (взаимноизключващи се) твърдения са (1) и (2).

Първото твърдение се отнася до дискриминация в департаментите, а
Второто твърдение се отнася до дискриминация общо за двата департамента.
Мисля (до колкото ми позволява Аристотел), че двете твърдения като НЕпротиворечиви, т.е. докато са непротиворечиви едно спрямо друго, произлизат от различни предпоставки.
В момента, в който решим да ги обединим под общия подвеждащ "знаменател"- т.е. общата (уж) еднаква бройка мъже-жени, тогава се появава парадокса.
Ако ни интересува дискриминацията е нормално да обърнем внимание на второто твърдение. Защото първото е част от него. Ако вече, самия университет е с имидж на по-добър ,т.е. след като го завършат излизат и се реализират повече историци, отколкото ...конквистадори, тогава вече, обръщаме внимание на дискриманицаята от първото твърдение.
И така, ако не се обединяват различни твърдения, до които се е стигнало с различни предпоставки, няма да имаме парадокс.
Примера на полския учен с баскетболистите имаше общо и с реална "покупко-продажба" на играчи, май. А когато става въпрос за пари, е много важно да няма парадокс... освен да не ти послужи пред банката или някой друг, на когото имаш да връщаш.

Сериозната част е в лекарствата и болестите. затова и съм сериозна, освен в това, което пиша, но и в участието си въобще по темата.

lilia wrote:

По-сериозният проблем, както вече писах, е друг: никога не можем да гарантираме пълна хомогенност на сравняваните групи. винаги съществува потенциален риск от скрит (неотчетен)Симпсън ефект, който да обърне резултата наопаки.

Може би сте чували израза "човешки фактор" (тип приемливо отклонение, или неточност в изчисленията)
Риск съществува, да, особено, ако е скрит. Тогава започваме да разкриваме и отстраняваме рисковете.
ето още един пример от аптека: човек на средна възраст си купува лекарство и пита фармацевта- младо много симпатично момче: "Мога ли да пия алкохол? С това лекарство едновременно като го приемам?"- отговорът: "Естествено че можете. НО НЕ Е ЖЕЛАТЕЛНО".
От тук насетне скритите рискове и проценти са двустраннозависими, както от пациента така и от тоя, който е продал лекарството. Дори да не е конкретно за алкохолът, говорим за човешки организъм и живот- един не просто низ от рискове, ами тотално чудо на оцеляване. И все пак оцеляваме, без при закупуването на всяко лекарство, храна, кандидатстване някъде и всякакви други неща с основополагащ Човешки фактор, да си мислим за парадокса на Симпсън. Или в най-добрия случай да се успокояваме: Ето, знаех си. Ако се бях сетил за парадокса на Симпсън нямаше да стане така.
И от трета наистина много важна страна. Самото развитие и при фармацията и въобще , е супер зависимо не толкова от парадоксите, а именно от опровергаването им. И това как става? Нямам представа. Но знам, че ... нурофена ми помага по-бързо и по-добре, отколкото 2 аналгина.

*frege, вие сте нинджа :) Исках да кажа, да се извиня, че съ повторила доста неща, но ме мързи да се трия :) на който му е дълго моето да чете Вашето :) Леле, не спим заради тоя парадокс, не е истина. Лека нощ от мен

Re: Лекция на тема "Парадоксът на Симпсън"

Твърдите, че има противоречиви заключения. Това просто не е вярно. Интерпретацията ви на заключенията е погрешна. По-общо, въобще разбирането ви за заключаване, както ни го сугестирате тук, е погрешно, особено по отношение на статистиката. Статистиката работи с вероятности. Вие искате да ни пробутате чиста каузалност.

Математиката е окей, освен странния въпрос за средните. Оставяме го настрана. И изведнъж идват някакви интерпретации, които били проблем. Числата не са проблем, интерпретациите са. Какъв е проблема с интерпретациите? Свеждането им до каузалност.

Лозунгът очевидно е: Статистиката ще ви яви истината. И е хубаво, че статистиката може статистически да покаже, че истината не е (само) в статистиката.

110 (edited by enckoj 22.07.2010г. 08:41:25)

Re: Лекция на тема "Парадоксът на Симпсън"

Противоречивите заключения си противоречат едно на друго.

Не, заключенията не си противоречат едно на друго. Това, че двете неравенства имат един знак, а третото обратен, не означава, че си противоречат. Противоположни знаци не е тъждествено на противоречащи си заключения. Защото, ако в единия департамент се получи, че процентът на жените е по-висок, а в другия - на мъжете, пак ще имаме две неравенства с противоположни знаци. Това противоречиви заключения ли са? Какво противоречиво има в единия департамент мъжете да са се справили по-добре с конкурса, а в другия - жените?
Противоречивостта на заключенията (според тези, които твърдят, че съществува парадокс) е в следното: В посочваните от тях примери, винаги имаме за частите от съвкупността две неравенства с един знак, а за цялата съвкупност - трето неравенство с противоположния знак. Това противоречи на очакването им (както те се изразяват: "противоречи на здравата логика"), че това не бива да се случва. Обаче не могат да обяснят защо не бива да се случва - кой, кога и къде е доказал, че не може да се случи това.
Между другото, в статията на Симпсън, от където тръгва всичко, е показан пример, при който в групите има две НЕРАВЕНСТВА, а в цялата съвкупност РАВЕНСТВО. Това също се смята за парадокс - защото зависимостта, която се наблюдавала в частите, не се потвърждавала за цялата съвкупност. Обаче и той не се аргументира, защо трябва да се потвърждава. Тръгнем ли по тази логика, можем да говорим за парадокс и в случаите, при които в частите на съвкупността има еднаква тенденция с тази на цялата съвкупност, но изразена в много по-малка или много по-голяма степен.
Например, за мъжете и жените поотделно, едно лекарство да показва значително по-добри резултати от друго, а за всички заедно - пак да са по-добри, но това да е изразено много по-слабо и неубедително. Това също е напълно възможно и не е трудно да се приведат примери, но сега нямам време за това.
С други думи, резултатите поотделно може да означават: "със сигурност лекарство А е по-добро от лекарство Б", а за цялата съвкупност да означават: "вярно, че резултатите на А са по-добри от Б, ама разликата е толкова незначителна, че може да е в рамките на стохастичната грешка, и не е оправдано да се взема предвид".
Това пак противоречиви заключения ли са?
Ако приемем, че са противоречиви - защо? Та не е ли ясно, че разлика между степените на зависимост в частите на съвкупността и в цялата съвкупност, ще съществува почти винаги (на практика - винаги). Понякога тази разлика е по-малка, друг път - по-голяма. В кой момент големината на тази разлика започва да прави заключенията противоречиви и защо?
Ако приемем, че не са противоречиви - пак не излиза.
Значи, от частите може да излиза с 99% сигурност, че лекарство А е по-добро от лекарство Б, а от цялата съвкупност, това да се потвърждава с 1% вероятност (това е напълно възможна ситуация). Ясно е, че 1% вероятност си е просто нищо и е трябвало още малко вероятността да стане 0% (както в статията на Симпсън), и пак още малко - тя да се обърне в обратна посока и да стане минус 1%. И тогава вече да бием тъпана: "Имаме парадокс на Симпсън".
От математическа и статистическа гледна точка (пък и от нормална общочовешка гледна точка), разликата между 30% вероятност и 3% вероятност в частите и в цялото е доста по-голяма от минус 3% в частите и плюс 3% в цялото. Обаче в първия случай и двете са положителни и не ни прави впечатление, а във втората - с различни знаци, и ни си струва парадоксално.

111 (edited by enckoj 22.07.2010г. 08:47:10)

Re: Лекция на тема "Парадоксът на Симпсън"

1/5 < 1/4, a 7/13 > 6/13, независимо дали ще изразим тези дроби по този начин или като десетични.

То е ясно, че щом една обикновена дроб е по-малка от друга, това е валидно и ако я изразиш чрез десетична дроб.
Аз имах предвид, че "парадоксът" не се получава, ако от самото начало направиш изследването така, че знаменателите да са едни и същи. Т.е., ако частите на съвкупността са с еднакъв брой единици и вътре в тях разпределението по двата признака също е по-равно.

"Пак статистици са изчислили, че вероятността един статистически резултат да бъде обърнат вследствие на Симпсън ефект е 1/60. Не знам как са го изчислили, но това не е никак малка вероятност."

И аз не знам що за статистици са го сметнали това (дай линк да видим, кой е този капацитет), обаче ако всичко е направено както ти казвам, "парадокс" не може да се получи - бъди сигурна!
Например, ако искаш да изследваш заболеваемостта при черните и белите от туберкулоза в два града (Ню Йорк и Ричмънд, например), достатъчно е в двата града да вземеш еднакъв брой хора за наблюдение, които да са разделени по равно на черни и бели.
Ако имаш 1000 души от Ню Йорк и 1000 души от Ричмънд, от които по 500 бели и по 500 черни - каквито и резултати да се получават, "парадоксът" е изключен.
Защото ще имаш например, а1/500>b1/500 за Ню Йорк, и а2/500>b2/500 за Ричмънд. Това винаги ще означава, че а1>b1 и а2>b2, независимо какви стойности имат а1, а2, b1 и b2. Нали не се съмняваш в това?
Оттам пък, винаги ще е валидно: (а1+a2)/1000>(b1+b2)/1000, защото числителят на дробта отдясно ще е сбор от по-големите числа, а този в ляво - на по-малките. Следователно, винаги трите неравенства ще са с еднакви знаци, и "парадокс на Симпсън" няма да съществува.
Както виждаш, не е нужно да си кой знае какъв статистик, за да го сметнеш това. Така че, тоя дето ти е казал за вероятността от 1/60 (що пък точно 1/60???), му прати много здраве от мен...

Re: Лекция на тема "Парадоксът на Симпсън"

yunuz wrote:

  Числата не са проблем, интерпретациите са. Какъв е проблема с интерпретациите? Свеждането им до каузалност.

Много добре, Юнуз, това е една от хипотезите защо се получава парадокс при интерпретациите.

Само че не АЗ свеждам интерпретациите до каузалност. Това е масова практика. Когато ви заливат с твърдения от типа "пушенето увеличава риска да заболеете от рак", "редовната консумация на кисело мляко удължава живота", "спортът ви помага да се справите с депресията" и т.н., които са по същество КАУЗАЛНИ твърдения, аргументите, които привеждат в тяхна защита са най-често статистически. Хубаво е да се знае, че степента на доказаност на тези твърдения не е по-висока от тази на което да е друго индуктивно твърдение - винаги е налице риск все още неизвестен факт да обърне извода наопаки. И ползата от парадокса на Симпсън е тази, че ни показва как това е възможно да стане със статистически обосновани изводи.

It's not what happens to you but how you react to it that matters...

Re: Лекция на тема "Парадоксът на Симпсън"

Към ЕНКОЖ:

Не знам защо не се четем внимателно: и аз казвам че няма противоречие между неравенствата, противоречието е между интерпретациите им; също мисля нямаме различия по въпроса за чисто математическите условия, които трябва да са налице за да се прояви парадоксът. Това, върху което не можем да се разберем са следните две неща:

1) интерпретациите на парадокса - ти казваш, че парадоксалните интерпретации са ОК, за мен те  не са ОК;

2) ти твърдиш, че парадоксът се появява само ако не са подбрани добре извадките, т.е. при порочна практика от страна на статистиците; аз твърдя, че и най-добрата статистическа практика не може да ни гарантира, че получените резултати не могат в бъдеще да се обърнат, поради неотчитането влиянието на скрит, неизвестен фактор, който може да отключи ефекта на Симпсън.

It's not what happens to you but how you react to it that matters...

Re: Лекция на тема "Парадоксът на Симпсън"

О, ама това, че в общественото пространство се разпространяват разни глупости, представени като статистически изследвания, то е съвсем друга тема. И е безкрайна, като вселената и човешката глупост. Там са възможни общо взето три варианта:
   1. Изследването е нпаравено от пишман-специалисти и няма никаква стойност.
    2. Изследването е добро, но се представя от медиите по безобразен начин.
    3. Нито изследването е направено като хората, нито медиите го интерпретират както трябва.
Обаче, Симпсън няма вина за това.

Re: Лекция на тема "Парадоксът на Симпсън"

1) - това е въпрос на мнение, затова няма смисъл да го дискутираме.
2) - нали ти дадох пример с Ричмънд и Ню Йорк? При него не може да се получи парадокс.

Re: Лекция на тема "Парадоксът на Симпсън"

Тъй като известно време ще имам ограничен достъп до интернет, ще трябва да приключа участието си в тази дискусия, а и тя наистина "зацикли". Мисля, че все пак се очертаха пунктовете, по които имаме консенсус и тези, по които едва ли ще постигнем такъв :-).  За мен обаче окончателните позиции на част от участниците са все още неясни.

Така че ви моля, за личната ми статистика :-), да отговорите в случая с изследването на женската дискриминация в двата департамента зад кой извод заставате. Възможностите са както следва:

А/ Дискриминация няма (както показва сравняването на процентите приети мъже и жени по департаменти)

Б/ Дискриминация има (както личи от сравняването на общите проценти приети мъже и жени в двага департамента)

В/ И двата отговора А и Б са верни :-)

Г/ На базата на тези данни не можем да направим извод за наличието или отсъствието на дискриминация.

Фреге? Юнуз? Леда? Енкож?

It's not what happens to you but how you react to it that matters...

117 (edited by enckoj 22.07.2010г. 10:52:49)

Re: Лекция на тема "Парадоксът на Симпсън"

Този въпрос пък за дискриминацията на жените направо ме убива!
:-)
То от самия въпрос става ясно, колко измислен е парадоксът!
Защо дискриминация? Защото са приели по-малко жени ли? Ами ако бяха приели повече - значи има дискриминация на мъжете! Що за логика е това, че щом са приели повече кандидати от единия пол, независимо кой е той, това е дискриминация на другия?
Значи, трябва винаги да се приемат по равен брой мъже и жени, за да няма дискриминация. Обаче не е ясно, какво ще правим ако конкурсът е само за едно място?
Както и да е - да оставим дискриминацията...

Нека се опитаме да зададем въпроса, който мъчи "парадоксолозите".
Имаме два департамента, в които на конкурси са кандидатствали мъже и жени за работа. И в двата департамента, относителният дял на спечелилите, е по-голям при жените, отколкото при мъжете. Т.е., жените са показали по-добри резултати.
Общо за двата департамента обаче, е обратно - относителният дял на спечелилите при мъжете е по-голям от този при жените. Т.е., мъжете са се представили по-добре.
Какъв е въпросът, над който разсъждават тези, които твърдят, че има парадокс?
На мен лично ми е много трудно да го формулирам.
Като се абстрахираме от дискриминацията, въпросът би трябвало да звучи горе-долу по следния начин: "В крайна сметка, мъжете или жените са показали по-добър резултат на конкурса (мъжете или жените имат по-висок относителен дял приети)?"
Това е въпросът, нали така? Ако греша, поправете ме.
ОК, ама този въпрос не ви ли се струва малко недовършен?
Защото на него е най-логично да се отговори също с въпрос: "По-добри резултати къде? Ако ви интересуват общите резултати (а обикновено те са важни), мъжете са показали по-добър резултат. Ако ви интересуват резултатите по департаменти поотделно (не е невъзможно някой да се интересува от това), жените са се представили по-добре."   
Тук (за разлика от примера с болните от туберкулоза, където този който провежда изследването определя какви групи да състави, и ако не му харесват резултатите, може да направи друго изследване), тук броят на явилите се и тяхното разпределение по департаменти и по пол не зависи от никого. Затова трябва да го приемем такова, каквото е.
Затова трябва да кажем: "Ако в двата департамента се бяха явили еднакъв брой кандидати, разпределени по равно на мъже и жени, тогава би било изключено да има разминаване между резултатите по департаменти и общо, и въпросът: кой се е представил по-добре, винаги би имал еднозначен отговор. Когато обаче не се явят еднакъв брой кандидати в двата департамента и те не са разпределени по равно мъже и жени, става възможно да се получат различни резултати.
Това не се случва много често, но все пак не е изключено, и в случая е станало точно това.

Такива са въпросът и неговият отговор, независимо дали на някого му харесва или не.

118 (edited by enckoj 22.07.2010г. 12:44:03)

Re: Лекция на тема "Парадоксът на Симпсън"

Представете си, че ви боли глава. Отивате в близката аптека, където ви предлат лекарството Х. Питате машинално: помага ли наистина? И получавате следния отговор: ами зависи, като цяло помага, но при мъжете и при жените усилва главоболието. Как ще реагирате на такъв отговор? Енкож твърди, че този отговор бил нормален.

Не съм твърдял, че е нормален такъв отговор.
Нормалният отговор на аптекаря на въпроса "помага ли лекарството?", би бил:
"Какво да ви кажа? Изследването го направиха някакви набедени статистици, които вместо да вземат еднакъв брой мъже и жени, които да са разпределени по равно, според това дали са ползвали или не са ползвали лекарството (все пак, те определят кой да попадне в изследването и не е проблем да го направят), вместо да направят това, те излъчиха съвсем различни квоти от мъже и жени, в които отгоре на всичко - употребявалите и неупотребявалите лекарството са разпределени твърде неравномерно.
И в резултат на това, сега за мъжете и жените се получи едно, а за всички общо - съвсем друго. Би трябвало да направят по-хомогенно изследване, за да се получат еднозначни резултати за лекарството - помага или не помага."

И все пак, според мен по-важно е какво показват резултатите общо. Защото ако за цялата съвкупност, те показват, че лекарството помага, би трябвало да се доверим на това. А това, че мъжете и жените са разпределени неравномерно, не е такъв проблем, ако не се интересуваме от резултатите поотделно за тях.
И би трябвало в едно следващо изследване, което е направено при по-равномерни разпределения на мъже и жени, резултатите в групите да потвърдят общите резултати, а не обратно.
Не съм мислил по този въпрос, затова не съм съвсем сигурен.
Ето защо, ако изследването се прави по начина, по който описах за болните от туберкулоза по-горе - такива главоблъсканици ще отпаднат.
Те ще останат само в случаите, когато това разпределение е обективно и не зависи от провеждащите изследването (то, тогава не става въпрос и за изследване) - като в примера с изпитите в департаментите.

Re: Лекция на тема "Парадоксът на Симпсън"

ако под 'дискриминация' разбираме това, че са приети повече мъже отколкото жени, такава несъмнено има.

бих разправил историята така: два изпита, труден и лесен; жените предпочитат да се явяват на трудния където, закономерно, се провалят; на него мъжете се провалят още по-лощо, но те по-масово избират да се явяват на по-лесния изпит. в резултат тяхната обща успеваемост е по- добра. интересно е да се отбележи, че когато жените се явяват на по- лесния изпит те и там показват по-добри резултати.

следствието от неудачния им 'женски' избор бива маскирано с оценъчния термин 'дискриминация'.

Re: Лекция на тема "Парадоксът на Симпсън"

Понеже сте се заговорили за парадокси,възможно  ли е да ми обясните и парадокса на Гудмън за "грю".
Ако може със статистика,по-убедително е.

Stay focused! In the zone... making magic.