166 (edited by knb 26.07.2010г. 19:38:08)

Re: Лекция на тема "Парадоксът на Симпсън"

Мерси, Енкой, имам предвид следното: по твоя пример средният успех на жените в първия деп. (А) е 25, на мъжете-20.
Средният непретеглен на всички в А (5 по 20=100 точки плюс 8 по 25) / 13 участника = 300/13=23.08.
За втория деп. Б съответно: 1000/13 или 76,92.
Среднопретеглената на А колко е, и колко на Б?
Претеглено А процентът на жените е 5/13, на мъжете е 8/13, т.е. ~38%  и ~62 % - 0,38*20+0,62*25=7,69+15,38=23.08. Защо се получава същото като непретегленото 300/13 или аз нещо греша?
Същото е за Б.

Re: Лекция на тема "Парадоксът на Симпсън"

Средният непретеглен на всички в А (5 по 20=100 точки плюс 8 по 25) / 13 участника = 300/13=23.08.

Това не е непретеглена, а претеглена средна. На числата 20 и 25 с тегла 5 и 8, съответно.
Непретеглената в случая е (20+25)/2=22,5.
Кажи нещо за "парадокса на Симпсън".

Re: Лекция на тема "Парадоксът на Симпсън"

enckoj wrote:

Средният непретеглен на всички в А (5 по 20=100 точки плюс 8 по 25) / 13 участника = 300/13=23.08.

Това не е непретеглена, а претеглена средна. На числата 20 и 25 с тегла 5 и 8, съответно.
Непретеглената в случая е (20+25)/2=22,5.
Кажи нещо за "парадокса на Симпсън".

Хм, Енкой, признавам си че това за мен е малко неочаквано-сборът от всички точки, разделен на броя участници, да дава претеглена средна...

Първо, ОСНОВНИЯТ ми въпрос към теб е такъв-като изчислим претеглените средни (ПС) за двата департамента А и Б-какво след това да правим с тези две величини-какъв е смисълът и можем ли да ги обединим в една и какво ще ни донесе това? Т.е. ако за деп. А ПС е 23.08 при непр. средна (НПС)=22,5, а за деп. Б ПС е 76,92 при НПС =77,5-какво следва оттук? Напр. Средната между НПС е половината от 77,5+22.5 или 50-как да интерпретираме това, може ли въобще да се открие връзка между двата департамента като брой точки, брой участници, пол на участниците и пр., или не (както на мен ми се струва-защото „парадоксът” на С. Първо ги разделя, после се опитва да ги обедини, не успява и се изненадва от този си едва ли не предизвестен неуспех)? Редно ли ще е на база 300/1300 и 1000/1300 да дадем тегла на точките от А и Б съответно от 0,23 и 0,77 и след това да сметнем 0,23*23,08+0,77*76,92+=5,31+59,23=64,54 и как да интерпретираме това число? Вчера направих няколко подобни такива комбинации за себе си, но в един момент се получава като при модерните финансисти-решават някаква математика, получават накрая нещо с много гръцки букви в него и след това се чудат какъв е „икономическият му смисъл”...

Второ, би ли пуснал малко подробности за връзката между средни и вектори-къде е обяснено това?

Трето, за претеглената средна аз зная следното: имаме например фирма с оборот 560 000 лв.-продава 2 продукта-ябълки и круши. Ябълките са 40% от продажбите (т.е. 224 000), крушите са 60% (т.е. 336 000). Надценката на ябълките е 2% (т.е. 4480 общо), надценката на крушите е 22% (т.е. 73 920 общо). Средната надценка непретеглена наистина е ½ от на двете групи, демек 22+2 делено на 2 или 12% (или 67 200)-но тя е неинформативна, много са големи отклоненията й и от двете реални неща. Претеглената е 0,4*0,02+0,6*0,22 или 0,008+0,132=0,14 или 14% (т.е. 78 400)-пак е отдалечена от двата екстрема, но е по-близо до онзи края с по-голямото тегло (22-14=8, а 14-2=12). Едно е 67 200, друго е 78 400 като косвена формула, трето е 4480+73 920=78 400 като пряко събиране на надценките-както се вижда претеглената е точна. За мен такъв („Симпсънов”) парадокс не съществува-още на първата страница тук в темата от Станфордската Енциклопедия като замениш обикновените дроби с десетични и числовият им пример-резюме отива на кино...а претеглените средни съвсем го унищожават този „парадокс”-предлагам да спрем да си губим времето с него и да се съсредоточим върху статистиката и възможните й употреби в „живота”.

Четвърто, за мен много по-интересен въпрос е-от какво се определя кога да се използва дадена математическа техника-кога да е средна аритм., кога да е претеглена, кога да е геометрична, хармонична и пр.-от какво зависи това-математически въпрос ли е, или е някаква по-фундаментална, качествена, пред-математическа зависимост откъм страната на „обектите”, някакви техни базисни принципи?

Пето, ще дам пример-как определяме колко индивида в популация са ни достатъчни за средна величина-1, 2, 3...10? Някъде бях чел че трябвало да са поне 20 (но това е „правило на палеца”, необосновано)-колко голямо трябва да е числото, за да се задейства „законът на големите числа”?
Колко големи трябва да са отклоненията между стойностите на индивидите, за да се насоча към претеглена средна? Има ли смисъл да измеря площта на кожата, одрана от голям тигър (5 м2 примерно) и от малко тигърче (0,8 м2) и да кажа, че средната е 2,9-какво печеля с това? Или да измеря средна геометрична (с корен=степен като на броя в произведението им) между тегло на всички паднали микроастероиди в дадена област и теглото на домакините-съпруги на работещите в завода за керамични плочки в централния град-какво ще ми даде това като връзка? Математиката открива връзки навсякъде, но винаги ли са връзки те? Дето викаше един познат-каква е взаимозависимостта между миграциите на бизоните и движението на борсата в САЩ? Интересува ме кога математическите операции придобиват смисъл и дали това е=”употреба” в реалния свят и какво е тук „реален” и „свят”? Не е ли качеството преди количеството като начин на мислене тук и в подобни ситуации?
Например аз съм зоолог, намирам 3 екземпляра от нови вид змии-с дължина 32 см., 33 см. (мъжки) и 31 см. (женска)-претеглена или непретеглена да използвам за да намеря отличителна черта на вида? Или от друг вид намирам 9 екземпляра-7 женски с дължина 31, 31,5, 32, 32,5, 33, 33,5, 34 и 2 мъжки с дължина 49 и 50 см.-да използвам ли претеглена? Защо в този случай съм по-склонен да го направя, а в предния-да не го направя?

Шесто, накратко: кога да използвам един или друг вид средна? При факти, при състояния, при процеси, при зависимости...би трябвало да са различни подходите-такива ли са те?

Седмо, извинявам се за дългия пост....

169 (edited by enckoj 27.07.2010г. 09:17:13)

Re: Лекция на тема "Парадоксът на Симпсън"

Много въпроси, затова подред...
В статистиката въпросът за разликата между две средни аритметични, претеглени с различни тегла и особено въпросът: на какво са дължи тази разлика, е доста съществен. Защото, когато имаш повишение на една цена от да речем 10%, добре е да знаеш каква част от тези 10% се дължи на увеличението на цените на стоките, и каква - на промяната на количествата продадени от тях. 
За първи път въпросът за разликата между претеглените средни си го задава Уоли (мисла, че така се казваше) през 1903г.
Донякъде смислен отговор му дава Борткиевич през 1923г., като предлага една формула - много известна в статистиката.
Тази формула обаче има някои доста съществени недостатъци и аз ги показах в една моя статия, която излезе в списанието на МГУ в началото на тази година.
Както и да е, въпросът с разликите между претеглените средни е доста сериозен, а аз твърдя че при "парадокса на Симпсън" просто сравняваме претеглени средни.

Re: Лекция на тема "Парадоксът на Симпсън"

Второ, за връзката между претеглени средни и скаларни произведения на вектори, не ми е известно някой друг освен мен да е писал. Може и да греша, но все пак статията ми по тая тема беше прочетена от доста хора, и все някой щеше да се сети, че не съм първи.
Тя може да се прочете в сайта на годишника на ВУЗФ.
Честно казано, като статия не я харесвам много - имах кратък срок и не я доизпипах.
Така или иначе, методът, който предлагам, за първи път видя бял свят чрез нея.
За съжаление, тогава не бях чувал още за "парадокса на Симпсън". Иначе щях да спомена и за него в статията.

Re: Лекция на тема "Парадоксът на Симпсън"

Трето, и според мен "парадокс на Симпсън" не съществува, и става въпрос за съвсем тривиалния факт, че в някои случаи непретеглената средна на няколко числа може да се променя в една посока, а претеглената им - в обратната. Това не се случва толкова често, но в никакъв случай не е невъзможно. Още по-малко - парадоксално.

Re: Лекция на тема "Парадоксът на Симпсън"

Четвърто, в случая зависимостите се представят като отношение между претеглени средни АРИТМЕТИЧНИ. Не могат да се представят като ГЕОМЕТРИЧНИ средни (поне аз не виждам как). Затова и говорим за аритметични средни, а не за някакви други.

Re: Лекция на тема "Парадоксът на Симпсън"

Петия въпрос не го разбрах много добре...
И на 2 числа можеш да изчислиш средна и на 2 милиона числа - също. няма значение колко са числата, за да изчисляваш средна. Теоретично, и на едно число можеш да изчислиш средна - самото число.

Re: Лекция на тема "Парадоксът на Симпсън"

enckoj wrote:

Петия въпрос не го разбрах много добре...
И на 2 числа можеш да изчислиш средна и на 2 милиона числа - също. няма значение колко са числата, за да изчисляваш средна. Теоретично, и на едно число можеш да изчислиш средна - самото число.

Това е ясно, но винаги ли, дали, кога и защо да го правим?
Енкой, опасявам се че започваме да се отклоняваме от статистиката като такава-както въпрос 2, така и 5 могат да се сумират в едно: има ли и в какво се състои, разликата между практиката на статистиката и интерпретацията на тази практика?
Защото ако няма, отпада самият въпрос.
Под практика на статистиката разбирам процеса на изчисляване-да речем, на средни стойности от един вид, или от друг вид, разпределения и пр.-това може и трябва да бъде машинизирано, защото е „нечовешка”, чисто количествена дейност-с оглед по-голяма изчерпателност, точност, бързина и качество на резултатите е препоръчително да се върши от компютър (от което не следва, разбира се, че аз или ти като човек не трябва да сме в течение и че можем  да си позволим да не знаем какво точно прави компютърът-точно обратното, човекът задължително трябва да има ниво на владеене на техниката, казано простичко, да може да смята и той така, ако не и чак толкова бързо...).
Под интерпретация разбирам избора на модел, форма за практиката-например дали да се използват в даден случай (случаят е даден на човек, не на машина-само човекът може да разбере нещо като „случай” и да го даде на компютъра за смятане) претеглени или не-претеглени средни, или аритметични, или геометрични средни и пр.
За да обобщя-тъй като практиката на статистика не е като практиката на водопроводчика или гробаря, т.е. статистикът не работи с материя и с промяна статуса на вещите, а с идеи, мисли, то интерпретацията на тази практика всъщност е интерпретация на теоретично действие, е теория не на практика, а на теория (било дали самият статистик интерпретира своята, или пък на друг статистик, практика), то...въпросът е що е то средна величина (на нея се крепи цялата статистика) и на какво е средна тя?
Моето предложение за насока на отговора е, че от гледна точка на практиката, средната е разбера се средна на други величини-независимо каква е формулата за определяне на средната, тя е количество, съставено от под-количества.
От гледна точка на интерпретацията на статистиката и самата средна обаче, средната е средна в един друг смисъл-като намираща се по средата между нещо обективно и нещо субективно.
Обективното нещо се състои от своя страна от две „части”-популацията от индивиди, чиито черти мерим, изчисляваме, и закономерностите, които свързват тези индивиди под формата на някакъв модел, форма, независеща от човека-статистик. Напр. събираме данни, групираме ги и разбираме, че те образуват графика на „нещо”, което в символен израз дава еди-каква си формула на някакъв тип разпределение.
Субективното нещо също се състои от две „части”-от моето разбиране, идея за „нещото”, скрито зад графиката или числовата си формула-израз и от решението ми какво да правя с него, с тази „същност”, как да я употребя-тук влиза така сполучливото нареченото „математическо очакване”.
Или, струва ми се, че обективните две части са с явен (но не само такъв) количествен характер, докато двете субективни части са с пак с явен, но отново не само такъв, качествен характер-изборът ми какъв вид формула да пробвам, за да отгатна закономерността зад данните, както и мотивите ми зад това мое евентуално действие. Именно това е неколичественото, качественото, човешкото като елемент от системата 1. „външен свят”=(2. данни+3. закономерност) и 4. „вътрешен свят”=(5. описание на закономерността+6. използване на това описание.)
В крайна сметка средната като количество, колебаещо се около една закономерност (стойност, разпределение) е по средата между 1.- света (който е качествен, не-разложим на изброими части) и между 4.-света, който също е качествен-това е моето съзнание, в него не мога да кажа колко повече (със степени) обичам сладолед от моркови например, а само че предпочитам сладоледа пред морковите и т.н., т.е. когато правя изборите си, взимам решенията си, се ръководя от подредби, от степени, а не от измерими по интензивност преживявания.
Каква е двойната връзка между обективното качество и обективното количество веднъж, и втори път-между субективното количество (възприеманото от мен като характеристика на мерените процеси число) и субективното качество, е допълнителен въпрос, на който не мога да дам отговор-само го поставям като такъв.
Какво е „качество”?
Съвсем бегла историческа „справка” сочи, че от много време насам „философите” са склонни да го поставят като собствено свой въпрос, вместо да се концентрират върху количеството, какво е качеството на „Света”-изцяло и изобщо-това са съвсем резонни по-нататъшни питания.
Платон и последователите му дават развитието на „всичко” така: Единно (пълнота)-Числа-Ум (с идеи, ейдоси в него)-Световна Душа-Материя-Вещи-Индивидуално Тяло-Индивидуално Душа-видно е че числата, количеството са след Единното, Абсолютното (ако и те да не са съвсем същите числа като тези тук, които използваме за броене на предмети, а техните очистени от съдържание първообрази).
Хегел при извеждането на своите основни понятия (категории) поставя качеството преди количеството, за да ги съвмести после в мярката.
Витгенщайн пише следното в „Бележки върху логическата форма”:
One might think - and I thought so not long ago - that a statement expressing the degree of a quality could be analyzed into a logical product of single statements of quantity and a completing supplementary statement. As I could describe the contents of my pocket by saying "It contains a penny, a shilling, two keys, and nothing else". This "and nothing else" is the supplementary statement which completes the description. But this will not do as an analysis of a statement of degree. For let us call the unit of, say, brightness b and let E(b) be the statement that the entity E possesses this brightness, then the proposition E(2b), which says that E has two degrees of brightness, should be analysable into the logical product E(b) & E(b), but this is equal to E(b); if, on the other hand, we try to distinguish between the units and consequently write E(2b) = E(b') & E(b''), we assume two different units of brightness; and then, if an entity possesses one unit, the question could arise, which of the two - b' or b'' - it is; which is obviously absurd.
Т.е. съвсем не е нужно някой да е „последовател” на Платон, Хегел или Витгенщайн, или пък почитател на дзен и мотоциклетите, за да си зададе въпроси, свързани с качеството и неговите отношения с количеството-те просто се натрапват на нас-благодорение на нашата „конституция”.
Т.е. средната стойност е количествен израз на някакви качества, които са свързани в закономерност-гравитират около „нещо”, което в стари времена са наричали „порядък” или логос на света-и на външния, и на вътрешния.
Но кое сме готови да възприемем като ред, и кое-като липса на ред? Което съдържа повторяемост или еднаквост-като това че средната на единицата е пак единицата, на всяко число е самото число, или средната на няколко еднакви числа е кое да е от тях?
Или че нулата няма средна, защото не можем да делим на нула?  Или че едницата присъства във всяко число като факта на неговото равенство със самото него? Възможно ли е да намерим такива данни, които да не носят никакъв ред помежду си (напр. Брауновото движение), в себе си-някъде бях чел че веществото в космическото пространство е разпределено по Поасон-какво значи това?
Или, за да завърша с ново резюме на двата въпроса към теб и всички останали тук-то първото ми изречение-що е то „средната величина”, винаги ли е математическа (има ли, примерно, средна между цветове на художническата палитра и каква?) тя и какво да правим с нея в този и други случаи?

Re: Лекция на тема "Парадоксът на Симпсън"

knb, въпросът ти е прекалено философски за мен и не бих могъл да му отговоря.
Ще ти кажа само какво е средна от статистическа гледна точка.
Средната се определя като център на разпределението. Какво означава това?
Имаш да речем сто души, които са с различна височина. Обикновено те се разпределят по височината си в т. нар. "нормално" или "Гаус-Лапласово" разпределение - тези със среден ръст са най-много, а тези с по-висок и по-нисък ръст - по-малко. Тук не мога да го начертая, но да речем, стоте души се разпределят така:
174 см. -   3 души
175 см. -   7 души
176 см. - 11 души
177 см. - 18 души
178 см. - 24 души
179 см. - 22 души
180 см. - 11 души
181 см. -   4 души

Това е разпределението. Средната претеглена е: 174*3 + 175*7 + ...
Получава се (ако не съм сбъркал в изчисленията) - 177,8 см.
Това е центърът на разпределението по височина на 100-те души.
С това обикновено започват учебниците по статистика.

Re: Лекция на тема "Парадоксът на Симпсън"

enckoj wrote:

knb, въпросът ти е прекалено философски за мен и не бих могъл да му отговоря.

Не се притеснявай, то и аз не мога.
По-горе искаш да кажеш че примерът е от типа 174*3/100+175*7/100-нали?

177 (edited by enckoj 27.07.2010г. 14:58:50)

Re: Лекция на тема "Парадоксът на Симпсън"

Обаче, не винаги претеглената средна е център на разпределението - просто защото няма такова разпределение (нито "нормално", нито каквото и да е).
Например, имаш фирма с четири офиса, в които средните заплати и броя на служителите са следните:
Офис А - 511,26 лв. - 11 души
Офис Б - 648,05 лв. -   8 души
Офис В - 498,36 лв. - 21 души
Офис Г - 549,43 лв. - 22 души.
Виждаш, че тук за разпределение не може да се говори. Аз съм подредил офисите по азбучен ред. Не, че не могат да се подредят по размер на средната заплата, но и тогава, едва ли може да става въпрос за някакво разпределение, че и за негов център.
Освен това, налице е съществена разлика в двете разпределения.
В първото, ако някой увеличи височината си, се премества в друга група на разпределението, която става с една единица повече, за сметка на групата, от която е излязъл.
Във второто разпределение, ако някой от офисите увеличи заплатата си, той не се премества в друг офис. Броят на служителите в офисите остава непроменен, но се увеличава средната заплата в неговия офис.
Въпреки това, не е проблем да се изчисли средната заплата във фирмата и тя се изчислява по същата формула. Получава се: 538,09 лв.
Тук обаче, тя не е център на разпределението. Поне не в смисъла, за който стана въпрос по-горе.
Това е в общи линии.

Re: Лекция на тема "Парадоксът на Симпсън"

По-горе искаш да кажеш че примерът е от типа 174*3/100+175*7/100-нали?

Точно така.

Re: Лекция на тема "Парадоксът на Симпсън"

А за палитрата. Средната аритметична е винаги математическа. Ако цветовете могат да се изразят с някакви числа (мисля, че не е трудно това да се направи), не е проблем да им се изчисли средна.
Има една мисъл на Гьоте, която много подхожда на статистиката: "Измервай измеримото и прави неизмеримото - измеримо."
Статистиката се стреми на всяко явление да даде количествен израз, за да може да го измери.

180 (edited by knb 27.07.2010г. 16:25:33)

Re: Лекция на тема "Парадоксът на Симпсън"

enckoj wrote:

Виждаш, че тук за разпределение не може да се говори. Аз съм подредил офисите по азбучен ред. Не, че не могат да се подредят по размер на средната заплата, но и тогава, едва ли може да става въпрос за някакво разпределение, че и за негов център.

Това не е ли, защото нямаме отделните заплати вътре в 4-те офиса, а боравим направо с агрегирани величини?
Подредени по големина ще дадат нарастваща линия, вярно е.
Така или иначе, средноаритметичната я има: 551.78.
Тогава какво ни пречи да ги групираме така:
498.36
511.26
551.78 (средна)
648.05
549.43
Не е ли тази привидна липса на център дължима на много малкото на брой данни, още повече-обобщени?
Няма ли да се получи многоъгълник-някакво грубо подобие на нормално разпределение?
Ако знахме отделните заплати и ги групирахме няма ли да имаме още по-точно приближение до "камбаната"?

P.S. Всъщност, част (голяма) от горното ми мнение е глупост-нямаме право да ги групираме така, защото в камбаната те се подреждат не само по размер, а и по честота, а тук честотата е една и съща-по веднъж на всяка стойност.
Но го оставям като паметник на неграмотността ми :-) в крайна сметка ще се получи наистина линия без форма и тенденция (понеже всяка заплата съществува едновременно с всички други и не можем да предпочетем един начин за подреждане пред друг) продължавам да твърдя обаче, че ако имаме по-пълни данни с повторяемост на големината на заплатите, вероятно ще се получи камбана?