Философски форуми — Correlation and causation

Re: Correlation and causation

null@example.com (enchoj) — Fri, 28 Mar 2014 13:40:22 +0000

Хайде още един пример, за да бъда по-убедителен.
Това е класическият пример за зависимостта на добивите от една селскостопанска култура от количеството употребен препарат за торене.
Нека си представим, че имаме много сескостопански площи, при които изследваме зависимостта на добивите от препарата.
Според корелационния и регресионния анализ, ако зависимостта е пълна (функционална) точките с координати - стойностите на двата признака през някоя година, ще лежат на една регресионна права. Колкото по-далече е зависимостта от пълната, толкова точките ще са по-отдалечени от правата, което пак според корелационния и регресионен анализ, се дължи на странични или случайни фактори.
Обаче...
Най-напред, пределно ясно е, че дори и да не употребим никакъв препарат за торене, в площите все пак ще има някакви добиви от селскостопанската култура. Нека ги наречем условно - "естествени добиви".
На координатната система точките на тези естествени добиви ще са върху ординатата.
Всъщност, влиянието на препарата се изразява именно в превишението на добивите, получени чрез него над естествените добиви.
Освен това е ясно още, че тези естествени добиви при различните площи малко или много ще се различават помежду си и би било някакво почти невероятно изключение, площите да са подбрани по такъв начин, че всички те в тази година да имат едни и същи естествени добиви.
И най-накрая, ясно и това, че естествените добиви на различните площи по никакъв начин няма да зависят от препарата, както и от неговата ефективност - те затова са естествени.
Така...
Нека сега си представим, че сме намерили препарат за торене, който е абсолютно ефективен, т.е. зависимостта на добивите от него е пълна.
Това означава, че този препарат винаги предизвиква едно и също увеличение на получените над естествените добиви, според количеството на неговата употреба, и върху това влияние не влияят никакви странични фактори. Например, ако употребим 10 кг. от препарата, добивите се увеличават над естествените със 100 кг., ако употребим 11 кг. препарата, добивите се увеличават над естествените със 110 кг. и т.н.
Тогава, ако в различните площи употребим различно количество препарат, ще получим различни количества добиви. Тези добиви ще са различни, но ще превишават по един и същ начин естествените добиви в съответната площ, т.е. правите, които преминават през точките на естествения и получения добив за всяка площ, ще сключват един и същ ъгъл с абсцисата.
Но тъй като, колкото и да е ефективен препаратът, точките на естествените добиви, лежащи върху ординатата не съвпадат помежду си, то и въпросните прави няма да съвпадат и точките на получените добиви няма да лежат на една права.
Така се оказва, че макар че зависимостта е абсолютна и по-абсолютна от това не може да стане, защото препаратът влияе по един и същ начин на добивите във всички площи и няма влияние на други фактори, точките не лежат на една права. И причината в това е, че лежат на други прави, които в случая, тъй като зависимостта е пълна, са успоредни помежду си.
Само че това традиционният корелационен и регресионен анализ нито могат, нито си поставят за цел да го установят.

Re: Correlation and causation

null@example.com (enchoj) — Fri, 28 Mar 2014 10:45:03 +0000

Това в общи линии е моята идея.
Ще се радвам да чуя и вашите мнения.

Re: Correlation and causation

null@example.com (enchoj) — Fri, 28 Mar 2014 10:43:08 +0000

Ако мога да направя едно такова сравнение с първото приложение на МНМК от Гаус, в традиционния регресионен и корелационен анализ има толкова логика, колкото би имало ако по една точка от траекториите на множество астероиди, търсим някаква тяхна обща траектория.
Ясно е, че такава траектория винаги можем да намерим.
Това обаче изобщо не означава, че тя съществува и астероидите се подчиняват на нея.

Re: Correlation and causation

null@example.com (enchoj) — Fri, 28 Mar 2014 10:39:46 +0000

Казано по друг начин, точките за различните държави се групират не около обща права, а около индивидуални за всяка държава прави, т.е. зависимостта се проявява по повече или по-малко различни начини при различните държави.
Или още, зависимостта се проявява не между една двойка променливи, а между много такива двойки - колкото са държавите.
Тогава, за да твърдим, че съществува зависимост между признаците, трябва мнозинството от индивидуалните за държавите прави да са в голяма степен "успоредни" помежду си, т.е. да сключват сходни по големина ъгли с абсцисата. Т.е. зависимостта между двата признака да се проявява по подобен начин в преобладаващия брой държави.
Степента на тази зависимост пък ще се определя от една права, която изразява общата или усреднена насоченост на всички индивидуални прави.

Re: Correlation and causation

null@example.com (enchoj) — Fri, 28 Mar 2014 10:35:31 +0000

Тогава, ако трябва да спазваме принципа на Мил, трябва да търсим съответствие между отклоненията на стойностите на двата признака не около техните общи средни (каквито разбира се, винаги съществуват и винаги могат да бъдат намерени), а около техните индивидуални средни.
Следователно, за да твърдим, че съществува зависимост между признаците, трябва при преобладаващия брой държави, да съществува съответствие между вариациите на двата признака. Нещо повече, това съответствие трябва да е общо взето едно и също в този преобладаващ брой от държави.

Re: Correlation and causation

null@example.com (enchoj) — Fri, 28 Mar 2014 10:31:33 +0000

Мисля, че няма смисъл да ви убеждавам, че ако вземем данните за няколко последователни години, точките на държавите изобщо няма да имат такова поведение.
Мога да се обзаложа с всеки, че точката на Таджикистан ще се мести, но ще бъде все в долния ляв ъгъл, а точките на Швеция и Норвегия - все в горния десен ъгъл.
Причината е в това, че стойностите на двата признака на различните държави не варират, както приемат регресионния и корелационен анализ, около една обща средна, а около индивидуални за всяка държава средни.
Оттам, те не се отклоняват от една обща регресионна права, а около множество индивидуални регресионни прави.
Наистина, когато наблюдаваме стойностите на двата признака само за една година, няма как да забележим тези индивидуални средни и инидвидуални прави. Това обаче изобщо не означава, че те не съществуват - защото зависимостта между признаците се проявява не в един-единствен момент, а винаги в някакъв по-дълъг период, в някаква поредица от моменти.

Re: Correlation and causation

null@example.com (enchoj) — Fri, 28 Mar 2014 10:24:04 +0000

Ако това беше вярно, това би означавало, че ако проследим двата признака в няколко последователни години, то БВП на Таджикистан би получавал стойности, които са общо взето по равно разпределени под и над средния БВП за всички държави. Същото се отнася и за индекса на корупция на Таджикистан. Това би означавало, че в поредицата от години, точката на Таджикистан, която на тази графика е в долния ляв ъгъл, ще бъде ту в този ъгъл, ту горе в дясно при Швеция и Норвегия, ту някъде в средата при Турция и Перу - изобщо, ще се отклонява от правата ту в едната, ту в другата посока.
Разбира се, това би трябвало да се отнася не само за точката на Таджикистан, но и за точките на всички останали държави - в поредицата от години да приемат различни местоположения в "елипсата" от точки.
Тогава, наистина би имало смисъл да търсим съответствието между вариациите на стойностите на двата признака около техните общи средни.

Re: Correlation and causation

null@example.com (enchoj) — Fri, 28 Mar 2014 10:16:40 +0000

Ето един пример за анализ на зависимостта между два признака, в случая - на индекса на корупция от БВП на човек от населението.

http://www.creativeclass.com/_v3/creati … ionGDP.png

Общата идея е, че колкото са по-близо точките с координати - стойностите на двата признака до регресионната права, толкова по-близка е емпиричната зависимост до теоретичната. Наклонът на регресионната права пък показва степента на влияние на БВП върху индекса на корупция.
Това, както казахме, тръгва от принципа на Мил и ако стойностите на двата признака варират напълно еднакво - точките ще лежат върху правата. Колкото по-различно варират тези стойности, толкова по-отдалечени ще са точките от правата.
Въпросът е обаче, дали стойностите на признаците варират така както си го представят регресионният и корелационен анализ?
Според тези анализи, стойностите на двата признака за различните държави варират около някакви общи за всички държави средни - среден БВП и среден индекс на корупция.
Дали е така, обаче...

Re: Correlation and causation

null@example.com (enchoj) — Fri, 28 Mar 2014 09:43:17 +0000

Как става така, че имаме математически истини (като статистическите такива), които да са верни в и за физическия свят.

То, в примера, който дадох, се оказва нещо повече - че имаме две противоположни математически истини, като и двете са напълно верни.
Ако изчисляваме коефициентите на корелация и регресия за отделните години, получаваме, че и за четирите години, корелацията е пълна положителна. Ако ги изчисляваме за отделните работници, получаваме, че и за четиримата работници е пълна отрицателна.
Обаче, въпросът е: каква е зависимостта на производителността от трудовия стаж през периода 2010г. - 2013г. и е абсурдно да твърдим, че има две противоположни зависимости между тези два признака. При това - и двете абсолютни.
Всъщност, оказва се, че числата в таблицата имат две двойки групи от по 4 средни (една по години и една по работници) и ако прилагаме принципа на Мил излиза, че има и две групи съответствия на отклоненията от тези средни - едната положителни, а другата отрицателни.
Това разбира се, е абсурд и за да се разгадае този абсурд, трябва да се види около коя от двете групи средни наистина варират стойностите на двата признака.

Re: Correlation and causation

null@example.com (fphgrb01) — Fri, 28 Mar 2014 06:50:11 +0000

Интересна тема! Накратко и от мен.

Мил е емпирицист, радикален. Емпирицизмът е водещата доктрина на съвременната наука. С две изключения. Чиста математика и логика. Традиционно, каузалността се приема само в научен дискурс. Според accepted view причинност може да има само във ... Физически свят, където важат закони, които могат а) да опишат коректно причинността, като явление и б), които могат да я обяснят. Всичко, което не е от/в физически свят не може да се ползва от подобни обяснения. Та, чистата математика във всичките й дялове, и по силата на същата научна семантика, която работи в споменатата наука, не е позиционирана като домейн на съществуване във физическия свят. Нейните елементи са абстрактни, и по дефиниция каузално инертни. Та, това е един от най-големите проблеми в съвременната философия на математиката и не само. Как става така, че имаме математически истини (като статистическите такива), които да са верни в и за физическия свят. Защото науката има доста добра история за чисти физически причини и ефекти но има нула такива за абстрактни истини за неабстрактни феномени. Най-красиво и влиятелно това е описано от Уигнър в статията му "The unreasonable effectiveness of mathematics in the natural sciences". Hope this sheds some light.

Re: Correlation and causation

null@example.com (enchoj) — Mon, 24 Mar 2014 07:08:19 +0000

Ако обаче Ви кажа, че числата в таблицата представляват стойностите на продължителността на стажа и производителността на труда на едни и същи работници в четири последователни години, т.е.:

2010г. 2011г. 2012г. 2013г.
Стаж Произв. Стаж Произв. Стаж Произв. Стаж Произв.
10 145 11 130 12 115 13 100
12 165 13 150 14 135 15 120
14 185 15 170 16 155 17 140
16 205 17 190 18 175 19 160

Как мислите, дали някой ще Ви повярва, че има положителна зависимост на производителността на труда от продължителността на стажа? При това - абсолютна положителна зависимост?

Re: Correlation and causation

null@example.com (enchoj) — Mon, 24 Mar 2014 07:03:05 +0000

Извинявайте за вида на таблицата, но тук е трудно да се направи по-добра.
Ако изчислим регресионните коефициенти в четирите варианта на примера, ще видим, че всички те са равни на 10. Коефициентите на линейна корелация и детерминация също са равни - на 1-ца.
Това, според регресионния и корелационен анализ означава, че и в четирите варианта зависимостта на производителността на труда от трудовия стаж на четиримата работници е абсолютна положителна, като увеличението на стажа с една година, води до увеличение на дневната производителност с 10 единици.

Re: Correlation and causation

null@example.com (enchoj) — Mon, 24 Mar 2014 06:58:22 +0000

Вярно е, че не винаги сме сигурни дали стойностите на признаците са нормално разпределени, но не това е проблемът, който имам предвид. Проблемът е изобщо в погрешното разбиране на проявлението на зависимостите между признаците.
Ето един елементарен пример, който използвам и в статията си:
Представете си, че имате няколко варианта на стойностите на два признака за няколко единици от една съвкупност. Например - четири варианта на стойностите на продължителността на трудовия стаж и дневната производителност на труда на четирима работници:

Вариант 1    Вариант 2    Вариант 3    Вариант 4
Стаж Произв. Стаж Произв. Стаж Произв. Стаж Произв.
10    145    11    130    12    115    13    100
12    165    13    150    14    135    15    120
14    185    15    170    16    155    17    140
16    205    17    190    18    175    19    160

Re: Correlation and causation

null@example.com (frege) — Sun, 23 Mar 2014 09:13:05 +0000

мисля си: нмк са критерий за оценка на някакъв модел, който съответно е и оптимален; с друг критерий - друг оптимален модел (примерно друга четна функция (eg. abs(x)) вместо квадрат). нмк се връзват добре с гаусово разпределение на очаквани отклонения, което е правдоподобно, ако разните фактори са прилично разпределени, но това съвсем не е винаги гарантирано.

Re: Correlation and causation

null@example.com (enchoj) — Sat, 22 Mar 2014 07:54:56 +0000

ОК.
Ще се опитам да бъда по-конкретен, но трябва да започна от по-далеч.
Имам една идея за измерването и изобщо - за начина на проявление на зависимостите между статистическите признаци, която тотално се различава от традиционния корелационен и регресионен анализ и на практика напълно го опровергава. Тази идея, колкото и да звучи самонадеяно, е много по-логична и вярна от традиционната представа за зависимостите между признаците, която господства в статистиката от Пирсън насам.
В статистическата теория регресионният и корелационен анализ се смятат за толкова добре обосновани от математическа гледна точка, че едно твърдение, че може да са погрешни, звучи направо като ерес.
Истината обаче е, че не регресионният и корелационен анализ са математически обосновани, а тяхната математическа основа - методът на най-малките квадрати.
Този метод е създаден от Гаус и като всяко нещо, измислено от него, е брилянтен.
Обаче Гаус е създал метода на най-малките квадрати, за да определи траекторията на един астероид. Едва ли би му хрумнало да го използва по начина, по който тази метод се използва в регресионния и корелационен анализ.
Изложих моята идея в една статия и сега се опитвам да я публикувам.
Най-напред я показах на един професор по математика и той ми предложи да я публикува в някакво издание на Руската академия на науките, но поиска да я