Correlation and causation (Page 1 of 2)

Прав сте.
А според Вас, как стоят нещата, ако явленията се проявяват не при една двойка случайни променливи, а при много такива двойки?
Имам предвид, ако една двойка променливи варириат по сходен начин, това може да се дължи на зависимост между тях, но може и да се дължи на това, че и двете зависят от трета променлива.
Обаче, ако множество променливи величини варират по сходни начини с друго множество променливи, и тези сходни начини са общо взето сходни помежду си, според мен, можем с голяма степен на увереност да кажем, че съществува причинно-следствена връзка между признаците, по които тези две двойки множества променливи варират, а не зависимост от трети признак. Защото е малко вероятно, трети фактор да влияе по един и същ начин на сходството на вариациите при всички двойки променливи.
Прав ли съм?

ОК.
Ще се опитам да бъда по-конкретен, но трябва да започна от по-далеч.
Имам една идея за измерването и изобщо - за начина на проявление на зависимостите между статистическите признаци, която тотално се различава от традиционния корелационен и регресионен анализ и на практика напълно го опровергава. Тази идея, колкото и да звучи самонадеяно, е много по-логична и вярна от традиционната представа за зависимостите между признаците, която господства в статистиката от Пирсън насам.
В статистическата теория регресионният и корелационен анализ се смятат за толкова добре обосновани от математическа гледна точка, че едно твърдение, че може да са погрешни, звучи направо като ерес.
Истината обаче е, че не регресионният и корелационен анализ са математически обосновани, а тяхната математическа основа - методът на най-малките квадрати.
Този метод е създаден от Гаус и като всяко нещо, измислено от него, е брилянтен.
Обаче Гаус е създал метода на най-малките квадрати, за да определи траекторията на един астероид. Едва ли би му хрумнало да го използва по начина, по който тази метод се използва в регресионния и корелационен анализ.
Изложих моята идея в една статия и сега се опитвам да я публикувам.
Най-напред я показах на един професор по математика и той ми предложи да я публикува в някакво издание на Руската академия на науките, но поиска да я

Вярно е, че не винаги сме сигурни дали стойностите на признаците са нормално разпределени, но не това е проблемът, който имам предвид. Проблемът е изобщо в погрешното разбиране на проявлението на зависимостите между признаците.
Ето един елементарен пример, който използвам и в статията си:
Представете си, че имате няколко варианта на стойностите на два признака за няколко единици от една съвкупност. Например - четири варианта на стойностите на продължителността на трудовия стаж и дневната производителност на труда на четирима работници:

       Вариант 1           Вариант 2             Вариант 3              Вариант 4
Стаж     Произв.       Стаж     Произв.    Стаж       Произв.    Стаж        Произв.   
10         145                11        130          12          115           13         100
12         165                13        150          14          135           15         120
14         185                15        170          16          155           17         140
16         205                17        190          18          175           19         160

Ако обаче Ви кажа, че числата в таблицата представляват стойностите на продължителността на стажа и производителността на труда на едни и същи работници в четири последователни години, т.е.:

      2010г.                      2011г.                      2012г.                    2013г.
Стаж     Произв.       Стаж     Произв.    Стаж       Произв.    Стаж        Произв.   
10         145                11        130          12          115           13         100
12         165                13        150          14          135           15         120
14         185                15        170          16          155           17         140
16         205                17        190          18          175           19         160

Как мислите, дали някой ще Ви повярва, че има положителна зависимост на производителността на труда от продължителността на стажа? При това - абсолютна положителна зависимост?

То, в примера, който дадох, се оказва нещо повече - че имаме две противоположни математически истини, като и двете са напълно верни.
Ако изчисляваме коефициентите на корелация и регресия за отделните години, получаваме, че и за четирите години, корелацията е пълна положителна. Ако ги изчисляваме за отделните работници, получаваме, че и за четиримата работници е пълна отрицателна.
Обаче, въпросът е: каква е зависимостта на производителността от трудовия стаж през периода 2010г. - 2013г. и е абсурдно да твърдим, че има две противоположни зависимости между тези два признака. При това - и двете абсолютни.
Всъщност, оказва се, че числата в таблицата имат две двойки групи от по 4 средни (една по години и една по работници) и ако прилагаме принципа на Мил излиза, че има и две групи съответствия на отклоненията от тези средни - едната положителни, а другата отрицателни.
Това разбира се, е абсурд и за да се разгадае този абсурд, трябва да се види около коя от двете групи средни наистина варират стойностите на двата признака.

Ако това беше вярно, това би означавало, че ако проследим двата признака в няколко последователни години, то БВП на Таджикистан би получавал стойности, които са общо взето по равно разпределени под и над средния БВП за всички държави. Същото се отнася и за индекса на корупция на Таджикистан. Това би означавало, че в поредицата от години, точката на Таджикистан, която на тази графика е в долния ляв ъгъл, ще бъде ту в този ъгъл, ту горе в дясно при Швеция и Норвегия, ту някъде в средата при Турция и Перу - изобщо, ще се отклонява от правата ту в едната, ту в другата посока.
Разбира се, това би трябвало да се отнася не само за точката на Таджикистан, но и за точките на всички останали държави - в поредицата от години да приемат различни местоположения в "елипсата" от точки.
Тогава, наистина би имало смисъл да търсим съответствието между вариациите на стойностите на двата признака около техните общи средни.