Matemàtiques (nivell ESO)/Estadística

L'estadística és la ciència matemàtica relacionada amb la recopilació, anàlisi, interpretació i representació de dades. S'utilitza en diverses disciplines acadèmiques, des de les ciències físiques fins a les ciències socials i humanitats. També s'utilitza en la presa informada de decisions en les diverses àrees dels negocis i del govern.

Gràfica de la distribució normal

Els mètodes estadístics s'utilitzen per resumir o descriure un grup de dades; això s'anomena estadística descriptiva. A més, els patrons de les dades es poden modelar considerant l'aleatorietat i incertesa de les observacions per tal d'inferir quant al procés o la població que es vol estudiar; això s'anomena estadística inferencial o inductiva. L'estadística descriptiva i l'estadística inferencial són part de l'estadística aplicada. També existeix l'estadística matemàtica, que estudia els conceptes teòrics de la disciplina.

Història

Tot i que el nom de estadística és relativament recent – en general s'atribueix l'origen del nom al segle XVIII de l'alemany Staatskunde (coneixement d'estat) – aquesta activitat sembla que ha existit des del naixement de les primeres estructures socials. D'altra banda, els primers texts escrits que s'han trobat eren censos de bestiar, informacions sobre el seu curs i contractes diversos. Es té així rastre de censos a la Xina al segle XXIII aC o a Egipte al segle XVIII aC. Aquest sistema de recull de dades prossegueix fins al segle XVII. A Europa, el paper de col·lector és sovint mantingut per gremis comercials, i després pels intendents de l'Estat. És només al segle XVIII que es veu aparèixer el paper preventiu de les estadístiques amb la construcció de les primeres taules de mortalitat.

L'estadística matemàtica es va recolzar en els primers treballs en relació amb les probabilitats desenvolupats per Fermat i Pascal. És probablement amb Thomas Bayes que es viu aparèixer un embrió d'estadística inferencial. Condorcet i Laplace encara parlaven de probabilitat allà on avui es parlaria de freqüència. Però és a Adolphe Quételet a qui es deu la idea que l'estadística és una ciència que es recolza en les probabilitats.

Al segle XIX aquesta activitat pren el seu desenvolupament ple. Es van promulgar regles precises sobre la recol·lecció i la interpretació de les dades. La primera aplicació industrial de les estadístiques va tenir lloc en el moment del padró americà de 1890, que va fer servir la targeta perforada inventada per l'estadísitc Herman Hollerith. Aquest havia dipositat una patent a la Oficina de patents dels Estats Units.

Al segle XX, aquestes aplicacions industrials es van desenvolupar en principi als Estats Units, que anaven avançats en ciències de gestió, i només després de la Primera guerra mundial a Europa. El règim nazi va fer servir mètodes estadístics a partir de 1934 per al rearmament.

A Catalunya, els Servei Central d'Estadística, va ser creat per la Generalitat el 1934 i dirigit per Josep Anton Vandellós i Solà catedratic d'Estadística de la Universitat de Barcelona.

L'adveniment de la informàtica en els anys 1940 (als Estats Units), i després a Europa (en els anys 1960) va permetre tractar un major nombre de dades, però sobretot creuar sèries de dades de tipus diferents entre elles. És el desenvolupament del que s'anomena l'anàlisi multidimensional. En el transcurs del segle, apareixen diversos corrents de pensament enfrontats:

• els objectivistes o freqüèntistes que pensen que les probabilitats subministren un model que permet idealitzar la distribució en freqüència i que aquí s'acaba el seu paper;
• els subjectivistes que veuen les probabilitats com un mitjà per mesurar la confiança que es pot tenir en una previsió;
• els neobayesianistes que sostenen que les dades estadístiques soles no permeten donar el model probabilista idealitzant la distribució en freqüència: és necessari proposar una forma general del model per ajustar-hi el resultat.

Visió general

En aplicar l'estadística a un problema científic, industrial o de la societat, es comença estudiant el procés o la població. La població es pot referir literalment als habitants d'un país, o al nombre de grans de cristall d'una roca, o als béns manufacturats per una fàbrica especial durant un període determinat de temps. També pot referir-se al procés d'observacions en diversos períodes de temps; les dades d'aquesta "població" conformen una sèrie de temps o sèrie temporal.

Per exemple en les notes globals d'un examen. Pot ser interessant treure'n un valor central que dóna una idea sintètica sobre el nivell dels estudiants. Aquesta informació es pot completar amb un valor de dispersió que mesura, d'una certa manera, l'homogeneïtat del grup. Si es vol una informació més precisa sobre aquest últim punt, es pot construir un histograma o, des d'un punt de vista lleugerament diferent, considerar els decils. Aquestes nocions poden ser interessants per fer comparacions amb els exàmens anàlegs passats els anys precedents o en altres llocs. Són els problemes més elementals de l'anàlisi de les dades que afecten a una població finita.

Per raons pràctiques, en comptes de recollir dades de tota la població, sovint només s'estudia un subconjunt de la població, anomenat "mostra". De vegades la població és infinita (com per exemple en el cas dels instants del temps en què e pot produir una avaria) o pel fet de ser molt gran es fan servir les fórmules matemàtiques corresponents a una població infinita. Les dades s'obtenen en un experiment o observació. Les dades, després, s'analitzen estadísticament, amb el propòsit de descriure i d'inferir:

• L'estadística descriptiva resumeix les dades de manera útil, numèricament o gràficament (p.e. la tendència central: mitjana, mitjana ponderada, etc.) L'estadística descriptiva, en aquest cas, descriu només la mostra.
• L'estadística inferencial o inductiva s'utilitza per a modelar els patrons de les dades de la mostra i inferir sobre les característiques de tota la població. Per induir informacions sobre la població desconeguda a partir de les informacions de la mostra, cal introduir la noció de llei de probabilitat. Les dades conegudes constitueixen en aquest cas una realització d'una mostra, conjunt de variables aleatòries que es creuen independents. La teoria de les probabilitats permet llavors, treure conclusions (o inferir) relatives a la població a partir de les dades de la mostra.

Si la mostra es representativa en relació amb la població, les inferències i les conclusions de la mostra es poden estendre a la població total (procés d'inducció). Un problema important de estadística és la determinació d'una mostra representativa. L'estadística ofereix mètodes per estimar o corregir l'aleatorietat (incertesa) de la mostra així com de la recopilació de dades. Per a entendre aquesta incertesa, es fa servir el concepte matemàtic de la probabilitat. L'estadística matemàtica (o teoria estadística), com a branca de la matemàtica aplicada, fa servir la teoria de la probabilitat per analitzar i examinar els conceptes teòrics bàsics de la estadística.

Aplicació dels ordinadors al càlcul estadístic

gretl és un exemple de programari de codi obert d'estadística

El procés d'augment ràpid i sostingut de la potència de càlcul que es va començar a la segona meitat del segle XX ha tingut un impacte substancial en la ciència estadística. Els models estadístics, inicialment eren gairebé sempre del tipus dels models lineals, però la potència dels ordinadors acompanyada del desenvolupament d'algorismes de càlcul numèric adequats, ha provocat u ha augmentat l'interès en models no lineals (com ara les xarxes neurals) així com la creació de nous models, com ara el model lineal generalitzat els models multinivell.

L'augment de la potència de càlcul, també ha portat a l'augment de la popularitat dels mètodes intensius en càlcul basats en el remostreig, com ara els tests de permutacions i els bootstrapping, mentre que tècniques com ara el mostreig de Gibbs han fet ús de models Bayesians més factibles. La revolució informàtica té implicacions en el futur de l'estadística amb un nou èmfasi en l'estadística "experimental" i "empírica". Avui en dia hi ha disponible un gran nombre de paquets de software estadístic tant de propòsit general com específic.

Aplicació de l'estadística

Les estadístiques es fan servir en àmbits molt variats com:

• en geofísica, per a les previsions meteorològiques, la climatologia, la contaminació, els estudis dels rius i oceans;
• en demografia: el padró permet fer una fotografia en un instant donat d'una població i llavors permet fer sondatges amb mostres representatives;
• en ciències econòmiques i socials, i en econometria: l'estudi del comportament d'un grup de població o d'un sector econòmic es recolza en estadístiques. Les qüestions mediambientals es recolzen igualment en dades estadístiques;
• en sociologia: les fonts estadístiques constitueixen materials d'enquesta, i els mètodes estadístics es fan servir com tècniques de tractament de les dades;
• en màrqueting: el sondatge d'opinió esdevé una eina per a la decisió o la inversió;
• en física: l'estudi de la mecànica estadística i de la termodinàmica estadística (Física estadística) permet deduir del comportament de partícules individuals un comportament global (pas del microscòpic al macroscòpic) ;
• en metrologia, per tot el que concerneix als sistemes de mesura i les mesures mateixes;
• en medicina i en psicologia, tant per l'estudi del comportament de les malalties en la seva freqüència d'aparició o la validesa d'un tractament o d'un sistema de detecció;
• en arqueologia, aplicada als vestigis
• en ecologia (estudi de les comunitats vegetals i dels ecosistemes)

Mal ús

Hi ha una percepció generalitzada de què les estadístiques, amb massa freqüència es fans servir malament a base de trobar formes d'interpretar les dades només de la manera que afavoreixen a qui les presenta. Una dita famosa atriguida a Benjamin Disraeli és, " Hi ha tres classes de mentides: mentides, grans mentides i estadístiques. El president de Harvard Lawrence Lowell va escriure el 1909 que les estadístiques, "...com els pastissos de carn, són bones si es coneix que les ha fet, i s'està segur dels ingredients."

Si sembla que diversos estudis es contradiuen, llavors el públic pot arribar a perdre la confiança en aquest tipus d'estudis. Per exemple, un estudi pot suggerir que una dieta o una activitat fa augmentar la pressió de la sang, mentre que un altre pot suggerir que la fa baixar. La discrepància pot sorgir de variacions subtils en el disseny d'experiments, tals com diferències en grups de pacients o en protocols de recerca, les quals no s'entenen fàcilment pels no experts. (Els informes dels mitjans de comunicació, normalment ometen completament aquesta informació de context que és vital, degut a la seva complexitat.)

A base de triar (o rebutjar, o modificar) una determinada mostra, es poden manipular els resultats. Aquesta mena de manipulacions no han de ser necessàriament malintencionades; poden sorgir de biaixos sense voler del investigador. Els grafics que es fan servir per resumir les dades també poden ser.

Les crítiques més profundes venen del fet que la metodologia per provar les hipòtesis que s fa servir més àmpliament (i en molts casos requerida per les regulacions legals) força que s' "afavoreixi" una hipòtesis ( la hipòtesis nul·la) i en estudis grans també pot semblar que exagera la importància de diferències minúscules. Una diferència que resulti altament significativa estadísticament pot resultar pràcticament insignificant. (Vegeu crítiques a les probes d'hipòtesis i controvèrsia sobre la hipòtesis nul·la.)

Una resposta és donar més èmfasi al valor p que no pas només informar de quan una hipòtesis es rebutja a un nivell de. Però el valor p no indica la mida de l'efecte. Un altre enfocament cada vegada més comú és informar dels intervals de confiança. Encara que s'obtenen a partir dels mateixos càlculs que els dels tests d'hipòtesis o valors p, descriuen tant la mida de l'efecte com la incertesa que l'envolta.

Aplicació de l'estadística a la recerca matemàtica i l'art

Tradicionalment la estadística s'ha fet servir per fer inferències sobre les característiques d'una població a partir de les característiques d'una mostra. Això ha canviat amb l'ús dels mètodes desenvolupats per l'estadística en contextos no inferencials.

• Punts aleatoris de dades generats per una funció de distribució es poden transformar amb tècniques que fa servir l'estadística per revelar patrons subjacents, els quals poden conduir a fer hipòtesis, per exemple en teoria de nombres.
• Mètodes de la ciència estadística incloent-hi mètodes predictius en previsió, es combinen amb la teoria del caos i la geometria fractal per crear obres de video que es considera que són boniques. El process art de Jackson Pollock descansa en experiments artístics on les distribucions subjacents a la natura es revelen de forma artística. Amb l'adveniment dels ordinadors, s'han aplicat els mètodes estadístics per formalitzar questes distribucions conduïdes per processos naturals, amb la finalitat de fer i analitzar art en vídeo en moviment.
• Els mètodes estadístics es poden fer servir de forma predictiva, no inferencial, en arts escèniques, com en els trucs de cartes basats en els processos de Markiov que nomes funcionen algunes vegades, a base de fer prediccions emprant la metodologia estadística.
• La estadística es fa servi per crear art de forma predictiva, per exemple en aplicacions de mecànica estadística amb música estadística o estocàstica inventada per Iannis Xenakis, on la música és específica de cada actuació, i no sempre resulta tal com s'esperava, però ho fa dins d'un interval predit fent servir estadística.

Enllaços externs

• Idescat.cat - Lloc web de l'Idescat (Institut d'Estadística de Catalunya)
• "A New View of Statistics", by Will G. Hopkins, AUT University
• "NIST/SEMATECH e-Handbook of Statistical Methods", by U.S. National Institute of Standards and Technology and SEMATECH
• "Online Statistics: An Interactive Multimedia Course of Study", by David Lane, Joan Lu, Camille Peres, Emily Zitek, et al.
• "The Little Handbook of Statistical Practice", by Gerard E. Dallal, Tufts University
• "StatSoft Electronic Textbook", by StatSoft
• Free Statistics (free and open source software, data, and tutorials)
• Probability Web (Carleton College)
• Resources for Teaching and Learning about Probability and Statistics (ERIC)
• Rice Virtual Lab in Statistics (Rice University)
• Statistical Science Web (University of Melbourne)
• Statlib: Data, Software and News (Carnegie Mellon University)
• Introduction to Probability and Statistics - Animated video tutorial from the Defense Acquisition University