Softwares gratuitos de análise estatística

Hoje vi este site: http://www.analyticbridge.com/forum/topics/list-of-free-statistical e achei que seria muito interessante difundir todo o trabalho desenvolvido para a elaboração de softwares estatísticos gratuitos.

Segue a lista de softwares em ordem alfabética.

A
ADaMsoft - Data mining, data management and reporting. Has web based features.
Ade4 - It contains Data Analysis functions to analyse Ecological and Environmental data in the framework of Euclidean Exploratory methods, hence the name ade4.
ADePT - Developed to automate and standardize the production of analytical reports.
ADMB - Non-linear statistical modelling.
AM  General stats package.
AnSWR - A software system for coordinating and conducting large-scale, team-based analysis projects that integrate qualitative and quantitative techniques.
Apophenia - General stats package but with more flexibility to be creative in model building.
Arc - Applied regression including computing and graphics.
Assistat - General stats package.

B
Bayesian Filtering Library - Bayesian software for use in advanced machine and robot control.
BiNGO - Bioinformatics software. Biological Network Gene Ontology.
BioEstat - Ecological statistics program (only available in Portuguese).
Biogeme - Stands for: Bierlaire's Optimization Toolbox for GEV (Generalized Extreme Value) Model Estimation.
Biomapper - A GIS-toolkit to model ecological niche and habitat suitability.
BKD - Bayesian Knowledge Discoverer
BlockTreat - A general frequentist Monte Carlo program for block and treatment tests, tests with matching, k-sample tests, and tests for independence.
BrightStat - General stats package.
BV4.1 - A procedure for the decomposition and seasonal adjustment of monthly and quarterly economic series. Used by the German Federal Statistical Office.

C
Calcugator - Calculator, plotting engine, and programming environment.
Caleydo - Bioinformatics data visualisation software.
CCOUNT - Designed for market research purposes, including: data cleaning, manipulation, cross tabulation and data analysis. Similar to SPSS.
CDC EZ-Text - Developed to assist researchers create, manage, and analyze semi-structured qualitative databases.
Chronux - Developed for the analysis of neural data.
Conc - Text concordance program.
Concorder - Text concordance program. Allows you to take given texts and find out the frequency of words.
Correlate -
CSPro - Census and Survey Processing System (CSPro) is a questionnaire-oriented statistical package for Windows.
Cytoscape - Bioinformatics software platform for visualizing molecular interaction networks and integrating these interactions with gene expression profiles and other state data.

D
DAP - Alternative to SAS.
Dataplot - General stats package. Designed for science and engineering.
DAVID - Bioinformatics software. Database for Annotation, Visualization and Integrated Discovery.
dChip - Bioinformatics software. dChip Software: Analysis and visualization of gene expression and SNP microarrays
Demetra - Time series package.
Dia - Diagram drawing program. Allows the drawing of entity relationship diagrams, UML diagrams, flowcharts, network diagrams, and many others.
Draco - Econometrics package with spreadsheets.

E
EASE - Bioinformatics software. Expression Analysis Systematic Explorer.
EasyReg Int. - Econometrics package.
EasySample - Simple sampling program.
EDGAR - Experimental design programs.
ELKI - Environment for developing KDD-applications supported by index-structures. Compares data mining algorithms.
EMMIX - Fortran software to fit mixture models.
Epi Info - Designed for epidemiologists and other public health and medical professionals.
Epidata - Epidemiology package.
EqPlot - Equation graph plotter.
ErmineJ - Bioinformatics software. Performs analyses of gene sets in expression microarray data or other genome-wide data that results in rankings of genes.
ESA - Event Structure Analysis (ESA) is an on-line Java program that helps you analyze sequential events.
ESS - Emacs Speaks Statistics. Add-on package for emacs text editors.
Esta+ - General (and simple) stats package.
Euler - Similar to Matlab.
EVE - Embedded Vector Editor. Vector graphics program.
Excellent Analytics - Excel plug-in that lets you import web analytics data from Google Analytics into a spreadsheet.
EzANOVA - Simple ANOVA program.

F
Factor - Simple factor analysis program.
Firebird - Relational database management system (RDBMS).
Fityk - Nonlinear least squares curve fitting.
Freemat - Similar to Matlab and IDL.

G
G Power - Power and sample size calculator.
G7 - Econometrics package. Allows the building and useage of data banks.
GATE - Text mining program. General Architecture for Text Engineering.
Gemma - Bioinformatics software. Database and software system for the meta-analysis of gene expression data.
GEMS - Bioinformatics software (online forms). Gene Expression Module Sampler.
GenePattern -Bioinformatics software. Genomic analysis platform that provides access to more than 125 tools for gene expression analysis, proteomics, SNP analysis and more.
GenMAPP - Bioinformatics software. Designed to visualize gene expression and other genomic data on maps representing biological pathways and groupings of genes.
GeoDa - Geospatial analysis and computation.
GGobi - Data visualisation.
Gist - Bioinformatics software. Contains software tools for support vector machine classification and for kernel principal components analysis.
Gnumeric - Spreadsheet program.
Gnuplot - Command driven graphing program.
GoMiner - Bioinformatics software. A tool for biological interpretation of 'omic' data, including data from gene expression microarrays.
Gostat - Bioinformatics software (online forms). Find statistically overrepresented Gene-Ontology (GO) terms within a group of genes.
Gretl - Stands for Gnu regression, econometrics and time-series library. Alternative to EViews. REVIEWED!!!
Grocer - An econometric toolbox for Scilab.
GUIDE - Multi-purpose machine learning algorithm for constructing classification and regression trees.

H
HLM - Hierarchical linear and nonlinear modelling.

I
IHMC CmapTools - Concept mapping program.
Instats - General stats package.
Interactive Statistical Unit -
Inverse Symbolic Calculator - An online form where the output is a list of possible sources for the number you enter (such as simple equations or well known constants).
IRRIStat - General stats package. Designed for analysis of agricultural field trials data.
IVEware - Imputation and Variance Estimation.

J
JAGS - Stands for just another Gibbs sampler. Bayesian hierarchical models using Markov Chain Monte Carlo (MCMC).
jHepWork - Mathematics and statistics package.
JMulTi - Time series and econometrics package.

K
Kyplot - Graphs program.

L
Lisp-stat - General stats package with emphasis on graphics.
LISREL - Originally limited to structural equation modelling (SEM) but now has other functions.

M
MacAnova - General stats package.
MacSHAPA - Macintosh-based software environment that supports observational data analysis, including the analysis of video.
Matrixer - Econometrics package.
Matrix2png - Bioinformatics software. A simple program for making visualizations of microarray data and many other data types.
Matvec - Current capabilities range from matrix and vector manipulation to the analysis of linear and generalized linear mixed models.
Maxima - A computer algebra system. Mathematics program.
MicroConcord - Text concordance program.
MicrOsiris - Statistical and data management package.
Ministep - Constructs Rasch measures from simple rectangular data sets.
MINUIT - Physics analysis tool for function minimization.
Mondrian - Data visualisation.
MorePower - Statistical power calculator for hypothesis tests.
Mx - Matrix algebra interpreter and numerical optimizer for structural equation modelling and other types of statistical modelling of data.
MYSTAT - Free SYSTAT version for students.

N
NLTK - Text mining program. Natural Language Toolkit.
NORM - Multiple imputation of multivariate continuous data under a normal model.

O
Octave - Similar to Matlab.
Onto-Tools - Bioinformatics programs. Onto-Express, Onto-Compare, Onto-Design, Onto-Translate, Onto-Miner, Pathway-Express, Promoter-Express, nsSNPCounter, OE2GO, KUTE-BASE.
OpenBUGS - Bayesian inference using Gibbs sampling.
Open Code - A tool for coding qualitative data generated from text information such as interviews, observations or field notes.
OpenEpi - Epidemiology package.
OpenOffice - Open source alternative to Microsoft Office. Includes Calc, an alternative to Excel.
Openstat - General stats package.
Orange - Data mining through visual programming or Python scripting. Extensions for bioinformatics and text mining.

P
PAM -
PAMCOMP - Person-years And Mortality COMputation Program.
PAST - Statistics program for palaeontology.
PCP - Pattern Classification Program.
PINT - Power analysis IN Two-level designs (for determination of standard errors and optimal sample sizes in multilevel designs with 2 levels).
Ploticus - Graphs program.
PopTools - Population modelling program.
POSDEM - A program to choose between sampling plans based on the population frame.
PostgreSQL - Relational database management system (RDBMS).
PQRS - Stands for probabilities, quantiles and random samples.
Program Mark - Ecological statistics program. Advanced mark-recapture modelling.
PS - Power and sample size calculator.
PSPP - Alternative to SPSS.

Q
QCA - Qualitative Comparative Analysis is a special-purpose program designed to analyze quantified data from multiple cases.
QPL - Questionnaire Programming Language.
Quail - Quantitative analysis in Lisp.

R
R - Widely used alternative to SPlus.
R Commander - GUI interface for R.
RapidMiner - Data mining.
Red R - Visual programming interface for R.
Regress+ - Mathematical modelling for the Macintosh.
RMAexpress - Bioinformatics software. A standalone GUI program to compute gene expression summary values for Affymetrix Genechip data.
Rosetta - A rough set toolkit for data analysis / data mining.
Rule Discovery System - Data mining program.
Rundom Pro - General stats package with emphasis on resampling procedures.
Rweb - An online form that processes R commands.

S
|STAT - General stats package.
Sage - Mathematics software.
SalStat - General stats package designed for the analysis of science and psychology data.
SAM - Bioinformatics software. Sequence Alignment and Modeling System.
Scilab - Numerical computation.
Shogun - A large scale machine learning toolbox.
Simfit - Simulation, curve fitting, statistics, and plotting.
Simplex Method Tool - An online form that solves linear programming problems.
SimulME - A Java ME (J2ME) application with queuing calculator, Monte Carlo simulation and more. Compatible with Sony-Ericsson, Samsung, Motorola and other cell phones.
SL Gallery - Statistical distribution graphs and calculations.
SOCR - Stands for statistics online computational resource. General stats package.
SOFA Statistics - Statistics, analysis and reporting program.
Software for Permutation Methods: A Distance Function Approach
Sonar - Survey administration and data collection system.
SpreadCE - Spreadsheet program.
SSP (Smith's Statistical Package) - General stats package.
StatCalc - A Calculator that computes table values of 34 statistical distributions. It also computes moments, and many other statistics.
StatEasy - General stats package.
Statext - Statistics expressed in text (even the graphs).
Statibot - An interactive www-based expert system for basic statistical analysis.
Statist - General stats package.
Statistical Lab - R based general stats package.
Statistics 101 - Simulations / resampling methods.
STATPerl - General stats package based on Perl.
Stattucino - Web spreadsheets with data analysis functions.

T
TAMS - Text mining program. Text Analysis Mark-up System. Identifies themes in texts.
Tanagra - Data mining.
TELPACK - Teletraffic Analysis Package.
Tetrad - Search algorithms and statistical modelling.
TextStat - Text concordance program. A program for the analysis of texts.
TimesLab - Time series analysis program.
TMeV - Bioinformatics software. Normalized and filtered expression files can be analyzed using TIGR Multiexperiment Viewer (MeV).
TSW - Time series and econometrics package.
TWOMOK - Non-parametric scale analysis for two-level data (ecometrics).

U
UIMA - Text mining program. Unstructured Information Management Architecture.
Ultrafind - Text concordance program. Extremely fast text search.

V
VARBRUL - Designed to facilitate analysis of linguistic variables and social variables.
VisiCube - Data visualisation tool.
ViSta - Visual statistics system with work maps, guide maps and interactive graphics.
VStar - Data visualisation and analysis tool for astronomy.

W
Weft QDA - A tool to assist in the analysis of textual data such as interview transcripts, written texts and field notes.
Weka - Machine learning software written at the University of Waikato.
WinBUGS - Bayesian analysis using Markov chain Monte Carlo methods.
WinIDAMS - General stats package.
Winpepi - Epidemiology package.
WordNet - A large lexical database of English.

X
X-12-ARIMA - Seasonal adjustment software produced, distributed, and maintained by the US Census Bureau.
XDAT - Visualization and analysis of multidimensional data.
XL Statistics - A set of Microsoft Excel (ver 97+) workbooks for statistical analysis of data.
XL Toolbox - Data analysis add-on for Excel.
Xnumbers - Multi precision floating point computing and numerical methods for Excel.
XploRe - Interactive statistical methods and data exploration.
Xpro - Exact parametric inference.
Xtremes - Graphics and analysis program for extreme values.

Y
Yxilon - Statistical programming language.

Z
Zaitun Time Series - Time series software. Has the capability to deal with stock market data.
Zelig - Based on R. Automates various processes.

A fonte original, com os links de cada software está aqui: http://l-lists.com/en/lists/dz3a5t.html

Solução de mistério biológico impulsiona inteligência artificial

Como já deve ser de conhecimento, uma das áreas de conhecimento que mais me interessam é inteligência computacional, principalmente devido às possibilidades de aplicações em análise de dados e reconhecimento de padrões.

Uma das categorias mais conhecidas de algoritmos de reconhecimento de padrões são as redes neurais artificais (ver http://multisign.blogspot.com.br/search/label/redes%20neurais e http://multisign.blogspot.com.br/search/label/ica para mais informações) que consistem de modelos computacionais de estruturas neurais biológicas desenvolvidos para resolver um problema específico.

Por se tratarem de modelos baseados em sistemas biológicos, a evolução das redes neurais é dependente das novas descobertas em neurologia e biologia, como a apresentada a seguir.

Solução de mistério biológico impulsiona inteligência artificial: Uma descoberta associada à biologia e à teoria da evolução deverá ter um impacto direto nos algoritmos de inteligência artificial.

Protótipo do SIRENE em funcionamento

Como todos sabem, estou em São Paulo - SP participando do Interaction South-America'09.

Eu tive dois artigos aceitos, sendo que um deles consiste no resumo do meu mestrado.

Para este artigo, eu preparei um protótipo do SIRENE e gerei este vídeo.



Apesar do vídeo ser curto, ele demorou alguns minutos para ser gerado, quem tiver interesse em saber como está o protótipo é só entrar em contato.

Aprendizagem neural

Vou fazer uma conversa (monólogo*) sobre computação neural.

Os algoritmos de computação neural são baseados em observações da natureza, em especial do sistema nervoso dos animais.

A base da computação neural é a aprendizagem a partir de exemplos, como eu já comentei aqui.

Os algoritmos têm a capacidade de assimilar a informação pela própria informação, como nós mesmo fazemos.

Os computadores tradicionais armazenam a informação em endereços de memória, e quando precisamos daquela informação nós fornecemos o endereço em que ela se encontra. Em sistemas neurais, quando nós precisamos de uma informação nós temos que fornecer ao sistema a informação associada.

Vamos fazer um paralelo com nosso cérebro. Você não pode numerar todos os seus neurônios e sair analisando a informação presente em cada um, porém você pode acessar a informação armazenada a partir de uma outra informação associada, por exemplo: cachorro. Você visualizou um cachorro em sua cabeça, conforme os padrões que você conhece de um cachorro.

Vamos dar outro exemplo:


Ao ver a imagem acima, você lembra das palavras jardim, plantas e flores e das emoções, normalmente, associadas: paz, tranquilidade, calma, etc....

Lembremo-nos que se Deus criou a natureza perfeita, nós podemos buscar inspiração nela para criar nossas coisas, consientes que nunca chegaremos a tamanha perfeição.

______________________
* Se vocês interagirem vira um diálogo.

Carro prático

Quando eu crescer, quero ter um destes.



Mas enquanto não cresço, me contento com um modelo popular mesmo.

Momentos centrados

Este é o primeiro post que faço sobre minhas pesquisas acerca do meu mestrado.

Para refrescar a memória dos que já sabem do que se trata o meu mestrado e para informar os leitores que vieram depois que parei de escrever sobre estas pesquisas:

Meu projeto de mestrado consiste em desenvolver um sistema de reconhecimento automático da Libras (Língua de Sinais Brasileira).

Este projeto tem as seguintes etapas:

1. Aquisição da(s) imagem(ns) por uma webcam;
2. Segmentação do objeto de interesse (mão);
3. Extração de atributos da imagem;
4. Classificação da imagem de acordo com os atributos.

Pois bem, como já coloquei em posts anteriores, a parte da segmentação está funcionando bem e eu já tenho os classificadores implementados (fiz-os na disciplina de reconhecimento de padrões).

Agora faltava apenas a parte de extração de atributos, mas eu estava estudando o livro de reconhecimento de padrões adotado na disciplina (quem quiser saber qual é o livro, pode pedir em comentário(s)) e vi algo sobre momentos centrados, e vi também que estes momentos são atributos extraídos dos objetos presentes em imagens para classificá-los.

Por fim, achei que seria interessante falar sobre os momentos centrados.

Os momentos centrados são provenientes da mecância clássica, pois consistem em momentos baseados no centro de massa dos corpos (objetos).

A equação abaixo mostra como são calculados os momentos centrados:
Em que f(x,y) é a imagem. Os termos p e q são ordens do momento, como fazemos em estatística nos momentos de 1ª (média), 2ª (variância), 3ª (curtosis), 4ª, etc.... ordem; podemos observar que estes momentos podem ser escritos até como termos de esperança matemática (olhe aqui).

Os centros de massa dos objetos (corpos) são dados pela equação abaixo:
Estes momentos centrados são descritores muito úteis, pois são invariantes a translação dos objetos, porém, observa-se que estes momentos são dependentes à rotação.

Para tornar obter descritores indendentes tanto a translação e a rotação, um pesquisador chamado M. Hu propôs as seguintes combinações dos momentos, gerando novas grandezas:


Com isto fecho o que espero ser pelo menos o material para minha qualificação de mestrado.

Auto-imagem

Hoje vi este vídeo e não poderia deixar de postá-lo:




Trata-se de um elefante que faz uma pintura fantástica.

O vídeo é longo mas vale a pena assistir até o final.

Conversa sobre redes neurais

Tenho um professor aqui na UFC que lenciona a disciplina de ICA (Inteligência Computacional Aplicada), dentre outras.

Este professor é especialista em redes neurais e sempre procura transmitir o possível de sua experiência aos alunos.

Aqui, neste post, pretendo fazer o mesmo: compartilhar um pouco das minhas experiências com redes neurais, em especial a MLP (Multi-Layer Perceptron).

Começando, digo que redes neurais são aproximadores de funções de um espaço n-dimensional em um espaço m-dimensional.

O espaço n-dimensional (domínio da função) é o espaço de entrada da rede e o m-dimensional (contra-domínio da função) é a saída da rede.

Por exemplo, para a identificação de um sistema elétrico, vamos supor que a entrada da rede seja tensão, corrente e impedância e a saída é uma de 3 classes de sistemas (predominantemente resistivo, capacitivo ou indutivo). Neste caso para cada elemento (V, I, Z) de entrada temos uma saída (S1, S2, S3) associada. A saída pode ser discreta ou contínua, no exemplo apresentado a saída pode ser a que classe pertence o sistema ou o grau de presença de cada tipo de elemento.

Uma aplicação interessante é a previsão de séries temporais, em que a rede neural "prevê o futuro" com base no passado. Neste caso, a entrada da rede podem ser n valores assumidos pela função no passado e a saída os m valores futuros. Para se prever o próximo elemento de uma função, pode-se por exemplo tomar 10 elementos anteriores e extimar o próximo a partir deles.

Limitando-nos as redes supervisionadas, dentre as quais está a MLP, a questão de aplicar a rede neural é o seguinte:

1. Definir o problema e seus parâmetros (entrada(s) e saída(s));
2. Projetar a arquitetura da rede neural, no caso da MLP consiste em definir os parâmetros da rede (taxa de aprendizagem), quantidade de camadas e número de neurônios por camada;
3. Tomar dados conhecidos do problema, ou seja montar um conjunto de dados conhecido para o treinamento da rede neural, com as entradas e saídas respectivas;
4. Realizar o treinamento da rede, em que para cada entrada é apresentada a saída desejada e assim a rede vai se adaptando ao problema;
5. Tomar novos dados para testar (validar) a rede neural, os dados de treinamento não podem estar presentes na validação da rede neural.

Algumas dicas para o treinamento da rede neural:

• Usar funções de ativação suaves;
• Gerar valores de erro grandes, isto acelera a aprendizagem;
• Usar taxas de aprendizagem baixas (da ordem de 0,001) para que a rede neural possa ajustar-se com maior precisão à função que está sendo mapeada;
• Explorar a solução das redes neurais mais simples, começando sem camada oculta, depois com 1 camada oculta e por fim 2 camadas ocultas.
  

Acho que isto é tudo por enquanto. Depois faço novas postagens sobre redes neurais, se possível mais técnicas

E para fechar, o Scilab tem toolboxes de várias ferramentas que podem ser de grande ajuda no projeto de redes neurais.

Jogo: controle a bolinha com as mãos

Hoje fechei o joguinho para o FISL.
Não deu para fazer o par-ou-ímpar nem o pedra-papel-tesoura, mas esse da bolinha ficou legal...
Segue um vídeo demonstrativo:

Segmentação neural das mãos

Ontem eu fechei um algoritmo de segmentação de pele usando uma rede neural muito interessante: a rede SOM.

Segue o vídeo que fiz.


Neste caso, basta separar o espaço de cores em 2 clusters: fundo e objeto. O que mais chama a atenção é a fase inicial em que observa-se a aprendizagem da rede.

Andamento do SIRENE

Esta semana eu estive lendo uns artigos sobre reconhecimento de faces humanas em imagens digitais e lá eram abordados alguns métodos de segmentação da pele, sendo uns simples como limiarização nos canais YCbCr ou HSV e outros mais pesados computacionalmente, envolvendo até mesmo redes neurais supervisionadas (MLP).
Na leitura, observei resultados interessantes, provavelmente a aplicação de técnicas de morfologia matemática (erosão e dilatação), possam aumentar a eficiência sem aumento significativo no tempo de execução.

Mudando um pouco de assunto:
Estou fazendo a disciplina de reconhecimento de padrões no mestrado, e já desenvolvi algo que será aproveitado nas simulações, em termos de classificadores de padrões.
No momento estamos estudando conceitos de reconhecimento de padrões como: espaço de atributos, classes de dados, limiares de decisão, etc...

Apresentação do SIRENE

O SIRENE (Sistema de Reconhecimento Neuro-Visual da Libras) é o resultado que pretendo alcançar ao final do meu mestrado.

O projeto consiste de um software que fará as vezes de um tradutor da Libras (Língua de Sinais Brasileira) que é a única forma de comunicação de alguns deficientes auditivos. O maior benefício do SIRENE será a nova interface de comunicação com o computador, em que uma câmera irá capturar as imagens e o SIRENE converterá as imagens para texto.

Como o próprio nome sugere, as técnicas abordadas envolverão visão computacional e reconhecimento de padrões (por redes neurais).

O SIRENE será disponibilizado como software livre, possibilitando assim ser incorporado a aplicações existentes (editores de texto, instant's messengers, etc), estudado, adaptado e redistribuído.

Atualmente, o projeto está em fase de levantamento bibliográfico e configuração dos ambientes de simulação e desenvolvimento.