|
PROJETOS CORRELATOS: Planejamento
e análise de experimentos para melhoria de processos. Modelos
de regressão em mineração de dados:Desenvolvimento Teórico, Implementação e
Aplicações Teoria
de resposta ao item |
PROJETO DE PESQUISA ESTATÍSTICA E REDES NEURAIS EM MINERAÇÃO DE DADOS Entidades: Departamento de Informática e Estatística (INE) Programa de Pós Graduação em Ciência da
Computação (PPGCC) Laboratório de Estatística Aplicada (LEA) / INE Coordenador: Prof.
Dalton Francisco de Andrade, PhD. (INE / CTC /
UFSC) Professores e Profissionais
Participantes: Prof.
Pedro Alberto Barbetta, Dr. (INE / CTC / UFSC) Prof.
Paulo José Ogliari, Dr. (INE / CTC / UFSC) Prof.
Marcelo Menezes Reis, Dr. (INE / CTC / UFSC) Prof.
Francisco Aranha, Dr. (IMQ / FGV – SP) Acadêmicos Participantes
(abril, 2004): Juliano Anderson Pacheco (aluno de mestrado,
PPGCC) Fernando.Sarturi Prass (aluno de mestrado, PPGCC) Alberto.Pereira de Jesus (aluno de mestrado,
PPGCC) Jacqueline.Uber (aluna
de mestrado, PPGCC) Jeovani
Schmitt (aluno de mestrado PPGCC) Alexandre Barreto (aluno de
doutorado PPGEP) Cláudio Ratke
(aluno de mestrado PPGCC) José Alfredo Forest (aluno de
mestrado PPGCC) Descrição do Projeto 1 – Introdução A mineração de dados
pode ser entendida como a exploração e análise de grandes quantidades de
dados, de maneira automática ou semi-automática, com o objetivo de descobrir
padrões e regras relevantes (Berry e Linoff, 1997, p. 5). Para uma
empresa, o conhecimento desses padrões permite melhorar a sua estratégia de
marketing, personalizar seu atendimento, aprimorar seu relacionamento com os
consumidores, etc. Para uma entidade pública, os conhecimentos adquiridos por
uma mineração de dados podem subsidiar as suas ações políticas. Para o
sistema financeiro, o conhecimento gerado pela base de dados de seus clientes
permite obter critérios objetivos com vistas a discriminar e classificar bons
e maus pagadores. Em um trabalho iniciado em setembro de 2003 pelo grupo, em parceria
com a CCI/PM e o Departamento de Combate ao Crime Organizado/SSP, a mineração de dados está sendo aplicada
no estudo da distribuição espacial das ocorrências registradas pelo COPOM/PM. O processo consiste na construção de modelos
espaciais, permitindo um mapeamento das ocorrências dos diversos tipos de
crimes. Esse trabalho também envolverá um processo de mineração de textos (Text Mining). Um
dos objetivos é a identificação de possíveis fatores associados com as
ocorrências criminais. Uma mineração de dados
pode iniciar com uma simples descrição e caracterização dos
elementos da base de dados ou de um data warehouse. Contudo, as principais tarefas da
mineração de dados são: a.
formar
grupos relativamente similares (agrupamentos) (Bussab,
Miazaki, Andrade, 1990); b.
visualizar
inter-relações de dados multivariados através de
gráficos relativamente simples (Johson, Wichern, 1998; Haykin, 2001); c.
estabelecer
modelos ou regras para classificar elementos em categorias previamente
definidas (Hastie et al.,
2001; Han, Kamber,
2001).; d.
construir
modelos para predizer ou prever o valor de uma variável (Haykin, 2001; Neter et al., 1996); e.
realizar
análise de associação (Market Basquet Analysis) ((Berry, Linoff, 1997) A tarefa (a) pode ser usada, por exemplo, como base na construção de
um CRM (Customer Relationship
Management) (Berson, et al., 1999), já que para desenvolver estratégias
específicas para grupos de clientes, você precisa conhecer e identificar
estes grupos. Existem diversas técnicas estatísticas de agrupamentos e redes
neurais, com aprendizado não supervisionado, próprias para
isso (p. ex., as redes de Kohonen). A tarefa (b) normalmente é usada como um passo preliminar para outros
procedimentos. Nessa etapa, podem ser usadas Análise de Componentes
Principais, Análise de Correspondências, Análise Fatorial e Redes Neurais
Auto-Organizáveis. Verificar as variáveis que melhor discriminam entre dois ou mais
grupos, e construir regras de classificação para novos elementos [tarefa (c)]
têm amplo espectro de aplicações. Em especial no sistema financeiro, em que
discriminar e classificar bons e maus pagadores é fundamental para a sua
sobrevivência. Técnicas estatísticas multivariadas
de discriminação e classificação, regressão logística, algoritmos em árvore
de decisão e redes neurais com aprendizado supervisionado podem ser aplicados
para esse fim. Situações em que se quer predizer uma variável em função de outras (p.
ex., o valor de um imóvel em função de suas características físicas e
ambientais) ou efetuar previsões (p. ex., prever as vendas para o próximo
mês) [(tarefa (d)], com base em modelos ou regras a serem
construídos a partir de uma grande massa de dados, podem ser tratadas com a
análise de regressão, a análise de séries temporais, os algoritmos em árvore
de decisão ou as redes neurais com aprendizado supervisionado. A mineração de dados
caracteriza-se como uma atividade multidisciplinar, envolvendo principalmente
as áreas de Banco de Dados, Inteligência Artificial e Estatística. Também deve
envolver conhecimentos específicos sobre os dados a serem minerados e os
objetivos da entidade interessada na mineração, o que pode caracterizar
também como uma área da Administração. (Han, Kamber, 2001). O presente projeto está direcionado para um conjunto de atividades
mais técnicas, voltando-se para aplicação e/ou
desenvolvimento de metodologias baseadas em procedimentos estatísticos,
árvores de decisão e redes neurais. E procura agregar objetivos acadêmicos,
empresariais e de políticas públicas. 2 – Objetivos Como objetivo geral,
este projeto pretende consolidar um grupo de pesquisa em mineração de dados,
abordando especialmente técnicas estatísticas e/ou
redes neurais artificiais, contemplando atividades que desenvolvam trabalhos
teóricos e práticos, de caracter acadêmico ou
profissional. Mais especificamente, pretende-se: ·
desenvolver,
implementar e aplicar novas metodologias estatísticas para problemas
específicos de mineração de dados; ·
realizar
assessorias à empresas ou à órgãos públicos, em casos que envolvam o problema
de extrair informações de grandes bancos de dados; ·
aplicar
técnicas estatísticas e/ou redes neurais para
resolver problemas acadêmicos ou profissionais que envolvam grandes massas de
dados; ·
comparar o
desempenho de técnicas estatísticas e de redes neurais em certas tarefas
típicas de mineração de dados; ·
realizar
convênios com outras instituições (universidades, centros de pesquisas,
empresas ou órgãos públicos) para desenvolver trabalhos conjuntos em
mineração de dados; ·
realizar regularmente
seminários em métodos estatísticos e em técnicas de mineração de dados em
geral; ·
formar
mestres e doutores capacitados para trabalhar com métodos estatísticos e com
técnicas de mineração de dados em geral; 3 – Trabalhos em Andamento (maio, 2004) Desenvolvimento e implementação de metodologia para a análise de
dados georeferenciados em segurança pública.
Projeto de dissertação de Juliano Anderson Pacheco. Orientador: Dalton
Francisco de Andrade. ·
Desenvolvimento e implementação de
metodologia para mineração em textos (Text
Mining) em segurança pública. Projeto de
dissertação de Jacqueline Uber. Orientador: Paulo
José Ogliari. ·
Análise de componentes principais para
dados quantitativos e qualitativos: uma metodologia para o pré-processamento
em mineração de dados. Projeto de dissertação de Jeovani
Schmitt. Orientador: Prof. Pedro Alberto Barbetta. 4 – Trabalhos Concluídos ·
Aplicação de Data Mining
na identificação do perfil dos usuários de uma biblioteca para a
personalização de sistemas Web de recuperação e
disseminação de informações. Dissertação de Mestrado de Alberto Pereira de
Jesus. Orientador: Paulo José Ogliari. 5– ATIVIDADES ESPERADAS E CRONOGRAMA
BIBLIOGRAFIA BERRY, M. J. A., LINOFF, G. – Data mining
techniques. BERSON, A., SMITH, S. e THEARLING, K. – Building
Data Mining Aplications for CRM. USA: McGraw Hill, 1999. BUSSAB, A.; MIAZAKI, E. S.; ANDRADE, D. F. – Introdução
à análise de agrupamentos. São Paulo: IX SINAPE, 1990. CÂMARA, G.; MONTEIRO, A. M. V.; DRUCKS, S. e
CARVALHO, M. S. – Análise Espacial de Dados Geográficos. São Paulo: INPE /
EMBRAPA / FIOCRUZ, 2000. www.dpi.impe.br/gilberto/lino/analise/index.html. Acessado em 02/04/2003 CARVALHO, L. A. V. – Data Mining: A
mineração de dados no marketing, medicina, engenharia e administração.
São Paulo: Érica, 2001. Diniz, C. A. R., Louzada Neto – Data mining:
uma introdução. Caxambú - MG: Associação
Brasileira de Estatística, 2000. FERNANDEZ, G. – Data Mining using SAS
applications. FRIEDMAN, J. H. – Data Mining and
statistics: what’s the connection? 1997. Disponível em: http://www-stat.stanford.edu/~jhf.
Acessado em 29/05/2003. HAN, J., KAMBER, M. –
Data Mining: concepts and techniques. HASTIE, T., TIBSHIRANI, R., FRIEDMAN, J. – The
elements of statistical learning. USA: Springer,
2001. HAYKIN, S. – Redes neurais: princípios e práticas. 2 ed. Porto
Alegre: Bookmann, 2001. JOHNSON, R. A., WICHERN, D. W. - Applied
multivarate statistical analysis, 4 ed. KLÖSGEN, W.; MANNING, D. C.; SCHÜTLE, H. – Fondations of Statistical Natural Language
Processing. NETER, J.; KUTNER, M. H.; NACHTSHEIM, C. J.;
WASSEMAN, W. – Applied Linear Regression Models. TINSLEY, h. e. a.; BROWN, s. d. – Handbook
of applied multivariate statistics and mathematical modeling. |
||||||||||||||||||||||||||||||||||||
