Construção de um sistema de Business intelligence para análise de logs de comunicação
Carregando...
Data
2009
Tipo de documento
Monografia
Título da Revista
ISSN da Revista
Título de Volume
Área do conhecimento
Ciências Exatas e da Terra
Modalidade de acesso
Acesso aberto
Editora
Autores
Pereira, Carlos Roberto
Lubk, Edinilton José
Orientador
Morales, Aran Bey Tcholakian
Coorientador
Resumo
Nowadays, information is the most valuable thing for a company. This so-called precious good, which value rises everyday, has great influence between success and failure among every aspect of our lives. To take a drug on which we are allergic can kill us, the wrong career choice can drove ourselves to disappointment, a wrong government choice took on wrong information can lead a country to war, a strategic decision without information can bankrupt a company. Even with this high value, sometimes the information is left behind only because it is hard to access its architecture model on which data is stored. This work is about transform data hold in a hard to analyse architecture and store it in a easy to read and understand architecture. To do it so, we have chosen a communication and file transfer database, on which data are stored in as text files, and using Business Intelligence concepts, techniques and tools, we have built an architecture on which data are available in a way people with few technical knowledge can manipulate and combine these data generating spreadsheets and graphics that represents information on the original database. In order to all this, a bibliographic research was made together with a data study among log files. We also have create two databases in PostgreSQL 8.4, using Enterprise Architect 7.0.813 for de modeling (a relational and a multidimensional model). Using Kettle Spoon 3.2.0 of Pentaho Suite, we have built two ETL scripts, being the first one to load data from log files to relational database and the second one to classify and summarize data from relational database and transfer them to the multidimensional database. Following, we've altered a web system example which came along with Mondrian 3.1.2.13008 from Pentaho Suite, so it could access the multidimensional database and show them on a web browser so one can make OLAP operations on the shown data. In order to do that, through Schema Workbench 3.0.3.11016 from Pentaho suite, we have developed a XML schema that holds the OLAP cubes which map facts, dimensions e measures from multidimensional database. The application was deployed on Tomcat 6.0.20 and analyzes were made through Mondrian graphics so the results could be shown and the information value could be found. (Resumo não tem no Pergamun).
Nos dias de hoje, o bem de maior valor no mercado é a informação. Esse bem tão precioso, cujo valor cresce a cada dia, tem grande influência entre o sucesso e o fracasso em praticamente todos os aspectos de nossa vida. Tomar um remédio ao qual somos alérgicos pode nos levar a morte, a escolha errada da profissão pode nos levar a decepção, uma decisão de um governo tomada em cima de informações falsas ou imprecisas pode levar seu país a guerra, uma decisão estratégica tomada sem a informação adequada pode levar uma empresa a falência. Mesmo com um valor tão alto, muitas vezes a informação é deixada de lado devido à dificuldade em acessá-la causado pelo seu formato e modelo de arquitetura utilizado para armazenar os dados. Esse trabalho trata de transformar os dados contidos em uma arquitetura de difícil análise e armazena-los em uma arquitetura que permita a fácil leitura e interpretação dessas informações. Para isso, escolheu-se uma base de dados de comunicação e transferência de arquivos, cujos dados estão armazenados em arquivos de texto, e baseando-se nos conceitos, técnicas e ferramentas de Business Intelligence, construiu-se uma arquitetura onde os dados foram disponibilizados de forma que mesmo pessoas com pouco conhecimento técnico consigam manipular e combinar esses dados gerando planilhas e gráficos que representam as informações contidas na base original. Para isso, realizou-se uma pesquisa bibliográfica sobre o assunto e um levantamento dos dados contidos nos arquivos de log, criou-se duas bases de dados no PostgreSQL 8.4, cujas modelagens foram feitas no Enterprise Architect 7.0.813, sendo uma relacional e uma multidimensional. Utilizando-se o Kettle Spoon 3.2.0 da suíte Pentanho criou-se dois scripts ETL, sendo o primeiro para carregar os dados dos arquivos de log para a base relacional e o segundo para classificar e sumarizar os dados contidos na base relacional e inseri-los na base multidimensional. Em seguida, alterou-se o exemplo de um sistema web, distribuído com o Mondrian 3.1.2.13008 da suíte Pentanho para que este acesse a base de dados multidimensional, exiba os dados através de um navegador web onde é possível realizar as operações OLAP com os dados exibidos. Para isso, através do Schema Workbench 3.0.3.11016 da suíte Pentanho, desenvolveu-se um esquema XML que contém os cubos OLAP que mapeiam os fatos, dimensões e medidas da base multidimensional. Foi feito o deploy da aplicação no Tomcat 6.0.20 e em seguida, fizeram-se algumas análises através dos relatórios e gráficos gerados pelo Mondrian, a fim de demonstrar o resultado do trabalho realizado e o valor das informações encontradas.
Nos dias de hoje, o bem de maior valor no mercado é a informação. Esse bem tão precioso, cujo valor cresce a cada dia, tem grande influência entre o sucesso e o fracasso em praticamente todos os aspectos de nossa vida. Tomar um remédio ao qual somos alérgicos pode nos levar a morte, a escolha errada da profissão pode nos levar a decepção, uma decisão de um governo tomada em cima de informações falsas ou imprecisas pode levar seu país a guerra, uma decisão estratégica tomada sem a informação adequada pode levar uma empresa a falência. Mesmo com um valor tão alto, muitas vezes a informação é deixada de lado devido à dificuldade em acessá-la causado pelo seu formato e modelo de arquitetura utilizado para armazenar os dados. Esse trabalho trata de transformar os dados contidos em uma arquitetura de difícil análise e armazena-los em uma arquitetura que permita a fácil leitura e interpretação dessas informações. Para isso, escolheu-se uma base de dados de comunicação e transferência de arquivos, cujos dados estão armazenados em arquivos de texto, e baseando-se nos conceitos, técnicas e ferramentas de Business Intelligence, construiu-se uma arquitetura onde os dados foram disponibilizados de forma que mesmo pessoas com pouco conhecimento técnico consigam manipular e combinar esses dados gerando planilhas e gráficos que representam as informações contidas na base original. Para isso, realizou-se uma pesquisa bibliográfica sobre o assunto e um levantamento dos dados contidos nos arquivos de log, criou-se duas bases de dados no PostgreSQL 8.4, cujas modelagens foram feitas no Enterprise Architect 7.0.813, sendo uma relacional e uma multidimensional. Utilizando-se o Kettle Spoon 3.2.0 da suíte Pentanho criou-se dois scripts ETL, sendo o primeiro para carregar os dados dos arquivos de log para a base relacional e o segundo para classificar e sumarizar os dados contidos na base relacional e inseri-los na base multidimensional. Em seguida, alterou-se o exemplo de um sistema web, distribuído com o Mondrian 3.1.2.13008 da suíte Pentanho para que este acesse a base de dados multidimensional, exiba os dados através de um navegador web onde é possível realizar as operações OLAP com os dados exibidos. Para isso, através do Schema Workbench 3.0.3.11016 da suíte Pentanho, desenvolveu-se um esquema XML que contém os cubos OLAP que mapeiam os fatos, dimensões e medidas da base multidimensional. Foi feito o deploy da aplicação no Tomcat 6.0.20 e em seguida, fizeram-se algumas análises através dos relatórios e gráficos gerados pelo Mondrian, a fim de demonstrar o resultado do trabalho realizado e o valor das informações encontradas.
Palavras-chave
Business intelligence, Suite pentanho, Análise de dados