Archive for the ‘Artigos’ Category

Em 2007, o Google publicou na conferência “Proceedings of the 5th USENIX Conference on File and Storage Technologies (FAST’07)” um artigo muito elucidativo sobre falhas de disco. Os dados foram obtidos das suas quintas de servidores com uma população de 100.000 discos o que permite recolher métricas com algum peso em termos estatísticos.

Tendo eu alguma cota parte de gestor de sistema, este artigo captou o meu interesso e partilho aqui um resumo deste.

O Google tem perto de 100.000 discos rígidos, muitos destes PATA e SATA, os mesmos que utilizamos no nossos computadores pessoais e um facto que sobressai é que temos agora melhores discos para uso “caseiro” do que para uso profissional (FC e SCSI). O artigo apresenta resultados surpreendentes em cinco áreas:

• A viabilidade do MTBF dos fabricantes
• A inutilidade da estatística do SMART
• Carga e tempo de vida do dispositivo relacionados com falhas
• Temperatura relacionado com falhas

A viabilidades do MTBF dos fabricantes

MTBF, Mean Time Between Failure, é uma medida estatística que indica tempo médio entre falhas. Quando um fabricante especifica  300.000 MTBF, isto significa que temos uma probabilidade de falha de 50% antes das 300.000 horas.  Se formos positivos, significa que temos 50% do disco não falhar antes durante 34 anos e 4 meses (300.000/365 dias/24 horas). Quando irá falhar? esta métrica nada diz sobre o assunto. Num ambiente ideal, se tivermos 600.000 discos, poderíamos contar com uma falha por hora. No entanto o bom senso diz que o número de falha irá aumentar quando mais perto da média estivermos. O google AFR, Anunal Failure Rate, apresenta um cenário diferente.

Vou continuar esta análise depois de explicar como são obtidas as métricas dos fabricantes.

MTBF definido pelos fabricantes

Não é viável testar um dispositivo de forma “real”. Teoricamente falando seriam preciso mais de 68 anos para poder concluir que o MTBF é de 34 anos ao tentar replicar discos como uso “normal”. Dito isso, a estatística fornece ferramentas para acelerar o processo da seguinte forma. Os fabricantes, na fase de concepção/testes, pegam em muitos discos e dão lhes um uso intensivo até estes falharem. Com base no uso intensivo dado e no uso padrão esperado para os discos, é conseguido uma projecção no tempo de como os equipamentos irão comportar-se. Este teste acelerado é usado tanto na informática como também na aeroespacial, electrodomésticos como no sector automóvel. O problema é que estes testes não representam realmente as condições reais submetidas aos equipamentos:

Since failures are sometimes the result of a combination of components (i.e., a particular drive with a particular controller or cable, etc), . . . a good number of drives . . . could be still considered operational in a different test harness. We have observed . . . situations where a drive tester consistently “green lights” a unit that invariably fails in the field.

Utilidade do SMART

O SMART é uma interface presente nos discos que recolha, analise e tenta prever falhas no disco rígido. É muito útil para verificar, por exemplo, a temperatura. O SMART recolha e cria um registo de erros internos occoridos. No entanto, o SMART foca-se em falhas mecânicas e não electrónicas, como por exemplo falha de alimentação de um circuito interno. Como tal, muitas falhas não são analisadas. Pelos dados recolhidos no Google, 36% das avarias não foram identificadas pelo SMART o que torna este inútil para previsão de falha. Continua útil porque permite detectar algumas falhas mas não devemos depender exclusivamente dele. No entanto o Google consegui fazer uma correlação entre falhas detectadas no SMART e falha no equipamento nos seguintes parâmetros:

• scan errors
• reallocation count
• offline reallocation
• probational count

Uma correlação obtida é, depois da primeira falha de scan, é 39 vezes mais provável de um disco falhar nos próximos 60 dias do que um disco em perfeitas condições. 

Excesso de carga = Tempo de vida reduzida?

Seria lógico esperar que com uma maior carga de trabalho os discos tenderiam para ter um tempo de vida reduzido. Mas nos resultados obtidos não é isso que se verifica.

After the first year, the AFR of high utilization drives is at most moderately higher than that of low utilization drives. The three-year group in fact appears to have the opposite of the expected behavior, with low utilization drives having slightly higher failure rates than high ulization ones.  

Os resultados são bem claros, os primeiros meses são cruciais quando há excesso de carga. Com o passar do tempo, os discos com excesso de carga tendem normalizar e ter apenas uma taxa moderadamente superior. 

Temperatura e falhas

O bom senso diz que quando mais quente … pior. Os fabricantes dão uma gama de operações entre 0º e 60º C e normalmente temos os discos por volta dos 35ºC (+/-5 ºC). No entanto os valores obtidos mostram que é o dobro pior ter discos arrefecidos abaixo dos 20ºC do que acima dos 50ºC.

Aqui tenho que admitir que fiquei surpreendido. Isto acaba por ser uma boa notícia aos datacenters e aos gestores de servidores já que ficam com mais espaço de manobra em relação as instalações.

Notas finais: 

Não tentar ter um sistema ultra gelado mas sim apenas manter  um ambiente normal e controlado (35ºC +-5ºC).

Quando se tem uma drive com carga excessiva, tomar cuidado nos primeiros  6 meses.

Realizar backups regulares e quando houver indícios de erros no SMART, mudar para um novo disco.

DATAWAREHOUSE EM ORACLE COM UTILIZAÇÃO DO ORACLE DISCOVERY COM TOOL DE EXPLORAÇÃO Versão PDF

1. Introdução
 

A necessidade de ferramentas adequadas para atender aos gerentes proporcionou o surgimento no mercado de novas tecnologias como respostas às suas solicitações.

Inicialmente, essas tecnologias não estavam preparadas para gerar e armazenar as informações estratégicas necessárias a uma gestão eficiente dos negócios ou operação da empresa, particularmente no momento da tomada de decisão. Essa inaptidão deve-se ao facto das ferramentas eram inicialmente desenvolvidas para o processamento de informação de produção e não para consultas de grande volume de informação. A verdade é que as metodologias utilizadas em OLTP não são compatíveis com as necessidades do OLAP.

Com o advento do Data WareHousing as ferramentas de processamento analítico on-line (OLAP – On-line Analytical Processing) passaram a ter um grande destaque. Segundo alguns autores, o sucesso de um Data WareHouse pode depender da ferramenta certa para atender as necessidades do utilizador, de onde podemos facilmente compreender o grau de importância em seleccionar a ferramenta adequada.

A ferramenta OLAP é constituída de um conjunto de tecnologias especialmente projectadas para dar suporte ao processo de decisão através de consultas, análises e cálculos mais sofisticados nos dados corporativos, estejam armazenados numa Data WareHouse ou não, por parte dos seus utilizadores, geralmente analistas, gestores e executivos.

Para permitir uma melhor classificação, as ferramentas OLAP estão divididas em ferramentas que utilizam um banco de dados multidimensional (MOLAP) ou em ferramentas que armazenam os dados em banco de dados relacionais (ROLAP).

Este tutorial propõe como objectivo criar e alimentar uma datamart e utilizar o Oracle Discoverer como ferramenta de análise inteligente sobre a datamart criada. Read the rest of this entry »

1.      Introdução

Hoje em dia, todos nos assumimos como certo poder comunicar para o outro lado do mundo, ter sempre disponíveis previsões meteorológicas fiáveis para alguns dias e obter informações precisas do estado das culturas produzidas nas nossas províncias. Ninguém questiona o simples facto de ligar a televisão e receber do céu o sinal que nos fornece as notícias e, em alguns casos, Internet.

Este documento pretende introduzir o leitor no mundo dos satélites. Não é possível introduzir todos os aspectos deste mundo num só documento. Por exemplo não são focados os ground-stations, o processo de desenvolvimento entre outros aspectos mais relevantes como os lançadores, as várias missões espaciais que existem.

2.    Breve história no tempo

Poucos entre nós lembram-se do fenómeno que foi quando os russos lançaram pela primeira vez um objecto fora do espaço terrestre. Tratava-se apenas de uma esfera com um tamanho equivalente de uma bola de basquetebol contendo um emissor que simplesmente emitia uns bips. Essa bola iniciou uma corrida no espaço entre as duas maiores potências do mundo que culminou na aterragem do primeiro homem na lua. Tudo começou no século 11 antes de Cristo, quando os chineses inventaram a pólvora utilizavam essa invenção para criar foguetes que eram utilizados para fins militares, ou para fins festivos. Este uso continuou inalterado até 1942, quando von Braun criou o V2 para ajudar Hitler na ofensiva contra Inglaterra. Read the rest of this entry »

Configuração do servidor Apache com SSL no sistema operativo Windows 2000/XP Versão PDF

1.   Introdução   Introdução 

 Este documento foi escrito com intuito ajudar na instalação do servidor web Apache no sistema operativo Microsoft Windows 2000 e XP. Trata-se apenas de um guia e não pretende substituir os manuais de utilização do Apache e do openssl. Read the rest of this entry »

XXXVII Congresso Brasileiro de Engenharia Agrícola

Brazil, August 31 to September 4, 2008

Web decision support system for surface irrigation design

ANDRÉ MUGA¹; JOSÉ MANUEL GONÇALVES²; LUIS SANTOS PEREIRA ³

¹ Researcher, CEER/ISA/UTL – Portugal.

² PhD, CEER/ISA/UTL – Portugal.

³ Professor, CEER/ISA/UTL – Portugal. e-mail: lspereira@isa.utl.pt

Presented at

CIGR INTERNATIONAL CONFERENCE OF AGRICULTURAL ENGINEERING

XXXVII CONGRESSO BRASILEIRO DE ENGENHARIA AGRÍCOLA – CONBEA 2008

Brazil, August 31 to September 4, 2008

ABSTRACT: This paper presents the Web decision support system for surface irrigation design, an Internet application to assist designers and managers in the process of design and planning improvements in farm surface irrigation systems – furrow, basin and border irrigation. It includes a database, simulation models, user-friendly interfaces and multicriteria analysis models. The system was developed from a stand-alone application and includes two modular components: a Web application and the simulation engine. The development applies the Framework .Net of Microsoft, with the reuse of stand-alone version source-code. The operational and simulation databases apply the SQLServer allowing a simultaneously connection of several users. This approach results on a better service quality, avoiding package installation and is more versatile to upgrade and to integrate other data and models, particularly in world water scarcity areas less developed and with major water scarcity. It is presented the application design, the logical dynamic structure and interface details.

KEYWORDS: surface irrigation design; decision support system (DSS); Web DSS

INTRODUCTION: A decision support system was developed to assist designers and managers in the process of design and planning improvements in farm surface irrigation systems – furrow, basin and border irrigation, entitled SADREG. It allows creating a large set of alternative solutions, their impact evaluation and multicriteria selection analysis through an integrated framework of user knowledge, database and simulation models. This DSS was applied to several agricultural, economical and environmental conditions, considering several irrigation methods, equipments and practices:to optimize irrigation performance on the Lower Mondego Valley, Portugal (GONÇALVES & PEREIRA, 1999), to improve basin irrigation for water savings and salinization control, in the Upper Yellow River Basin, China (GONÇALVES et al. 2003), to improved furrow irrigation in Fergana Valley, Aral Sea Basin, Uzbekistan (GONÇALVES et al., 2005), and to modernize furrows and border irrigation in Euphrates Basin, Syria (DAROUICH et al. 2007; GONÇALVES et al. 2008).

This development of DSS for Web allows better application flexibility, improving the user support to database access and enlarging the number of users, particularly in the world areas where the water scarcity demand a better use of irrigation water. The application version here presented comprises a Web and a simulation engine module, which includes the models integrated in SADREG. This development was based on the Microsoft Framework .Net and the SQLServer to manage databases, allowing a simultaneously connection of several users.

An Internet application has a larger flexibility, with more users worldwide, including areas where the surface irrigation requires improvements and the expert technical support is more incipient. The Web access of DSS allows an easier way to transfer knowledge and tools to improve the procedures to evaluate and design the field irrigation problems. The DSS location on a server allows sharing data and comparison of results of different users. Some examples of Web applications in the irrigation subject demonstrate its usefulness (BRANCO et al., 2005; THYSEN & DETLEFSEN, 2006).

The objective of this paper is to present the Internet application of SADREG, describing the software strategy and its procedures to design, maintain and users support.

Read the rest of this entry »