rss
twitter
    Find out what I'm doing, Follow Me :)

BI: monitoramento e análise em tempo real

Cálculos de in-memory também são evocados para tornar análise mais rápida e precisa

Escuta-se muito o termo "tempo real" dos fornecedores de BI, mas eles raramente falam em resposta por subminuto ou por subsegundo. Você pode usar técnicas como integração trickle-feed ou mudança na captura de dados para fazer um data warehouse convencional chegar à latência em subminuto, mas pode dar mais trabalho e ser mais caro do que os processos de fluxo alternativos.
BI de baixa latência, monitoramento mais rápido das atividades do negócio e processamento de eventos complexos de latência ultrabaixa são alguns dos exemplos de tecnologias de processamento de fluxo. Eles, geralmente, incluem alertas instantâneos para que se possa reagir quando um evento ou padrão em particular é identificado. Mas nestas velocidades - desde alguns segundos em BI de baixa latência até os milissegundos de processamento de evento complexo - muitas empresas precisam também unir baixa latência com resposta automática.
Na Insurance.com, manter um site de comércio eletrônico com alto tráfego requer monitoramento em tempo real de, pelo menos, uma dúzia de sistemas que dão suporte ao negócio, desde a plataforma e algoritmos de reconhecimento de consumidores até servidores web. A empresa criou um aplicativo de monitoramento em 2004, mas no começo de 2008 ele já estava deixando a desejar. "O ponto crucial veio quando a Insurance.com decidiu monitorar a taxa de ligações por estado", contou Scott Noerr, diretor de serviços de TI. A atualização do aplicativo tomaria entre seis e oito semanas de três desenvolvedores.
A análise criação versus compra acabou em março de 2008 com a escolha do Cognos Now, da IBM, uma ferramenta no formato de painel de monitoramento que se encaixa na categoria BI de baixa latência. A área de TI notou a necessidade de monitoramento enquanto desenvolvia alerta, escalada e interface de gráficos customizados que o aplicativo autóctone carecia. A Insurance.com considerou ferramentas específicas de TI para monitoramento de rede, site e desempenho, mas isso precisaria de uma miscelânea de ferramentas que não davam boa aparência para a interface. Como muitos dos produtos de BI, o Cognos Now, da IBM, foi desenvolvido para ser utilizado em uma grande variedade de sistemas e tipo de dados. A implementação demorou seis semanas e precisou de uma equipe completamente dedicada.
A função para alertas foi a primeira grande diferença, "porque nós não precisamos mais ficar de olho na interface para descobrir se temos um problema", explicou Noerr. Mas a grande esperança para aumentar os lucros vem das funções de escalada e automação adicionadas há pouco tempo. Um aplicativo monitora 15 variáveis para determinar a capacidade dos agentes do call center. Quando ele identifica excesso de capacidade, ajusta, automaticamente, o software de relacionamento com cliente (CRM) para enviar orientações aos agentes com mais rapidez.
O segundo aplicativo monitora os processos dos consumidores e envia alertas aos gerentes designados em caso de detecção de falhas no desempenho. Se a condição persistir, os alertas aumentam e chegam para os executivos mais altos.
Processamento de eventos complexos é uma tecnologia que as empresas estão começando a usar com mais amplitude para fazer monitoramento mais perto do tempo real. Surgidos em laboratórios e em desenvolvimentos personalizados nas corretoras de Wall Street nos anos 90, tornou-se produto comercial - "de prateleira" - nos últimos cinco anos. Os principais usos são nas áreas de cadeia de suprimentos, entregas e logística, varejo e utilities.
A gigante de entregas UPS, por exemplo, não apenas transformou a fornecedora Truviso em um dos padrões corporativos, como também investiu na iniciante (startup). Decidiu que precisava substituir um aplicativo legado que rastreava e fazia balanceamento de carga (load balancing) para aproximadamente 50 milhões de transições feitas por visitantes do USP.com, assim como pedidos de envio feitos por meio do aplicativo WorldShip, baseado em PC.
O antigo sistema fazia o clássico relatório "retrovisor" - coletava dados de log do servidor toda noite e informava as tentativas de transações, as bem-sucedidas e as falhas de cada servidor, toda manhã. "Quando os problemas começavam a aparecer e as pessoas perguntavam ‘o que vocês vêem?", tudo que podíamos dizer era saberemos amanhã, relatou Jim Saddel, um dos gerentes de sistemas da UPS. "Hoje podemos olhar para o painel e ver imediatamente se se trata de um problema geral ou se é um problema isolado em um servidor específico." A empresa atualizou seu padrão Truviso em abril e o complementou com alertas de e-mail e de texto. Quando os gerentes recebem uma notificação, eles podem investigar e, com sorte, prevenir uma pane.
Muitos fornecedores falam muito bem da opção de mover BI para áreas operacionais como as da Insurance.com e UPS. Mas tecnologias lentas e baseadas em batch são, com muita frequência, um modelo que não consegue acompanhar as decisões que devem ser feitas de repente. As tecnologias de processamento de fluxo prometem tornar realidade os relatórios em tempo real, painéis e aplicativos para suporte de decisões.
Comprometa-se com in-memory
O terceiro elemento convocado para mudar BI é a análise mais rápida possível, que usa os cálculos in-memory. Estas ferramentas podem, rapidamente, dividir e analisar grandes conjuntos de dados sem recorrer a dados resumidos, cubos pré-construídos ou tuning intensivo de banco de dados. Produtos como o Spotfire, da Tibco; o Applix TM1, da IBM e agora conhecido como Cognos TM1; e o QlikTech foram os pioneiros da categoria e, recentemente, outros fornecedores entraram no mercado ou apresentaram planos para isso. A Microsoft, por exemplo, planeja adicionar análise in-memory no lançamento do serviror SQL 2008 R2, no ano que vem. E a MicroStrategy acrescentou à sua suite de BI a habilidade de análise in-memory opcional em janeiro deste ano.
O poder e a atração dos produtos in-memory cresceram nos últimos anos, conforme as tecnologias multicore, multitarefa e de servidores 64-bit se tornaram mais comuns e acessíveis. O avanço em hardware permite que os produtos deste tipo analisem o equivalente a múltiplos data marts ou, até mesmo, pequenos warehouses em RAM. Esta tecnologia também elimina ou, ao menos, minimiza, a necessidade de preparação de dados estendidos e desempenho de tuning pela área de TI. Para os usuários finais, significa serviços de BI mais rápidos sem precisar esperar na fila de TI.
A SAP abalou as abordagens de in-memory com o BusinessObjects Explorer, que mescla o estilo de busca da internet pela interface Polestar com as análises in-memory da ferramenta Business Warehouse Accelerator. O produto está disponível com ou sem a tecnologia 64-bit in-memory, mas sem ela é apenas uma ferramenta com o estilo de busca na internet. A maior limitação: acessa dados apenas por meio do Business Warehouse. Uma atualização que permite acesso a várias fontes de dados já é esperada.
Sara Lee é uma empresa beta-tester do Explorer que virou cliente. Após completar o piloto, a empresa de alimentos comprou o sistema com expectativas de que a velocidade permitirá que, um dia, eles abram BI para mais empregados. A Sara Lee vai testar o Explorer em duas áreas. Primeiro, seu grupo de aperfeiçoamento contínuo irá usá-lo para ajudar a otimizar processos como purchase-to-pay e order-to-cash. Isso requer análise país a país para saber quais unidades têm o melhor e o pior desempenho e por que. "Responder a essas perguntas fica mais fácil quando se tem rápida navegação em dados", disse o diretor de gerenciamento de informação global da Sara Lee, Vincent Vloemans.
Em segundo, a unidade de finanças, na Europa, acredita que respostas mais rápidas aprimoram os relatórios padrão de BI. "Essas pessoas planejam e reavaliam o negócio constantemente e também acabam recebendo muitas questões como suposições, vindas de gerentes-sêniores, para as quais eles não têm relatórios pré-definidos", declarou Vloemans.
Se essas duas implementações forem bem-sucedidas, ele acredita que essas ferramentas podem ser expostas para toda a empresa. Mas isso requer controles de segurança e cuidados com os perigos da má inteligência - como acreditar que as "vendas" podem ser medidas da mesma forma nas diferentes unidades do negócio. Vloemans avisa que isso é um problema geral de BI, mas quando se dá uma ferramenta poderosa para um número maior de usuários, é preciso ter uma ideia de como as pessoas interpretarão os dados.
Seus funcionários querem velocidade - pesquisa rápida de dados e análise são citados mais do que qualquer outra função entre as mais importantes de BI. Visões em tempo real e previsões caem na lista, embora não seja surpresa já que são habilidades pouco familiares para grande parte dos praticantes de BI.
Pesquisa e análise são tão antigos quanto o conceito de business intelligence e quem não quer uma versão mais simples e mais rápida do que já se usa todos os dias? Mas não se iluda: enquanto previsões e visões em tempo real são habilidades distantes para muitos, elas apresentarão riscos em poucos anos.


por Doug Henschen | InformationWeek EUA 16/12/2009

Sobrecarga de projetos: O inimigo das organizações eficientes

"Fazer duas coisas de uma vez é não fazer nenhuma delas." - Publilius

"O cérebro é muito parecido com um computador. Você pode ter várias telas abertas em seu desktop, mas só pode pensar nelas uma por vez." - William Stixrud, Phd em Neuropsiquiatria


Continuando a série sobre gestão de portfólio de projetos, neste artigo tratarei de um dos principais impedimentos a uma maior geração de valor por parte de projetos de TI: escassez de profissionais e sobrecarga de pessoas e recursos financeiros.

Um dos problemas sérios em muitas empresas é a multi-tarefa. Quando um indivíduo trabalha em duas tarefas simultaneamente o ciclo de ambas é impactado diretamente. Ainda que não houvesse perda de produtividade, quando um trabalhador divide seu tempo para trabalhar em duas atividades ambas vão levar o dobro do tempo para finalizar. Dividir pessoas entre diversos projetos tende a gerar o mesmo efeito negativo no tempo de entrega. Além do efeito acima, já se comprovou através de pesquisas que a multi-tarefa e a troca constante entre projetos reduz a produtividade de uma pessoa.

De acordo com Smith e Reinertsen, dois mestres da prática e estudo de processos de desenvolvimento de produtos: “Você pode pagar uma pequena penalidade ao dedicar uma pessoa ao projeto do início ao fim. Em retorno por essa penalidade você terá um grande retorno em tempo de entrega, que geralmente vale mais dinheiro. Além disso, caso você tenha especialistas generalistas em sua equipe, essa penalidade será quase insignificante”.

Muitos executivos podem então questionar: mas se eu dedicar cada pessoa a um único projeto até seu fim não conseguirei tocar os X projetos que estão em meu backlog. É por isso que a solução para esse problema é simples, do ponto de vista da gestão de portfólio de projetos: Controle contínuo e religioso da lista de projetos. Conforme vimos no meu artigo anterior, muitas empresas estão trabalhando, investindo e desperdiçando dinheiro e tempo em mais projetos do que deveriam. Vários desses projetos são menos interessantes financeiramente(às vezes gerando até prejuízo, considerando o valor presente líquido) que outros. Porém a mera existência deles acaba drenando o pool de recursos e investimentos da empresa.

Reinertsen e Smith descrevem alguns casos práticos de controle religioso de projetos. Uma empresa diminuiu o número de projetos pela metade. Com isso, ela conseguiu desenvolver os projetos restantes duas vezes mais rápido com o mesmo número de pessoas e recursos financeiros. Outra empresa diminuiu a lista de 114 projetos para 17! Essa empresa conseguiu entregar todos os projetos no prazo, sendo que anteriormente não entregava nenhum deles.

Uma maneira comum nas empresas para alocar pessoas em projetos é analisar os projetos definidos e então dividir as pessoas disponíveis entre eles. Porém, a melhor forma de fazer a alocação de pessoas é através de priorização e ranking de projetos. Nesse outro modelo, primeiro deve-se usar técnicas de priorização de projetos (tema de meu próximo artigo!) para ordenar do mais importante para o menos importante cada um dos projetos. Feito isso você aloca a quantidade necessária de recursos financeiros e pessoas (se possível os mais seniores) para o projeto mais prioritário da lista. Depois passe para o segundo projeto e aloque outros recursos que ainda não tenham sido alocados. Continue fazendo isso até que todos estejam alocados. Qualquer projeto remanescente não é iniciado até que os projetos prioritários se completem e liberem recursos.

É claro que pode-se também recorrer à terceirização e ao outsourcing. Mas é preciso sempre lembrar que essas estratégias também consomem recursos internos da empresa (pessoas para gerenciar e definir requisitos para os terceiros e dinheiro para pagá-los).

Algumas dessas idéias e dicas parecem óbvias. Mas a realidade é que Smith e Reinertsen detectaram que em muitas empresas o que ocorre é a seguinte situação: é mais fácil dizer para o chefe ou para o cliente que você está trabalhando em seu projeto que explicar que você não irá começá-lo até que tenha recursos adequados. E é exatamente esse comportamento disfuncional que incha a empresa de projetos e acaba levando muitas a uma paralisia por sobrecarga.

publicado por José Papo, MSc

Gestão Ágil de Portfólio de Projetos: A nova fronteira da produtividade estratégica nas organizações

 Nós, agilistas e engenheiros de software, estudamos muito acerca de como organizar e gerenciar um projeto, desenvolver o software, testá-lo, implantá-lo, etc. Focamos bastante em como maximizar o retorno e o valor dos requisitos e fuincionalidades geradas em um projeto de software. Mas será que estamos perguntando se o projeto em si gera valor para a organização? E mais que isso: será que esse projeto em particular gera mais valor que um outro projeto, que pode estar sofrendo problemas por falta de recursos?

A próxima fronteira para aumentarmos a otimização de valor para as organizações é subir um degrau acima: tratar sobre a gestão ágil de portfólio de projetos e sua ligação com a estratégia da empresa.

Alguns números muito interessantes (e impressionantes) ajudam a mostrar a realidade do mercado de TI:

- Gastos de TI podem representar até 70% dos investimentos de capital em algumas companhias fortemente dependentes de TI
- 84% das organizações não montam um business case profundo e realista para seus projetos de TI
- 89% das organizações estão voando às escuras, com poucas ou nenhuma métrica financeira relevante e cruzada com aspectos estratégicos
- 83% das organizacões não conseguem ajustar seus orçamentos com as necessidades de negócio em períodos menores que um ano
- 40% dos projetos de software entregues provaram-se não econômicos e não geraram um retorno positivo sobre o investimento. Resumindo: pagaram mais para desenvolver o software que receberam por ele.
- Em torno de 23% dos projetos de software são cancelados sem entregar valor nenhum.
- Segundo Maizlish e Handler, em média apenas 1 dólar de cada 14 dólares gastos pelo orçamento de TI conseguem ser correlacionados com benefícios claros de negócio.
- De acordo com Tockey, 54% de todos os projetos de software são contraprodutivos do ponto de vista financeiro e econômico. Isso significa que em mais da metade do tempo, organizações que pagaram para desenvolver software estariam melhor financeiramente sem eles!

Esses números impressionantes mostram que muitas organizações estão sofrendo uma hemorragia geral em seus gastos de TI. Muito disso se deve a:

- Vários projetos "pessoais" - isto é, realizados porque são favoritos pessoais de alguém e não porque foram analisados e aceitos como importantes dentro de um portfólio
- Relutância em matar projetos iniciados, mas percebidos posteriormente como de valor negativo ou baixo para os acionistas
- Muitos projetos ativos e um backlog gigantesco de projetos
- Miopia e foco na tecnologia pela tecnologia dentro dos departamentos de TI
- Critérios inexistentes, inconsistentes e incompletos para avaliar investimentos em TI
- Falha em estimar o Total Cost of Ownership, entre outras variáveis de custos
- Governança inadequada

Outro dado fundamental, analisado e estudado por Preston Smith no capítulo 11 (Preventing Overloads) do livro "Developing Products in half the time": sobrecarregar o portfólio de projetos dilui diretamente o esforço e cria filas, o que aumenta os prazos e os custos dos projetos. Isso significa que a falta de controle do portfólio de projetos é uma das causas-raiz do estouro de custos e prazos em projetos.

Esses dados e números reforçam um aspecto que muitas vezes negligenciamos: a disciplina da gestão de portfólio de projetos (preferencialmente ágil) é tão ou mais essencial para o sucesso dos projetos de uma organização do que apenas o uso de um processo ágil de desenvolvimento de software focado em melhorar a produtividade e qualidade dentro de um projeto.

Devido à relevância e amplitude do assunto project portfolio management tratarei sobre ele em vários outros artigos nesse blog. Aproveito para conceituar já aqui os objetivos da gestão de portfólio de projetos, alguns temas que apóiam essa disciplina e listar alguns livros iniciais para direcionar aqueles que perceberam a necessidade dessa disciplina em suas organizações.

A gestão de portfólio de projetos é um processo dinâmico de decisão em que a lista de projetos ativos e novos é constantemente revisada. Novos projetos são avaliados, selecionados e priorizados a partir de técnicas, métodos e critérios definidos pela organização. Projetos existentes podem ser acelerados, eliminados ou despriorizados. Recursos podem ser alocados e realocados pelos projetos.

Podemos resumir que a falta da gestão de portfólio de projetos em médias e grandes organizações significa que: há muitos projetos na organização, uma falta de foco, nenhum ou poucos critérios de seleção (projetos são selecionados na emoção ou por jogos políticos) e nenhum critério estratégico para a seleção de projetos. Esses pontos resultam em: maiores taxas de falhas em projetos e prazos mais longos de término de projetos, poucos produtos e softwares vencedores do ponto de vista de valor e falta de alinhamento estratégico nos projetos (o que gera efeito metralhadora: atira-se para todos os lados para ver se alguns dos projetos acertam!).

Algumas das ferramentas que serão tratadas nessa série de artigos:
- Ferramentas financeiras para avaliação de projetos de investimento e orçamentação de capital (capital budgeting)
- Pensamento sistêmico (Systems Thinking)
- Pensamento enxuto (Lean Thinlking)
- Ferramentas de pensamento da Teoria das Restrições (Theory of Constraints)
- Teoria das Filas

Relembrando: o gerenciamento pró-ativo do portfólio de projetos de uma organização pode trazer tantos ou até mais benefícios que apenas focar no processo de desenvolvimento e gestão de um único projeto. A gestão ágil de portfólio de projetos, juntamente com a gestão ágil de projetos com práticas técnicas, maximizará ainda mais o valor de cada dólar ou real investido e trará uma maior produtividade nos projetos certos. Isso transformará a TI da organização num centro de lucros e valor e não em um centro de custos e em uma commodity.

publicado por José Papo, MSc

BI ainda esbarra em problemas técnicos

Pesquisa da BI Scorecard revelou que 70% das organizações ouvidas verificaram pouco impacto da ferramenta sobre o negócio

O avanço no uso de ferramentas de business intelligence (BI) continua dificultado por uma série de fatores técnicos. Falta de qualidade das informações, confiabilidade do sistema e acesso a bancos de dados figuraram entre os problemas comuns à tecnologia.
Uma pesquisa realizada em 2009 com 324 usuários dos aplicativos pelo instituto BI Scorecard revelou que pouca coisa evoluiu na utilização dos sistemas em relação ao levantamento feito há dois anos. Isso porque, grande parte dos projetos envolvendo esse tipo de tecnologia parou antes da conclusão.
Além disso, muitos respondentes afirmaram que obtiveram resultados abaixo das expectativas. Aplicativos de BI tiveram pouco impacto sobre 70% das organizações ouvidas.
No raiar da crise econômica global, os sistemas de business intelligence foram alçados por muitos ao patamar de tecnologia que poderia salvar empresas, ajudando na formatação de decisões estratégicas importantes.
Mas, não foi isso que se viu. A pesquisa mostrou que 29% das implementações de BI apresentaram "ligeiro sucesso" e 47% foram "moderadamente bem-sucedidas", nas palavras dos respondentes. Apenas 21% dos entrevistados classificaram suas implantações "muito bem-sucedidas".
O lado positivo reside no fato de que o estudo descobriu que 85% dos projetos de BI têm o patrocínio de nível executivo, um dos fatores-chave para o sucesso de qualquer projeto de TI. Além disso, o número de empresas que padronizaram plataformas de business intelligence aumentou dramaticamente.
Segundo o estudo, quem conseguiu utilizar a tecnologia dentro de abordagem estratégica foram os que conseguiram colher benefícios.


por Antone Gonsalves | InformationWeek EUA
23/12/2009