Viés?

O viés é a tendência do profissional que realiza a análise em superestimar ou subestimar um parâmetro. Ou análises que não respeitem os princípios da imparcialidade. O viés pode ser inserido nos dados de várias formas, como por exemplo:

• Objetivos de negócio muito genéricos ou pouco definidos;
• Escolha de fontes dados baseando-se somente na facilidade de adquiri-los;
• Regras de negócio pouco definidas ou com definições diferentes entre as áreas;
• Análises ou aquisição de dados buscando confirmar uma crença ou opinião, ignorando dados que podem confirmar outra coisa.

Quando sua presença nos dados não é combatida, seus resultados serão parciais, impróprios ou falsos. Dependendo do tamanho do seu negócio, as perdas podem ser grandes. Podemos citar a bolha imobiliária americana, na qual bancos investiram em papéis podres mesmo havendo dados que indicavam sua má situação.

E o viés de confirmação?

Em um de nosso posts reforçamos a importância da estatística na administração do seu negócio ou seus investimentos. A partir do momento em que passamos a utilizá-la, precisamos ter em mente que os riscos inerentes ao uso aparecerão. Um desses riscos é o Viés de Confirmação.

O viés esta presente conosco todo o tempo, ele faz parte do ser humano. Dentro do escritório ou em casa, uma vez aceita uma crença, apenas basta buscar formas de confirmá-la. Quando estamos em busca de soluções e encontramos uma resposta, como nos sentimos? Triunfantes, capazes, somos muito bons. E quando alguém prova que estamos errados?  Frustrados, envergonhados às vezes, em outros casos continuamos achando que estamos certos. Isso é normal, faz parte de como as emoções humanas funcionam.

“O homem recebe somente o que ele está pronto para receber, seja fisicamente, intelectualmente ou moralmente…” 

Henry David Thoreau

O professor Richard Nordquist define viés de confirmação como  a tendência que temos em aceitar evidências que confirmam aquilo que acreditamos e rejeitarmos aquelas que as contradizem.

Ou, simplesmente, vemos o que nos interessa e concluímos aquilo que acreditamos.

Como isso interfere no meu projeto de BI?

Temos uma grande quantidade de dados sendo gerados diariamente. Estamos armazenando grande parte desses dados, ou todos eles (Data lakes), com a esperança de que se transformem em ativos valiosos. Com a grande quantidade de dados podemos mitigar o viés através de diversificação das fontes, pois temos dados brutos e sem filtros.

Observe, a quantidade de dados se torna agora um fator que pode reduzir nossa performance no desenvolvimento de análises. Porque precisamos avaliar quais dados são realmente relevantes, ou seja, de todas as fontes e todos os tipos, quais são os mais indicados para responder a nossas perguntas. Você tem certeza que a resposta da pergunta X está nas tabelas X1 e X3, os dados da tabela X2 não são importantes. Qual o fundamento dessa conclusão? Houve um estudo ou pesquisa para avaliar, ou é apenas intuição?

Temos muitos dados que não sabemos nada sobre eles, então acabamos por escolher aquilo que nos faz mais sentido intuitivamente, mas que pode não ser o mais correto lógica e estatisticamente.

Em outros casos o viés parte do próprio cliente ou líder de negócios, ele apenas quer ver algo, não se importando com os outros fatores que podem mudar totalmente a análise. Quando nos deixarmos levar por crenças ou intuição precisamos criar testes para provar o contrário. Todos as possibilidades precisam ser observadas, assim decidiremos melhor.

Os projetos são planejados para responder várias perguntas de negócio e não para confirmar crenças. Em vários casos as respostas confirmarão crenças, o problema é desenvolver projetos com o objetivo único de confirmá-las.

Nem o big data escapa!

Não existem dúvidas do poder revelador do Big Data, sua capacidade de gerar avanços expressivos e sucesso.

Como falamos anteriormente, em teoria, a grande quantidade de dados ajuda eliminar o viés dos dados. Mas ainda assim criamos análises e modelos estatísticos, e estes podem estar enviesados. O cientista de dados normalmente é o cara que explora os dados, um humano, profissional capaz, mas que tem suas opiniões e crenças. Quando, voluntariamente ou involuntariamente, ele aplica suas crenças em modelos de Machine Learning ele esta alterando a saída. Os resultados atenderão a suas crenças, mas será que atenderão as necessidades de negócio?

Um exemplo do poder devastador do viés foi o caso relatado neste artigo, devido a um erro dos pesquisadores o resultado foi totalmente diferente. O achado foi publicado e vários países passaram a seguir as conclusões propostas.

Mas, após a revisão da pesquisa, foram observados erros. Dados que alteravam totalmente o resultado foram excluídos da base. A correção foi feita, mas já era tarde, muitos países haviam criados políticas em torno da pesquisa, que, no fim, mostraram-se imprecisas.

Como evitar?

Por ser uma distorção de julgamento que acontece em momentos e em pessoas específicas, não existe passo a passo ou receita mágica para se evitar. Mas daremos algumas dicas que podem afastar a possibilidade de criação de modelos enviesados.

Durante o desenvolvimento, um especialista no negócio deve participar ativamente e ter acesso aos resultados prévios. Isso pode ajudar a afastar o viés que o desenvolvedor possa ter, mas, se este for muito passivo, o viés inserido pode ser o do especialista. Difícil, não?

Com documentação bem definida e regras de negócios claras, o viés do desenvolvedor e do especialista fica mais distante. A quantidade de variações de análise pode ser incrementada, pois, livre de crenças, a criatividade da equipe pode ser utilizada ao máximo.

Encoraje o desbravamento dos dados. Todas as possibilidades devem ser liberadas, com o poder de processamento e as ferramentas ou técnicas de visualização de dados a produção de insights pode ser imensa.

E o mais importante…

Não pare na primeira resposta que encontrar. Continue procurando, utilize APIs para incluir novos dados. Busque especialistas de outras áreas e inove.

Se não existem dados suficientes, busque novos. Assim como a tecnologia muda, nós precisamos nos renovar e buscar mais.

 

Saiba mais:

Tem curiosidade sobre Analytics e quer alcançar a Excelência Operacional? Fale com a gente e siga nossos posts no Facebook.

 

Imagens: ColiN00B e stevepb/Pixabay