Como a Inteligência Artificial afeta (ou ainda vai afetar) sua vida? — Resenha crítica do livro Weapons of Math Destruction

Resenha crítica do Livro “Weapons of Math Destruction”Cathy O’Neil, 2016

Cathy O’ Neil, doutora em matemática pela universidade de Harvard, descreve neste livro alguns dos mecanismos de funcionamento de algoritmos que estão por trás de programas que fazem uso de Inteligência artificial, explicitando como estes podem causar e/ou reproduzir preconceitos e desigualdades. A autora tem como base suas experiências profissionais e alguns exemplos famosos, como o caso do sistema de avaliação de professores (IMPACT) das escolas de Whashington (EUA). O livro traz exemplos de algoritmos falhos e danosos (do ponto de vista social) que se estendem em aplicações desde a contratação de trabalhadores e otimização de escalas de trabalho; avaliação de professores de escolas públicas e qualidade das universidades; direcionamento de efetivo policial e proposição de pena para detentos; análise de crédito; propaganda e marketing; análise de risco e venda de seguros; até o micro direcionamento de propaganda política; entre outros.

O grande diferencial do livro é a visão “de dentro” que ele traz. Apesar da percepção de que alguns sistemas em uso reproduzem preconceitos, injustiças, e aumentam desigualdades, aparentes pelos resultados destes sistemas (reportados por usuários e também por jornalistas), existe uma dificuldade em provar e justificar porque esta discriminação ocorre, em especial pela dificuldade de acesso ao algoritmo, aos dados que os alimentam, e também pela falta de conhecimento técnico em relação ao funcionamento dos mesmos. Em casos de técnicas avançadas de aprendizado de máquina — Deep learning — os mecanismos de funcionamento são desconhecidos até mesmo para quem os cria e treina, ou seja, os processos que geram os resultados do modelo são uma “caixa preta” (Miailhe & Hodes, 2017). O livro Weapons of Math Destruction, que parte do ponto de vista de uma matemática que trabalhou com desenvolvimento de algoritmos e analisa os mesmos do ponto de vista do impacto social, consegue detalhar como um algoritmo pode se tornar prejudicial e onde se encontra o erro na formulação e/ou alimentação (de dados).

A autora define estes algoritmos (modelos matemáticos) falhos como Weapons of Math Destruction (WMDs) e apresenta três características que o modelo precisa apresentar para ser caracterizado como tal:

· Opacidade: falta de transparência e/ou de acesso ao modelo e/ou aos dados utilizados para avaliação e/ou como estes dados ajudam a compor os resultados; é possível que a empresa fornecedora e a contratante tenham acesso à estas informações, mas que os avaliados, os prejudicados e até mesmo o poder público não tenham este acesso, impedindo ou dificultando a capacidade de analisar o funcionamento do mesmo;

· Escala: largo alcance e impacto do modelo na sociedade e na vida das pessoas prejudicadas; alta capacidade destrutiva;

· Dano: causa prejuízos na sociedade; é possível que o modelo gere resultados positivos para alguns e resultados negativos para outros. Tenhamos como exemplo um sistema de seleção para vagas de emprego nos EUA, inspirado em um exemplo trazido no próprio livro. Mesmo que ele beneficie uma pessoa negra que possivelmente não teria sido selecionada em um modelo de avaliação tradicional (por pessoas) devido à um viés racista, e o mesmo modelo prejudique uma pessoa branca, que possivelmente teria sido selecionada (no lugar de uma pessoa negra possuindo as mesmas competências) em um modelo de avaliação tradicional, se a exclusão da pessoa branca foi feita com base em uma “avaliação” — ou, mais provavelmente, em uma suposição através do uso de testes de personalidade — de sua saúde mental, que é, inclusive, proibido por lei nos EUA, então este algoritmo ainda assim causa prejuízos para a sociedade como um todo. Ou seja, os modelos podem não ser de todo prejudicial, mas ainda assim serem caraterizados como WMDs. Em outro exemplo, se este mesmo sistema utiliza o CEP como um dos critérios de seleção, por um lado, pode selecionar um negro que mora em um bairro de maioria rico, que poderia ter sido excluído por um viés racista, mas por outro, exclui tantos outros negros e minorias (maioria em bairros mais pobres), então este sistema, de maneira geral, não ajuda a reduzir o viés racista na contratação, e pode até mesmo ampliar este viés.

Além de fornecer critérios claros para a identificação de modelos prejudiciais, a autora ainda explicita como estes algoritmos geram e/ou reproduzem e/ou aprofundam os vieses negativos:

· Uso de Proxy Models: quando incapazes de incorporar os dados essenciais para gerar os resultados esperados pelo modelo, seja por economia de recursos, dificuldade de geração e/ou acesso dados necessários, ou até mesmo pela complexidade do que se busca analisar, os algoritmos incorporam modelos do tipo proxy, que são simplificações dos modelos analisados, mas que apresentam (teoricamente) correlação com o resultado esperado. Por exemplo, um site que gostaria de analisar o potencial de compra do usuário, mas que não possui acesso ao histórico de crédito deste usuário, pode utilizar dados de sua localização e estimar o poder de compra do mesmo. Em bairros pobres, o poder de compra é menor, e em bairros ricos, o poder de compra é maior, portanto, a correlação entre as informações pode ser significativa. Porém, dependendo das correlações criadas e do uso das mesmas, isto pode gerar vieses de discriminação no modelo. Em especial, quando estas “correlações” são geradas a partir de vieses e preconceitos de quem desenvolve o modelo (e não de dados empíricos), que podem não ser representativos da realidade, ou quando a correlação cria ou reproduz injustiças sociais (a partir de dados empíricos enviesados). Um exemplo trazido no livro ajuda a ilustra o problema: o uso de análise de crédito por conta de seguradoras de carros para a formulação dos custos do seguro. Neste exemplo, o risco não é avaliado com base no histórico de condução do motorista, e sim em sua capacidade de pagamento, resultando em ótimos motoristas com pontuação de créditos ruim pagando cerca de $1.500 a mais que motoristas com histórico de direção sob efeito de álcool, mas com pontuação de crédito boa. Por mais que pareça razoável supor que uma pessoa que é responsável no pagamento de suas contas também dirija de maneira responsável e mesmo que, na média, exista correlação entre ambos, não se pode generalizar a característica do grupo para o indivíduo e penalizar bons motoristas com pontuação de crédito ruim, enquanto beneficia maus motoristas com crédito bom. Da mesma maneira, modelos que usam dados de outras pessoas, buscando similaridades com o indivíduo avaliado com o objetivo de predizer o comportamento deste indivíduo, podendo até mesmo fazer uso de sua rede de contatos para tal, pode penalizar os indivíduos que simplesmente nasceram em locais menos favorecidos, apesar de não possuir comportamento semelhante. Mesmo que seu comportamento o diferencie de seus “pares”, se o modelo faz avaliação a partir de seus pares, então este indivíduo será prejudicado por fatores sobre os quais ele sequer tem influência sobre.

· Erros estatísticos: a autora destaca alguns erros estatísticos nos modelos apresentados, como a avaliação dos professores das escolas de Washington através dos resultados de classes 25 a 30 alunos, quantidade insuficiente para obter relevância estatística, além de ignorar todas as outras variáveis que podem ter efeito no aprendizado dos alunos além do professor. Outro erro estatístico, conforme apresentado no exemplo do tópico anterior, e que está intimamente ligado ao uso de proxies, é o de inferir causalidade entre duas variáveis que apresentem correlação — pontuação de crédito boa = motorista bom, por exemplo. Nem sequer fica claro se foi testada a correlação ou se foi apenas uma pressuposição de quem define o algoritmo, sem base empírica. Neste exemplo, existe alguns pressupostos por traz desta tentativa de correlação, por exemplo: que a pontuação de crédito de um indivíduo avalia — e é uma boa (e/ou melhor) maneira de avaliar — seu nível de responsabilidade; que a responsabilidade do indivíduo tem correlação com seu comportamento como motorista — e que esta é uma boa (e/ou melhor) maneira de avaliar o comportamento de um motorista. Um segundo erro apresentado (de maneira indireta) seria assumir que as variáveis são independentes. No exemplo anterior, a pontuação de crédito, pode ser dependente do patrimônio do indivíduo, uma terceira variável não incluída no modelo, que pode não ter nenhuma correlação e/ou casualidade com o seu nível de responsabilidade. Este sistema pode cobrar um seguro mais barato para um jovem rico que herdou grande herança e que dirige de maneira irresponsável, enquanto cobra mais de um trabalhador de classe média que precisou gastar os poucos recursos que tinha no tratamento de câncer da esposa e que agora se encontra endividado. Ou seja, o sistema não avaliar o risco do indivíduo como motorista, e sim sua capacidade de pagar o seguro (que provavelmente é única inferência correta a se fazer à partir de uma pontuação de crédito), colocando um preço maior para os que tem menor capacidade de pagar, e um preço menor para quem tem menor capacidade de pagar. O sistema funciona, no fim do dia, como um Hobin Wood às avessas, compensando os preços menores dos mais ricos através dos preços maiores para os mais pobres (no lugar de cobrar um mesmo preço médio a todos). Este não é necessariamente um problema novo, já que as próprias concessões de crédito feitas pelos bancos seguem essa mesma lógica: quem menos tem recursos e mais precisa dos empréstimos, tem acesso à juros maiores por apresentar risco maior, e quem mais tem recursos e menos precisa dos empréstimos, tem acesso a juros menores, por apresentar risco menor de não pagamento. A novidade aqui seria a expansão desta injustiça e desta lógica econômica para outros serviços, como seguros e até mesmo aluguel de carros.

· Feedback loops danosos: sistemas baseados em modelos estatísticos requerem retroalimentação (feedback loop) para que possam aprimorar o modelo e reduzir seu nível de erro. No exemplo anterior, quem tem pior pontuação de crédito acaba por ter acesso a seguros com valor mais alto, e isso resulta em uma maior possibilidade de endividamento do indivíduo. Ou seja, se ele não conseguir pagar o seguro, isso gera apenas uma confirmação do alto risco desse indivíduo para o sistema. Se isso acontece com mais indivíduos da base de dados desta empresa, isso pode resultar em maior risco para este grupo, e valor ainda mais alto. Ou seja, cada vez que aumenta o preço, o sistema ajuda a aumentar o risco, o que gera um novo aumento de preço. Este pode ser considerado um feedback loop danoso porque o próprio algoritmo ajuda a maximizar o risco que ele avalia. Se considerar, por exemplo, que este trabalhador endividado trabalha como motorista de Uber, ou seja, possui obrigatoriedade de contratar o seguro para estar habilitado a trabalhar, e é cobrado um valor alto, então a seguradora está ajudando a reduzir a margem de lucro deste trabalhador e reduzindo sua capacidade de pagar suas contas em dia e aumentar seu score de crédito. Neste caso, o algoritmo ajuda também a criar um ciclo vicioso prejudicial na vida do cidadão afetado.

· Falta de Feedback: Alguns modelos, como o de contratação de funcionários, são retroalimentados apenas com os resultados gerados por ele mesmo, ou seja, o sistema define quem é contratado e recebe informações de desempenho apenas de quem foi contratado. O sistema não tem acesso ao desempenho dos candidatos que foram rejeitados para identificar seus erros e melhorar seu desempenho. Novamente, o sistema é retroalimentado apenas por dados que confirmam suas hipóteses iniciais, perdendo a oportunidade aprendizado e melhoria.

· Dados que alimentam o sistema: quando um modelo é criado, ele precisa ser alimentado com dados que serão utilizados como referencial para a geração dos resultados. Por exemplo, no sistema de contratação, a empresa pode utilizar dados de funcionários anteriores, para “ensinar” ao sistema o que seria bom funcionário e o que não seria. Porém, estes dados podem estar poluídos pelos vieses de contratação dos funcionários que fizeram seleções no passado, bem como dos que avaliaram os funcionários, e os que tomaram decisões em relação à promoção e carreira do indivíduo dentro da empresa. Digamos então que a empresa não possuísse um viés de gênero na contratação, e que metade da empresa fosse composta por homens e metade por mulheres mas que, apesar de apresentarem a competência necessária para subir de cargo, as mulheres fossem promovidas com menor frequência do que os homens, e apenas 10% dos cargos mais altos fossem ocupados por mulheres, o sistema poderia entender que mulheres são funcionários priores que homens e então, sequer selecionar as mesmas para contratação.

Conforme relatado na descrição e nos exemplos acima, alguns dos problemas citados não são necessariamente novos. Na realidade, o uso de proxies em algoritmos, que servem como “atalhos” para um julgamento, quando os dados necessários para o julgamento correto não estão disponíveis, se assemelha aos modelos mentais que fazemos uso, muitas vezes de maneira inconsciente, e que reproduzem preconceitos. Na incapacidade de julgar uma pessoa por quem ela é, dado que é desconhecida, é possível julgar por suas roupas, sua cor de pele, seus amigos, etc. Neste caso, no lugar de um instrumento objetivo avaliação, estes modelos apenas reproduzem modelos mentais falhos, ou seja, reproduzem o julgamento humano ao invés de criar novas maneiras (mais justas) de julgamento. Apesar disto, os algoritmos e sistemas matemáticos, inseridos em um campo de “ciências exatas”, conseguem manter uma imagem de precisão, eficiência e não-arbitrariedade. Mas os algoritmos e modelos matemáticos podem trazer ainda novos vieses, na sua busca por instrumentos de julgamento (proxies), realizadas por empresas privadas, matemáticos, programadores, ou até mesmo pela própria inteligência artificial, bem como tem capacidade de atingir (e prejudicar) um grande número de pessoas. Devido à sua base estatística, estes modelos apresentam inerentemente um nível de erro em seus resultados. Mesmo com margens de erro pequenas, devido à suas aplicações em larga escala, as injustiças geradas podem afetar milhões de pessoas. Quanto menor a disponibilidade de dados, maior a chance de erro, e quando a retroalimentação dos dados serve apenas à confirmação das premissas (como discutido anteriormente), sequer será possível analisar o erro do mesmo. Apesar disso, muitos desses sistemas podem fazer isso ao mesmo tempo que atingem seus objetivos, dado que os objetivos e a maneira como são avaliados estão ligados muito provavelmente aos lucros e economias gerados.

Um ponto abordado no texto, que potencializa os efeitos negativos dos WMDs, é acumulação dos mesmos, devido à expansão do uso da inteligência artificial, e o padrão de prejudicar as pessoas menos favorecidas. Os algoritmos estarão presentes na vida principalmente dos cidadãos desde os resultados de busca na internet, a seleção para emprego, a capacidade de captar um empréstimo, de ser selecionado para uma faculdade, todos estes, apresentado vieses que tornam a vida dos menos favorecidos cada vez mais difícil, muitas vezes sem eles sequer compreender o motivo. Esta realidade já existe dados os preconceitos sistemáticos atuais, porém, o que os algoritmos fazem é esconder e automatizar preconceitos e injustiças, sob uma carcaça de objetividade. Somados ainda à tendência de automatização do trabalho, que afeta principalmente os menos qualificados e pode resultar em desemprego, empregos temporários ou com reduzidos direitos trabalhistas (Barley, Bechky & Milliken, 2017; Manyika, 2017), a situação de vulnerabilidade pode se agravar ainda mais.

Discutido em Lupton (2015), a invasão de privacidade consequente da massificação da coleta e uso de dados (Big data) para alimentar sistemas de inteligência artificial, ganha uma nova camada neste livro, quando apresentado que seguradoras tem oferecido descontos para motoristas que aceitam serem filmados enquanto dirigem, de maneira a incentivar essa prática. Segundo a autora, é provável que se torne padrão a coleta de dados (inclusive filmagem) e que a privacidade se torne um luxo ao qual apenas quem pode pagar terá acesso. Ao tratar da coleta de dados por meio de motoristas de caminhões, a autora destaca a possibilidade de otimização de rotas, gestão de combustível e velocidade ideal para cada superfície, análise de risco, bem como a redução de acidentes. Porém, é provável que exista ainda um objetivo maior: a automatização. Os dados coletados constituem um amplo laboratório para a engenharia do trabalho, que dificilmente poderiam ser aplicados à direção de veículos, processo difícil de controlar e padronizar, mas que com o auxílio de inteligência artificial, Big data e uso de robôs, encontra nova possibilidades de expansão. A padronização e otimização do trabalho, se bem-sucedida na redução do processo de condução de um veículo a um processo mecânico ou a padrões que permitam reprodução em sistemas inteligentes , a etapa seguinte é a de automatização do transporte e eliminação do trabalhador. Ou seja, não haverá mais a perda de privacidade, porque não haverá mais essa possibilidade emprego. Dado que já existem em andamento projetos de veículos autônomos (Miailhe & Hodes; 2017)., estes dados podem ser utilizados para acelerar o processo de transição para o transporte automatizado e de consequente desemprego de milhares de trabalhadores.

Outro ponto que a autora discute é o uso de modelos de automatização das escalas de trabalho, que maximizam essas escaladas para a redução dos custos com funcionários, o que resultou no surgimento do termo “clopening”, que ocorre quando o mesmo funcionário é escalado para fechar a loja à noite e reabrir a no dia seguinte, geralmente com intervalo de poucas horas entre o fechamento e a abertura. Além das dificuldades geradas na vida dos trabalhadores por causa das agendas irregulares de trabalho, informadas aos mesmos com pouca antecedência, esta tentativa de otimização do trabalhador representa um retrocesso de pelo menos 100 anos em projeto do trabalho humano. Nas origens da administração científica, o estudo da fadiga e do conforto nas condições de trabalho já eram reconhecidas como essenciais para o aumento da produtividade. Ignorar estas restrições humanas na formulação do modelo de otimização de escalas de trabalho representa incompetência ou indiferença em relação às condições de trabalho humana. Dados os exemplos em grandes empresas, a segunda causa parece mais provável, em especial se for mais lucrativo desgastar o trabalhador, mesmo com as perdas de eficiência geradas por este desgaste, do que considerar suas restrições de trabalho no modelo. Em muitos dos exemplos apontados, é possível perceber como problemas altamente complexos, discutidos por anos, muitos ainda sem consenso na academia e na própria população, foram simplesmente delegados à engenheiros, matemáticos, programadores, inteligências artificiais e, em sua decisão final, à empreendedores. Esses agora definem a qualidade da educação, o que é um motorista responsável, como planejar trabalho humano, entre muitos outros. Se buscaram apoio nos especialistas destas áreas e o quanto a visão destes especialistas foram levadas em consideração nos modelos, são dados ainda desconhecidos e, possivelmente, segredos estratégicos da empresa, protegidos.

Além de todas as violações de direitos humanos anteriormente citadas, da dificuldade de acesso à emprego e serviços pelas populações mais vulneráveis, a autora discute ainda no livro o risco que estes algoritmos geram em termos de democracia. A inteligência artificial e Big data, tornaram possível o microtargeting, cujo valor foi rapidamente reconhecido por grupos políticos, que fazem uso do mesmo para separar os cidadãos em microgrupos com base em seu perfil e interesses e direcionar propaganda personalizada. Dos exemplos de WMDs citados no livro, este foi o que conseguiu alcançar mais rapidamente o Brasil, até onde tenho conhecimento. O risco deste tipo de propaganda política é o de personalização do político, no qual ele assume diferentes perfis e discursos para cada tipo de eleitores, e isso pode ser danoso em diferentes níveis. Em primeiro lugar, a rastreabilidade do microtargeting é, atualmente, uma tarefa quase impossível, o que praticamente elimina a possibilidade de atribuir autoria e responsabilidade e levar à justiça em casos de violação de leis. Em segundo, cada pessoa vê a “realidade” criada de maneira personalizada para si mesmo, mas não tem acesso à “realidade” de seus vizinhos, o que impossibilita o debate e polariza ainda mais as pessoas, já que os “dados” e “fatos” evocados por um não são reconhecidos por outros, e não é possível compreender no que se baseia o raciono dos outros. Em terceiro, o próprio eleitor, quando consegue reconhecer que existem diferentes “versões” de políticos, perde a confiança no político em questão e na própria política, já que não é possível reconhecer os valores reais que aquele candidato representa. Como nos exemplos anteriores, nada disso é novo na política, porém, as ferramentas atuais permitiram ampliação e personalização de conteúdo, antes inimagináveis, com baixo custo.

Os exemplos trazidos no livro demonstram como a expansão de WMDs afetam a vida de diferentes populações, com potencial de agravar ainda mais as desigualdades socais, colocando em risco até mesmo a democracia. Após a publicação do livro, outros autores e instituições abordaram a mesma temática de como a Inteligência artificial, e a Big data podem prejudicar a democracia e os direitos humanos, aprofundando ainda mais a discussão e trazendo novos exemplos e reflexões (Miailhe & Hodes 2017; Access Now, 2018; Helbing, 2019). Em se tratando da discriminação gerada e/ou reproduzida pelos algoritmos abordados nestes trabalhos, fica claro que os mais prejudicados serão os que já são mais pobres e vulneráveis. No caso do Brasil, em se tratando de um país muito desigual, estes sistemas tem capacidade de aprofundar ainda estas diferenças, e já foi possível observar os efeitos negativos em termos de microtargeting político nas últimas eleições. O Brasil, como país periférico que absorve e cria muito pouca tecnologia, tem como “vantagem” o atraso na absorção destes modelos. Este atraso pode ser “positivo” no sentido de permitir que a crítica a estes modelos se desenvolva, formalize, e que estes amadureçam antes de serem introduzidos no país. Porém, confiar que o atraso nos “proteja” seria muito arriscado. Além disso, temos como desvantagem a importação de modelos criados para outros países, que possivelmente desconsideram questões nacionais relevantes ou podem trazer novos vieses negativos para o país. Não obstante, dada a popularização de sistemas de inteligência artificial e Big data, o que garante que não serão criados WMDs nacionais?

Desta maneira, é imperativa a necessidade de fomentar as discussões acerca do impacto de WMDs à nível nacional, considerando as especificidades do país, de maneira a proteger a população e até mesmo a democracia brasileira, frágil desde seu nascimento. Nesse sentido, o livro de Cathy O’Neil sugere a auditoria, medição do impacto e regulamentação de WMDs, um movimento já iniciado em algumas universidades norte-americanas, além de pressionar a incorporação de valores humanos nestes sistemas, mesmo que isto signifique perda de eficiência. Além destas sugestões, um ponto já trazido por outros autores como Lupton (2015), o de interdisciplinaridade, precisa voltar ao centro da discussão. Um sistema que avalia educadores precisar ter a participação dos próprios educadores, de pedagogos, entre outros especialistas em sua formulação. A complexidade dos problemas atuais extrapola as divisões de especialização profissionais vigentes. Como consequência, existe uma demanda não apenas pela revisão das formações e especializações profissionais atuais, como uma mudança no ensino e na organização do trabalho, de maneira que diferentes profissionais consigam trabalhar conjuntamente em problemas complexos como estes exemplificados. Alguns aspectos morais e éticos incorporados pelos algoritmos e pelos dados que os alimentam precisam ser identificados e trazidos a uma discussão mais ampla em sociedade. Neste sentido, o Brasil precisa de uma atitude proativa nessas discussões para que, em uma economia (ainda) globalizada, não seja jogado ainda mais para a periferia como consequência de modelos nefastos.

Para concluir, trago uma frase emblemática do livro (pg. 73): “For many of them (the wealthy), it can feel as though the world is getting smarter and easier”. Ou seja, os mais privilegiados raramente são afetados pelos WMDs. Muito pelo contrário, se beneficiam deles em termos de privilégios, economias e lucro. Estes são também, em sua maioria, aqueles que possuem a palavra final nos modelos discutidos, são os empreendedores e as grandes empresas que tem investido na massificação destes modelos. Não se pode esperam que venha desses as críticas e proposições de mudanças nos (WMDs), exceto quando isso representar maior lucratividade. Portanto, a discussão sobre WMDs precisa chegar à população, com o cuidado e de maneira responsável para não resultar em uma aversão à tecnologia, e aos legisladores para evitar a acentuação das desigualdades brasileiras por meio de WMDs.

[Este texto foi desenvolvido como parte da avaliação de uma disciplina da sociologia sobre o impacto de tecnologias na sociedade, especialmente da Inteligência Artificial. Ele foi publicado na íntegra principalmente por falta de tempo para edição. Posso ter escorregado em termos técnicos de ciência da computação e estatística, áreas que não domino. Feedbacks educados são bem-vindos]

Referências

Access Now (2018). “Human rights in the age of artificial intelligence”. Access Now Report. Disponível: accessnow.org

Helbing, Dirk et al (2019). “Will Democracy Survive Big Data and Artificial Intelligence? Essays on the Dark and Light Sides of the Digital Revolution.” In Towards Digital Enlightenment (pp. 73–98). Springer, Cham.

Lupton, D (2015). “Life is Digital” (pp 01–20). In Lupton, D. Digital Sociology. New York: Routledge.

Miailhe, N & Hodes, C (2017). “Making the AI revolution work for everyone”. AI Initiative: The Future Society.

Manyika, James (2017). “Technology, jobs, and the future of work”. McKinsey Global Institute

O’neil, C. (2016). Weapons of math destruction: How big data increases inequality and threatens democracy. Broadway Books.

Stephen R. Barley, Beth A. Bechky & Frances J. Milliken “The changing nature of work: careers, identities, and work lives in the 21st century”. Academy of Management Discoveries (2017), Vol. 3, №2, 111–115

Eng. de Produção pela UERJ, mestre e doutoranda pela USP. Pesquisadora na iniciativa Bridge Ecosystem. Linkedin: lorennafleal

Eng. de Produção pela UERJ, mestre e doutoranda pela USP. Pesquisadora na iniciativa Bridge Ecosystem. Linkedin: lorennafleal