Inteligência artificial: crédito ou controle?

   

INTELIGÊNCIA ARTIFICIAL DO CRÉDITO AO CONTROLE SOCIAL: SOBRE IFOOD, GOOGLE, FACEBOOK E CHINA

Por Marcelo de Mattos Salgado 

É provável que você, ou alguém que conheça, já tenha usado ao menos uma vez aplicativos (ou apps) como o iFood para solicitar a entrega de comida em sua casa — e, em alguns casos, até compras de mercado e farmácia. A possibilidade de poupar tempo e energia para receber o que quiser no conforto do lar é, para muitos, irresistível.

Trata-se de uma formidável mistura: primeiro, a explosão de dados à disposição e meios para organizá-los (big data). Some a isso smartphones cada vez mais poderosos, algoritmos cada vez mais sofisticados e integração com redes como o Facebook, com o sistema bancário e serviços de pagamento como o PayPal. Ainda, o avanço em tecnologias já conhecidas, como o GPS (Global Positioning System), que permite obter indicações de restaurantes próximos a você e ver o motoqueiro trazendo sua comida em tempo real. Por fim, a boa e velha competição em livre-mercado — tanto entre os restaurantes quanto entre os aplicativos, que se multiplicam, o que tende a proporcionar preços mais favoráveis.

Apesar de sua criação em 2011, o iFood estourou para valer no Brasil somente em 2018. Possivelmente, por conta da maturidade tecnológica média — qualidade de conexão à Internet, smartphones melhores, distribuição de satélites etc. — alcançada pelo país, sobretudo, em cidades grandes. O próprio Uber, criado em 2009 como aplicativo para solicitação de motoristas, estendeu seus serviços à entrega de alimentos em 2014, com o Uber Eats. E, além das tecnologias e facilidades já referidas, o que aplicativos de motoristas e de entrega de comida têm em comum? Sistemas de avaliação ou crédito social. 

CINCO ESTRELAS

A depender do aplicativo, o usuário tem a opção de avaliar de diferentes formas o entregador, o produto e o aplicativo — por exemplo, com estrelas ou pontos. A ideia é, a rigor, a mesma já praticada há anos por sites como Magazine Luiza, Mercado Livre, Airbnb e o Trip Advisor, que reúne, por exemplo, avaliações de hotéis e pousadas: neste último caso, hóspedes podem deixar opiniões com um texto corrido e/ou com um número que, de forma mais tangível, qualifique a experiência. O próprio Google — que teve um documento vazado em 2018 chamado “O bom censor”, algo que merece outro texto — tem um sistema de avaliação de estabelecimentos integrado ao seu buscador que inclui comentários e notas de uma a cinco estrelas.

Da mesma forma, cada “curtida” ou reação diferente em posts ou comentários no Facebook também funciona como parte de um sistema de avaliação, embora não diretamente numérico — isto é possível no caso de páginas na rede. Vale lembrar que o próprio Facebook (literalmente, “livro de rostos”) surgiu como FaceMash, um projeto simples de rapazes que queriam avaliar, com notas, a beleza de suas colegas na faculdade. E por falar em sistemas de avaliação, controle, poder e censura: no início de maio de 2019, o Facebook — cujo dono já admitiu estar em uma região de viés político bem definido — baniu mais usuários, considerados “perigosos” pela empresa: quase todos divergem politicamente do próprio Facebook. Sem voz, a pessoa não pode sequer receber uma nota ou avaliação: invisibilidade e exílio na era digital. Resta apenas o que falam de você. 

HIERARQUIA HUMANA

Em verdade, o princípio por trás dos sistemas de avaliação de aplicativos como o iFood e sites como o Airbnb é muito anterior à Inteligência Artificial ou demais tecnologias digitais e pode ser rastreado até o primitivo boca-a-boca. Trata-se da necessidade humana de se comunicar, trocar informações e, a partir daí, criar hierarquias de qualidade, mérito e performance para otimizar a alocação de recursos e melhorar as vidas das pessoas.

Uma primeira questão: o que ou quem é avaliado nessas hierarquias? Conforme já vimos nos casos digitais mais recentes, são produtos, serviços e pessoas. Segunda questão: como se define a qualidade, mérito ou bom desempenho? A partir da soma de muitas opiniões individuais, que criam, por efeito estatístico, algo que talvez se aproxime da verdade — claro que há, desde o boca-a-boca até os algoritmos de um app, a chance de fraude ou distorção: uma opinião mentirosa, dada por questões pessoais; ou o uso de bots que maciçamente votam positiva ou negativamente acerca de um produto, serviço ou pessoa.

Enfim, a terceira questão. Entre a avaliação e hierarquização de produtos, serviços e pessoas, qual seria a potencialmente mais perigosa? Creio ser fácil responder: pessoas. A promoção fraudulenta — com a manipulação de votos em enquetes digitais, por exemplo — de um novo refrigerante pode provocar alguns danos temporários; mas não se compara a destruir a reputação de uma pessoa, ou a elevar um psicopata a uma posição de destaque e poder na sociedade. No entanto, por envolver seres humanos, a questão precisa ser vista com mais nuance. 

REPUTAÇÃO OU INTIMIDAÇÃO?

O sistema de reputação de motoristas criado, por exemplo, por aplicativos como Uber ou 99 (antigamente, 99 Táxi) traz uma série de vantagens concretas: os apps tendem a conceder corridas aos motoristas que têm notas mais altas, de tal modo que os usuários, em teoria, terão o serviço de pessoas mais confiáveis, mais capazes no trânsito e/ou com carros em melhores condições. Pelo lado dos motoristas, o sistema cria uma pressão para que sejam mais educados, bem informados e mantenham seu carro em bom estado — pois estão, efetivamente, em competição com os demais motoristas, cada qual com sua nota. E em aplicativos como o Uber, o passageiro também recebe notas dos motoristas: se sua média for muito baixa, ele pode ser recusado em corridas futuras. Assim, temos um ciclo de retroalimentação ou feedback positivo que tende a ser bom para todos que estão dispostos a fazer o melhor (ser educado, dirigir com segurança etc.) — e pune os de baixo desempenho e mal-intencionados. Será que isso é essencialmente bom, a longo prazo, ou há riscos?

O tratamento dado pela série Black Mirror, do Netflix, no episódio “Queda Livre” (2016), merece atenção. Em um futuro próximo, cada cidadão tem sua relevância individual, social e o acesso a serviços definidos por uma nota de zero a cinco que resulta de cada pequena interação cotidiana — tudo controlado por uma grande autoridade invisível, mas onipotente e onipresente. O resultado: uma sociedade estéril, de relacionamentos imensamente superficiais, falsos e pragmáticos. A palavra ausente: liberdade. Para ser e fazer aquilo que se realmente quer. Mas voltemos ao mundo real.

E se tal sistema de hierarquização de pessoas, pressão social e punição aos desviantes for incrementado por outras ferramentas mais complexas de Inteligência Artificial e utilizado por uma entidade já muito poderosa, como a burocracia estatal de um país — especialmente, quando em parceria com gigantes tecnológicos? 

DO CRÉDITO AO CONTROLE SOCIAL

O denominado Sistema de Crédito Social chinês começou a ser idealizado muito antes, mas sua implementação gradual teve início por volta de 2013, com a organização de projetos de base. Em 2015, o Banco Popular da China, estatal, licenciou oito empresas para criarem os softwares e a Inteligência Artificial do Sistema. Esta inclui os algoritmos de reconhecimento facial utilizados por indústria, comércio e segurança — neste caso, para detectar crimes e infrações, que incluem comprar álcool demais, atravessar fora da faixa de pedestres ou criticar o Partido Comunista da China. Entre as firmas licenciadas está a gigante da tecnologia chinesa Alibaba, uma das maiores parceiras do governo chinês, com valor de mercado acima de US$ 350 bilhões.

No fim de 2017, por exemplo, cidadãos chineses com débito financeiro e já sob o Sistema de Crédito Social foram proibidos de viajar de avião ou de trem, entre outras penalidades, como a impossibilidade de obter um cartão de crédito. Ainda por cima, o governo lista os milhões de nomes de devedores em um site, em detalhes, como forma adicional de punição: o uso da vergonha como arma de pressão social é antigo e efetivo (como certas campanhas antitabagistas), para o bem e para o mal — a questão maior talvez seja a magnitude e seu uso em massa como ferramenta de coerção do Estado.

Espera-se que, em 2020, o Sistema de Crédito Social chinês esteja totalmente implementado. Uma de suas características principais é que cada cidadão, de acordo com suas ações, tenha uma nota — um número — que o qualificará para determinados empregos públicos e possibilitará acesso a produtos, serviços e facilidades. Uma sociedade hierárquica de regras e números como nunca se viu, bem como uma versão estatal, agigantada e distorcida da ideia de meritocracia. Deve-se lembrar, ainda, que o governo chinês bloqueia há anos o acesso da população da China continental (exclui Taiwan, Hong Kong e Macau) a uma lista crescente de sites. Em abril de 2019, mais de 1,3 bilhão de chineses não podem acessar nenhum serviço de Google, Facebook, Netflix, Wikipedia, entre muitos outros.

A pesquisadora especializada na China, Samantha Hoffman (2017), recupera o conceito leninista de “partido de vanguarda” e a ideia de “governança social”, usados pelo próprio presidente da China, Xi Jinping, como “uma continuação do marxismo-leninismo” que “pode ser diretamente rastreada até a era de Mao Tsé-Tung” (ibid., p. 2 e 4). A intenção, a partir da atualização dessas ideias por meio das tecnologias digitais e Inteligência Artificial, é programar a segurança do Estado chinês e criar um sistema de confiança entre os cidadãos. E a manifestação mais notável e tangível dessa estratégia de governança social, segurança nacional e, de fato, engenharia social que concentra ainda mais poder no Estado — em um país onde 50% da população já trabalha para o poder público — é o próprio Sistema de Crédito Social:

A gestão social torna-se menos abstrata por meio de desenvolvimentos recentes, como a crescente sofisticação da tecnologia de vigilância e o design do “Sistema de Crédito Social” da China. Geralmente discutidos isoladamente, esses são recursos conectados que representam tentativas de automatizar a estratégia de gerenciamento social mais ampla do Partido Comunista da China (ibid., p. 2).

Quanto à tentativa de recuperar os elos de confiança em uma sociedade com 20% da população mundial: por que sequer existe o problema? Ele pode ser resolvido com o Sistema de Crédito Social? A jornalista Simina Mistreanu (2018) entrevistou vários especialistas, inclusive o sociólogo Zhang Lifan. Ele relata que a ansiedade e a falta de confiança na sociedade chinesa seriam consequências de “décadas de controle” do período da Revolução Cultural de Mao (1966–1976), “quando amigos e familiares foram colocados uns contra os outros e milhões de chineses foram mortos em conflitos políticos”. Zhang conclui: “É um problema que o partido no poder criou (…) e agora tenta resolver”. Ou seja: sistemas de controle central teriam provocado problemas de confiança — além do maior genocídio da história da humanidade —, algo que outro sistema de controle central tentará resolver agora.

As diferenças entre usar o iFood e um sistema de créditos e controle social em massa controlado pelo Estado — com apoio de empresas também poderosas — são imensas. Em outras palavras: há muito espaço entre chamar um Uber e chegar a uma sociedade tirânica, com um Estado totalitário, como em “1984”, de George Orwell. Essas diferenças não tratam apenas de escala, mas de aspectos qualitativos essenciais. No entanto, vale refletir sobre o princípio que compartilham: um sistema de avaliação que hierarquiza pessoas (seja por sua simpatia no volante ou lealdade ao Estado) e cria mecanismos de pressão social — além do fato de que, hoje, temos tecnologias e algoritmos que tornam a possibilidade autoritária mais viável e perigosa do que nunca.

A forma como as coisas caminharão pode depender do controle que temos (ou não) sobre tais sistemas — se o próprio controle não for apenas uma ilusão, já que, com frequência, os sistemas que criamos terminam por nos controlar, de maneiras mais ou menos sutis. Se ou quando a Inteligência Artificial superar em mais aspectos a inteligência humana de que deriva — a chamada singularidade — e, por exemplo, tornar-se plenamente autoconsciente e independente, teremos uma resposta. Difícil saber se gostaremos dela. 

REFERÊNCIAS ADICIONAIS

HOFFMAN, Samantha. Programming China: The Communist Party’s autonomic approach to managing state security. 2017. Disponível em: < https://www.merics.org/sites/default/files/2017-12/171212_China_Monitor_44_Programming_China_EN__0.pdf > Acesso: 3 de maio de 2018. 

MISTREANU, Simina. Life Inside China’s Social Credit Laboratory. 2018. Disponível em: < https://docs.house.gov/meetings/FA/FA18/20180711/108531/HHRG-115-FA18-20180711-SD001.pdf > Acesso: 5 de maio de 2018.  

Fonte: https://sociotramas.wordpress.com/2019/05/06/inteligencia-artificial-do-credito-ao-controle-social-sobre-ifood-google-facebook-e-china/?fbclid=IwAR0MARzslXJth_5eo1NRdRwWyOocW4Xw2GAuD1NLFqAdARWl5rlo_oiyToI