Escolha as suas informações

Discriminação. A culpa é do algoritmo
Sociedade 4 min. 27.10.2021
Relatório/Amnistia Internacional

Discriminação. A culpa é do algoritmo

Relatório/Amnistia Internacional

Discriminação. A culpa é do algoritmo

Foto: DR
Sociedade 4 min. 27.10.2021
Relatório/Amnistia Internacional

Discriminação. A culpa é do algoritmo

Ana Patrícia CARDOSO
Ana Patrícia CARDOSO
Utilização de sistema algorítmico com traços discriminatórios já levou à queda do Governo holandês no início deste ano. A Amnistia Internacional alerta para a tendência cada vez mais presente na ação dos executivos por todo o mundo.

Janet Ramesar, 35 anos, viu-se obrigada a devolver o apoio recebido durante cinco anos para a creche do filho. Foi acusada de fraude, multada pelo fisco, teve de deixar de estudar, perdeu o emprego numa agência de serviços financeiros porque era incompatível com o facto de se ter endividado. E acabou por perder também a custódia do filho. A holandesa contou a sua história à Euronews, em janeiro, e juntou a voz às milhares de famílias afetadas pelo escândalo que levou à queda do Governo liderado por Mark Rutte. 

Em causa estavam acusações de fraude, que se revelaram infundadas, contra 26 mil famílias, maioritariamente de imigrantes turcos e marroquinos, que teriam recebido indevidamente um subsídio do Estado para manterem os filhos com menos de 12 anos em creches ou estabelecimentos de ensino. Só que afinal não. Como resultado da dureza da vigilância anti-fraude e das acusações sem fundamento, as famílias foram obrigadas a devolver o valor que tinham recebido, em alguns casos na ordem dos 100 mil euros por agregado.

Os factos remontam a 2013 mas o caso só ganhou forma e chegou ao Parlamento em 2019, após a conclusão de uma investigação independente que confirmou ter "havido uma falta de imparcialidade institucionalizada". Desde o início, a discriminação racial e étnica esteve na base de um algoritmo utilizado pelas autoridades fiscais holandesas para detetar pedidos incorretos de prestações infantis e potencialmente fraudulentas. Isto é, recorrendo a um programaa informático as autoridades utilizaram informações sobre se um requerente tinha ou não nacionalidade holandesa como fator de risco. Os cidadãos não-holandeses receberam pontuações de risco mais elevadas.


Governo holandês confirma demissão
O primeiro-ministro holandês, Mark Rutte, confirmou hoje a sua demissão e a de todos os ministros do executivo, na sequência de um escândalo relacionado com abonos de família e a acusação indevida de milhares de pessoas de fraude.

O processo que se seguiu foi digno de vergonha em qualquer Executivo. Os pais e prestadores de cuidados que foram selecionados pelo sistema tiveram os seus benefícios suspensos e foram sujeitos a investigações hostis. Famílias foram desfeitas no processo de restituição dos apoios, incapazes de pagar a dívida. O Governo de Mark Rutte demitiu-se em bloco mas pode ter trazido a público um precedente perigoso na aplicação de algoritmos para fiscalizar a sociedade. 

O relatório mais recente da Amnistia Internacional (AI) "Xenophobic Machines" (Máquinas Xenófobas) expõe a forma como a caracterização racial foi introduzida no desenho do sistema algorítmico utilizado para determinar a quem atribuir os subsídio de guarda de crianças. A conceção do algoritmo "reforçou o preconceito institucional existente de uma ligação entre raça e etnia, e criminalidade, bem como comportamentos generalizados a toda uma raça ou grupo étnico", expõe a AI. 

O relatório deixa uma mensagem clara: "Os holandeses não estão sozinhos. Governos de todo o mundo apressam-se a automatizar a prestação de serviços públicos mas são os mais marginalizados da sociedade que estão a pagar o preço mais elevado". A organização apela a que todos os governo mundiais implementem a proibição imediata da utilização de dados sobre nacionalidade e etnia na busca de potenciais suspeitos de crime ou fraude.   

No caso holandês, a nacionalidade foi utilizada como "elemento crucial para identificar certos grupos da sociedade, com base na ideia de que "estes grupos partilham certos valores culturais, tradições e/ou origens comuns que tornam-nos mais suscetíveis de se envolverem em comportamentos fraudulentos ou criminosos". 

De notar que quando um indivíduo foi assinalado como tendo maior risco de cometer fraude, não foi dada qualquer informação sobre a razão pela qual o sistema tinha gerado uma pontuação de maior risco. Os sistemas algorítmicos são denominados "caixas negras" exatamente porque se desconhece o critério que esteve na base da escolha, sabendo-se só o resultado final. Merel Koning, Conselheiro Sénior sobre Tecnologia e Direitos Humanos na Amnistia Internacional, alerta que este é um "sistema de caixa negra que acaba por resultar num buraco negro de responsabilização, com as autoridades fiscais holandesas a confiar num algoritmo para ajudar na tomada de decisões sem supervisão adequada". 


Francisco Louçã, economista e político português, ex-coordenador do Bloco de Esquerda.
"Não existe democracia com algoritmo"
No seu último livro, o economista e professor catedrático no ISEG analisa como as redes sociais e as novas tecnologias podem ser poderosos instrumentos de condicionamento da liberdade humana e garante que “Não é possível perceber o ascenso da extrema-direita hoje sem o papel das redes sociais”.

Também Pedro Neto, diretor-exeutivo da AI Portugal reforça que "estas políticas e sistemas tecnológicos anti-fraude podem e devem sempre andar de mãos dadas com os direitos humanos. A tecnologia está em constante transformação e essa mudança deve estar sempre em conformidade com aspetos que já deveriam ter sido incorporados desde início e que não podem ser ignorados". O risco de interpretações xenófobas aumenta quando "a tecnologia avança sem ter esses aspetos em consideração. Neste caso, é necessária a isenção total em termos de criação de perfis, que se até agora não existia neste tipo de softwares, tem mesmo que passar a existir".      

Reconhecimento facial, outro problema

Pedro Neto lembra que a tecnologia pode ser tendenciosa também na utilização do reconhecimento facial. A campanha 'Ban the Scan', da AI, apresentou os resultados de uma análise de um software de reconhecimento facial, onde os mais visados eram a comunidade negra e outras minorias étnicas. 

Muito utilizado nos Estados Unidos, este programa informático identifica indivíduos através do rosto, entre milhões de imagens de uma base de dados.  "São uma forma de vigilância em massa que viola o direito à privacidade e ameaça os direitos à liberdade de reunião e expressão pacífica", avisa o responsável português da AI. 

Siga-nos no Facebook, Twitter e receba as nossas newsletters diárias.