Governo descarta “ferramenta de streaming” de imigração antes de revisão judicial

0
85

6 de agosto de 2020 por Rafe Jennings

Em resposta a uma contestação legal proposta pelo Conselho Conjunto para o Bem-Estar dos Imigrantes (JCWI), o Ministério do Interior descartou um algoritmo usado para classificar os pedidos de visto. Representada pela Foxglove, uma organização sem fins lucrativos especializada em leis de privacidade de dados, a JCWI iniciou procedimentos de revisão judicial, argumentando que a ferramenta algorítmica era ilegal por ser discriminatória sob a Lei da Igualdade de 2010 e irracional sob a lei comum.

Em uma carta à Foxglove de 3 de agosto em nome do Secretário de Estado do Ministério do Interior (SSHD), o Departamento Jurídico do Governo declarou que deixaria de usar o algoritmo, conhecido como “ferramenta de streaming”, “enquanto se aguarda um redesenho do processo e maneira pela qual os pedidos de visto são alocados para a tomada de decisão ”. O Departamento negou que a ferramenta fosse discriminatória. Durante o redesenho, as decisões de solicitação de visto seriam feitas “por referência aos atributos centrados na pessoa … e a nacionalidade não será levada em consideração”.

A “ferramenta de streaming” era um sistema algorítmico projetado para categorizar os pedidos de visto com referência a quanto escrutínio cada aplicativo precisava. Atribuiria a um aplicativo uma classificação vermelha, âmbar ou verde: vermelho indicava que o responsável pelo caso do aplicativo deveria passar mais tempo aplicando o exame minucioso e teria que justificar a aprovação do pedido a um oficial mais graduado. Os aplicativos com classificação vermelha tiveram muito menos probabilidade de serem bem-sucedidos do que os classificados como verde, com cerca de 99,5% de verde sendo bem-sucedido, mas apenas 48,59% de vermelho.

O peso exato dos inúmeros fatores que contribuíram para a tomada de decisão da ferramenta de streaming não são conhecidos, pois a arquitetura do algoritmo não foi revelada. No entanto, em uma carta à Foxglove, o SSHD revelou que “a nacionalidade é um dos fatores relevantes utilizados pela ferramenta de streaming”. Certas nacionalidades são identificadas na Avaliação de Risco de Nacionalidade da Lei da Igualdade (EANRA) como “suspeitas”. Um pedido de visto proveniente de alguém cuja nacionalidade foi identificada na EANRA receberia automaticamente uma classificação vermelha. A nacionalidade de um requerente, mesmo que não esteja na lista de “suspeitos” da EANRA, ainda pode, em conjunto com outros fatores, contribuir para a atribuição de uma classificação vermelha ou âmbar.

A nacionalidade é protegida da discriminação nos termos da Seção 4 da Lei da Igualdade. No entanto, a Lei da Igualdade permite um exame mais aprofundado dos pedidos de visto com base na nacionalidade, se prescritos por uma Autorização Ministerial emitida sob a seção Anexo 3 da EA. O uso da ferramenta de streaming foi justificado com referência à Autorização Ministerial, já que seu único uso autorizado era significar a necessidade de um “exame mais rigoroso” do aplicativo.

A Autoridade Ministerial que legitimou a categorização da ferramenta de streaming por nacionalidade estabelece várias rotas pelas quais uma nacionalidade específica pode ser colocada na lista de “suspeitos” da EANRA, mais notavelmente uma nacionalidade sendo associada a um grande número de “eventos adversos”. Isso pode incluir comportamentos não autorizados (permanência excessiva, trabalho, etc.). Eventos adversos também incluem ter um pedido de visto recusado. Dado que as classificações vermelhas eram normalmente recusadas a uma taxa mais alta do que outras classificações, isso arriscava criar um ciclo vicioso, em que certas nacionalidades seriam bloqueadas na lista de “suspeitos” da EANRA.

A Foxglove argumentou que o uso da ferramenta de streaming era discriminatório e irracional. A única função autorizada da ferramenta de streaming era classificar aplicativos em relação ao exame exigido pelo responsável pelo caso e não contribuir para a tomada de decisão. A Foxglove considerou que as classificações contribuíram materialmente para o processo de tomada de decisão. Eles sugeriram que classificar um aplicativo em vermelho criaria viés de confirmação, levando os responsáveis ​​pelo caso a classificar mais as evidências que contribuem negativamente para o aplicativo do que as evidências positivas. Isso, eles sugeriram, é evidenciado na diferença nas taxas de sucesso entre os aplicativos classificados em vermelho e verde. Além disso, Foxglove cita um relatório do Inspetor Chefe Independente de Fronteiras e Imigração de 2017, que afirma que a ferramenta de streaming se tornou uma “ferramenta de tomada de decisão de fato”.

Tanto a tendência de confirmação quanto o relatório deixam claro como a ferramenta de streaming foi usada além de seus limites autorizados. Como a nacionalidade foi um fator significativo na ponderação da ferramenta de streaming (em muitos casos, o fator significativo), seu uso foi considerado ilegal nos termos da seção 4 da Lei da Igualdade.

O círculo vicioso presente na ferramenta de streaming “produzir[d] resultados substantivos que [were] irracional”. Como as recusas de pedidos de visto foram consideradas eventos adversos e esses mesmos eventos adversos foram inseridos na tomada de decisão do algoritmo, certas nacionalidades foram bloqueadas na lista de “suspeitos” da EANRA. Isto aumentou ainda mais o número de eventos adversos associados a essa nacionalidade, por sua vez contribuindo para a sua posição na lista EANRA. Como tal, o algoritmo classificaria os aplicativos como de alto risco simplesmente porque já havia feito isso no passado. A Foxglove argumentou que isso constituía irracionalidade.

A função da ferramenta de streaming destaca um debate mais amplo sobre o uso de algoritmos de aprendizado por reforço e IA no governo. Algoritmos que alimentam seus próprios resultados de volta em seus processos de aprendizagem, como a ferramenta de streaming e outros algoritmos que dependem de aprendizagem de reforço, muitas vezes acabam moldando seus próprios ambientes de aprendizagem e preconceitos entrincheirados. Isso corre o risco de se manifestar de maneiras discriminatórias.

Embora a ferramenta de streaming tenha sido arquivada antes que uma revisão judicial possa ser realizada, o caso Foxglove / JCWI pode ser um referente importante, à medida que mais serviços públicos usam algoritmos em seu funcionamento. A Foxglove também argumentou que o governo não conseguiu realizar a Avaliação de Impacto da Proteção de Dados necessária para o uso da ferramenta de streaming. O Home Office comprometeu-se com um redesenho rápido, com a intenção de concluí-lo até o dia 30 de outubro de 2020.



Fonte:
ukhumanrightsblog.com

Deixe uma resposta