As falhas de sistemas inteligentes artificiais se tornaram um tema recorrente nas notícias de tecnologia. Algoritmos de pontuação de crédito que discriminam as mulheres. Sistemas de visão por computador que classificam erroneamente pessoas de pele escura. Sistemas de recomendação que promovem conteúdo violento. Algoritmos de tendência que amplificam notícias falsas.

A maioria dos sistemas de software complexos falham em algum ponto e precisam ser atualizados regularmente. Temos procedimentos e ferramentas que nos ajudam a encontrar e corrigir esses erros. Mas os sistemas atuais de IA, principalmente dominados por algoritmos de aprendizado de máquina, são diferentes do software tradicional. Ainda estamos explorando as implicações de aplicá-los a diferentes aplicativos e protegê-los contra falhas e novas idéias e abordagens.

Esta é a ideia por trás do Banco de dados de incidentes de IA um repositório de falhas documentadas de sistemas de IA no mundo real. O objetivo do banco de dados é facilitar a visualização das falhas anteriores e evitar sua repetição.

A AIID é patrocinada pela Partnership on AI (PAI), uma organização que busca desenvolver as melhores práticas em IA, melhorar a compreensão pública da tecnologia e reduzir os danos potenciais que os sistemas de IA podem causar. O PAI foi fundado em 2016 por pesquisadores de IA da Apple, Amazon, Google, Facebook, IBM e Microsoft, mas desde então se expandiu para incluir mais de 50 organizações membros, muitas das quais são sem fins lucrativos.

[Ler:[Read:Como a Netflix molda a cultura tradicional, explicada por dados]

Experiência anterior na documentação de falhas

Em 2018, os membros do PAI estavam discutindo pesquisas sobre uma “taxonomia de falha de IA” ou uma maneira de classificar falhas de IA de maneira consistente. Mas o problema era que não havia nenhuma coleção de falhas de IA para desenvolver a taxonomia. Isso levou à ideia de desenvolver o banco de dados de incidentes de IA.

“Eu sabia sobre incidentes de aviação e bancos de dados de acidentes e me comprometi a construir a versão AI do banco de dados de aviação durante uma reunião da Partnership on AI”, disse Sean McGregor, consultor técnico líder do IBM Watson AI XPRIZE, em comentários por escrito para TechTalks. Desde então, McGregor supervisiona o esforço da AIID e ajudou a desenvolver o banco de dados.

A estrutura e o formato da AIID foram parcialmente inspirados em bancos de dados de incidentes nas indústrias de aviação e segurança de computadores. A indústria de viagens aéreas comerciais conseguiu aumentar a segurança dos voos analisando e arquivando sistematicamente acidentes e incidentes anteriores em um banco de dados compartilhado. Da mesma forma, um banco de dados compartilhado de incidentes de IA pode ajudar a compartilhar conhecimento e melhorar a segurança dos sistemas de IA implantados no mundo real.

Acidentes de aviação NTSB

Enquanto isso, o Common Vulnerabilities and Exposures (CVE), mantido pela MITER Corp, é um bom exemplo de banco de dados sobre falhas de software em vários setores. Ele ajudou a moldar a visão da AIID como um sistema que documenta falhas de aplicativos de IA em diferentes campos.

“O objetivo da AIID é evitar que sistemas inteligentes causem danos ou, pelo menos, reduzir sua probabilidade e gravidade”, diz McGregor.

McGregor aponta que o comportamento do software tradicional é geralmente bem compreendido, mas os sistemas modernos de aprendizado de máquina não podem ser completamente descritos ou exaustivamente testados. O aprendizado de máquina deriva seu comportamento de seus dados de treinamento e, portanto, seu comportamento tem a capacidade de mudança de maneiras não intencionais conforme os dados subjacentes mudam com o tempo.

“Esses fatores, combinados com sistemas de aprendizagem profunda a capacidade de entrar no mundo não estruturado em que habitamos significa que os defeitos são mais prováveis, mais complicados e mais perigosos ”, diz McGregor.

Hoje, temos sistemas de aprendizagem profunda que podem reconhecer objetos e pessoas em imagens, processam dados de áudio e extraem informações de milhões de documentos de texto, de maneiras que eram impossíveis com software tradicional baseado em regras, que espera que os dados sejam estruturados ordenadamente em formato tabular. Isso permitiu a aplicação de IA ao mundo físico, como carros autônomos, câmeras de segurança, hospitais e assistentes habilitados para voz. E todas essas novas áreas criam novos vetores para o fracasso.

Documentando incidentes de IA

Desde a sua fundação, a AIID reuniu informações sobre mais de 1.000 incidentes de IA da mídia e de fontes disponíveis publicamente. Problemas de imparcialidade são os incidentes de IA mais comuns enviados à AIID, principalmente em casos em que um sistema inteligente está sendo usado por governos, como programas de reconhecimento facial. “Também estamos vendo cada vez mais incidentes envolvendo robótica”, diz McGregor.

Existem centenas de outros incidentes que estão em processo de revisão e adicionados ao Banco de Dados de Incidentes de AI, McGregor. “Infelizmente, não acredito que teremos escassez de novos incidentes”, diz ele.

Os visitantes podem consultar o banco de dados em busca de incidentes com base na fonte, autor, remetente, ID do incidente ou palavras-chave. Por exemplo, pesquisar por “tradução” mostra que existem 42 relatórios de incidentes de IA envolvendo tradução automática. Você pode filtrar ainda mais a pesquisa com base em outros critérios.

consulta de tradução do banco de dados de incidentes ai

Colocando o banco de dados de incidentes de IA em uso

Um banco de dados consolidado de incidentes envolvendo sistemas de IA pode servir a vários propósitos na pesquisa, desenvolvimento e implantação de sistemas de IA.

Por exemplo, se um gerente de produto está avaliando a adição de um sistema de recomendação alimentado por IA a um aplicativo, ele pode verificar 13 relatórios e 10 incidentes em que tais sistemas causaram danos a pessoas. Isso ajudará o gerente de produto a definir os requisitos certos para o recurso que sua equipe está desenvolvendo.

sistema de recomendação de banco de dados de incidentes ai

Outros executivos podem usar o banco de dados de incidentes de IA para tomar melhores decisões. Por exemplo, os agentes de risco podem consultar o banco de dados em busca de possíveis danos decorrentes do emprego de sistemas de tradução automática e desenvolver as medidas corretas de mitigação de risco.

Os engenheiros podem usar o banco de dados para descobrir os possíveis danos que seus sistemas de IA podem causar quando implantados no mundo real. E os pesquisadores podem usá-lo como fonte de citação em artigos sobre justiça e segurança dos sistemas de IA.

Finalmente, o crescente banco de dados de incidentes pode ser um importante cuidado para as empresas que implementam algoritmos de IA em seus aplicativos. “As empresas de tecnologia são famosas por sua tendência de se mover rapidamente sem avaliar todos os resultados potencialmente ruins. Quando os resultados ruins são enumerados e compartilhados, torna-se impossível prosseguir ignorando os danos ”, diz McGregor.

O AI Incident Database é construído em uma arquitetura flexível que permitirá o desenvolvimento de vários aplicativos para consultar o banco de dados e obter outros insights, como terminologia principal e colaboradores. Em um artigo que será apresentado na Trigésima Terceira Conferência Anual sobre Aplicações Inovadoras de Inteligência Artificial (IAAI-21), McGregor discutiu todos os detalhes da arquitetura. AIID também é um projeto de código aberto no GitHub, onde a comunidade pode ajudar a melhorar e expandir suas capacidades.

Com um banco de dados sólido instalado, McGregor agora está trabalhando com a Partnership on AI para desenvolver uma taxonomia flexível para classificação de incidentes de AI. No futuro, a equipe AIID espera expandir o sistema para automatizar o monitoramento de incidentes de IA.

“A comunidade de IA começou a compartilhar registros de incidentes entre si para motivar mudanças em seus produtos, procedimentos de controle e programas de pesquisa”, diz McGregor. “O site foi lançado publicamente em novembro, então estamos apenas começando a perceber os benefícios do sistema.”

Este artigo foi publicado originalmente por Ben Dickson em TechTalks, uma publicação que examina as tendências em tecnologia, como elas afetam a maneira como vivemos e fazemos negócios e os problemas que resolvem. Mas também discutimos o lado ruim da tecnologia, as implicações mais sombrias da nova tecnologia e o que precisamos cuidar. Você pode ler o artigo original aqui.

Publicado em 23 de janeiro de 2021 – 10:00 UTC



Fonte: thenextweb.com

Deixe uma resposta