ERC4AI: uma ferramenta para classificação de requisitos éticos em IA.

Abstract

Contexto: A operacionalização dos princípios éticos da IA durante a fase de engenharia de requisitos é fundamental para a criação de sistemas de IA eticamente alinhados. No entanto, a classificação de requisitos éticos – ou seja, a categorização de requisitos com base nos princípios éticos que eles refletem – continua sendo um desafio significativo devido à natureza abstrata dos princípios éticos e à falta de ferramentas práticas para dar suporte aos desenvolvedores. Objetivo: Apresentamos o EthicalRequirements4AI, um conjunto de dados que compreende 1.093 requisitos anotados, incluindo requisitos éticos em IA e fora do contexto de ética em IA. Também fornecemos a Ethical Requirements Classifier for AI (ERC4AI), um modelo para classificar requisitos com base em princípios éticos de IA. Método: Os conjuntos de dados Passenger Flow e PROMISE foram usados para construir o conjunto de dados EthicalRequirements4AI, abrangendo 156 requisitos alinhados com 11 princípios éticos de IA e 937 requisitos não éticos. Três modelos de linguagem – XLM-RoBERTa, BERT e DistilBERT – foram avaliados para tarefas de classificação binária e multirrótulo. Resultados: O modelo treinado com BERT, uma arquitetura baseada em Transformers, obteve o melhor desempenho, alcançando um F1- score médio ponderado de 95% na classificação binária e 88% na abordagem multirrótulo. Na configuração multirrótulo, o ERC4AI classificou os requisitos nos princípios éticos analisados, com os seguintes F1-scores: Transparência (78%), Responsabilidade (81%), Confiança (56%), Privacidade (65%), Outros Princípios Éticos (53%) e Não Princípios Éticos 98%). Conclusão: O ERC4AI oferece uma nova ferramenta para pesquisadores e desenvolvedores abordarem preocupações éticas no início do desenvolvimento da IA. O conjunto de dados e os modelos estão disponíveis publicamente para promover mais pesquisas e avanços na ética prática da IA. Além disso, foi desenvolvido um protótipo de interface gráfica, permitindo que os usuários insiram requisitos para análise e obtenham classificações automáticas.