Por Marina Feferbaum e Guilherme Forma Klafke: O uso da inteligência artificial nas atividades docentes, de gestão administrativa e de gestão pedagógica já é uma realidade. Nas instituições de ensino superior, essas novas tecnologias podem apoiar, por exemplo, a correção ou criação de atividades didáticas, a análise do desempenho dos estudantes, a frequência por meio de reconhecimento facial, a seleção de ingresso no programa, o gerenciamento de documentos escolares, o atendimento de dúvidas e até avaliação de riscos de inadimplência e evasão escolar, apenas para citar alguns exemplos.

Neste momento de transformação no modo como existimos e atuamos no mundo, os conflitos éticos não são poucos. Devemos colocar câmeras com reconhecimento facial para acompanhar o comportamento de professores e alunos nas aulas? Trabalhos de faculdades podem usar ChatGPT? Podemos substituir tutores por chatbots capacitados a responder dúvidas de alunos? O estabelecimento de boas práticas nas atividades acadêmicas deve ser revisto constantemente, à medida que novas situações vão modificando o funcionamento da sociedade e se impondo na nossa prática. Para lidar com esses conflitos, é necessário conciliar abordagens de custo e benefício, gestão de riscos e proteção a direitos fundamentais. Os benefícios da IA na educação são palpáveis para estudantes e gestores, ainda que não mensurados. Mas há, claro, graves riscos associados a essas utilizações, como, por exemplo, vieses e questões relacionadas à proteção de dados pessoais.

Leia: Equipe multidisciplinar garante ética em projetos de IA

Daí a importância de as universidades contarem com processos e estruturas de governança que orientem aplicações, auxiliem decisões e garantam direitos. Em estudo de que participamos, intitulado Governança da Inteligência Artificial em Organizações: Framework para Comitês de Ética em IA (2023), exploramos estruturas que podem ser adotadas por organizações para agir em diferentes funções na supervisão ética do uso da IA. A principal delas são os comitês de ética.

Comitês de ética não são estranhos à vida acadêmica, e o Brasil inclusive conta com uma rede de comitês de ética em pesquisas com seres humanos, integradas no sistema CEP/CONEP. Em geral, conhecemos aqueles responsáveis por opinar sobre aspectos éticos de pesquisa, mas também há os comitês internos às instituições que aplicam sanções disciplinares para quem desobedece ao código de ética da organização. Nenhum deles, porém, é específico para avaliar aplicações de IA, o que pode ter impactos, por exemplo, sobre a expertise dos membros e a forma como estudam aplicações de IA.

Acreditamos na importância de um comitê de ética em IA ou uma instância interna que informe, oriente, preveja, normatize ou decida situações especificamente acarretadas pelo uso da inteligência artificial. Caso a instituição já tenha um comitê de ética, vale a pena refletir sobre a implementação de uma frente específica de IA (como um grupo de trabalho ou subcomitê), mas também é possível criar uma estrutura ligada ao setor de TI, ou mesmo um departamento de IA responsável. Seja qual for a estrutura, é urgente que as universidades possuam um espaço para que todos os atores internos (estudantes, professores, gestores, funcionários) e até externos possam pensar e agir de forma a garantir parâmetros éticos para o uso de IA.

Leia: A aceleração da Inteligência Artificial e a ética individual

E o que seria necessário para formar um comitê de ética em IA na universidade? Segundo pesquisa realizada no Centro de Ensino e Pesquisa em Inovação da FGV Direito SP, a instituição de ensino deve tomar algumas decisões previamente para montar um comitê. Apresentamos seis passos para estruturar um comitê de ética em IA na sua instituição:

1. Definir responsabilidades: atribua papéis claros aos membros da organização, designando as tarefas, objetivos claros e perspectiva de tempo;

2. Diagnosticar sistemas: mapeie quais são as aplicações de IA empregadas pela organização e se já contam com adequação à regulação de proteção de dados;

3. Avaliar impactos: levante os potenciais impactos nas pessoas de dentro e de fora da organização, na sua instituição e no modelo de negócios;

Leia também: Pontos de atenção na relação entre IA e sustentabilidade

4. Começar um programa de governança e gestão de riscos: considerando o mapeamento anterior, identifique os principais riscos e estabeleça prioridades a serem enfocadas, definindo quais atores devem ser acionados para lidar com elas e como os problemas serão gerenciados (medidas de prevenção, mitigação, redução de danos);

5. Definir os princípios éticos para IA: considere o contexto para definir os princípios éticos, os valores, as diretrizes e as boas práticas que sustentam o uso ou o fornecimento de soluções de IA na sua instituição;

6. Criar o comitê de ética ou considerar o emprego ou fornecimento de sistemas de IA: defina, então, as características que esse comitê deve ter, como composição, método de funcionamento, poderes dentro da organização e finalidade. Ele pode, por exemplo, abranger as áreas de pesquisa, ensino, gestão administrativa, gestão pedagógica e gestão financeira da instituição.

Vale ressaltar que esses passos não precisam ser executados necessariamente nessa ordem. Em debate no lançamento da pesquisa, Daniel Arbix, diretor jurídico da Google, mencionou que a definição dos princípios éticos para a IA foi a primeira etapa que fizeram na empresa. Também é possível estabelecer um comitê que fique responsável por pesquisar e sugerir princípios éticos, que depois servirão de parâmetro para decisão do órgão. O importante é que o processo seja adaptado à realidade de cada organização, considerando a importância de todas essas etapas preliminares.

Em conclusão, a sustentabilidade do uso da IA traz grandes desafios, não apenas pela inexistência de políticas públicas, mas também por falhas e perigos na adoção irrefletida dessas ferramentas. Para mitigar riscos que possam ferir princípios de ética e transparência na gestão de dados, bem como de direitos fundamentais, ter uma instância adequada à realidade das instituições de ensino pode contribuir para uso responsável e sustentável da IA no setor educacional.

Os autores

Marina Feferbaum | Coordenadora do Centro de Ensino e Pesquisa em Inovação (CEPI) e da área de metodologia de ensino da FGV Direito SP, onde também é professora dos programas de graduação e pós-graduação.

Guilherme Forma Klafke | Líder e gestor de projetos no Centro de Ensino e Pesquisa em Inovação da FGV Direito SP (CEPI), onde também é professor do programa de pós-graduação lato sensu.

Referências

ZAVAGLIA COELHO, Alexandre; KLAFKE, Guilherme Forma; MAITO, Deíse Camargo; LATINI, Lucas Maldonado Diz; MARUCA, Giuliana; CHOW, Beatriz Graziano; FEFERBAUM, Marina. Governança da Inteligência Artificial em Organizações: Framework para Comitês de Ética em IA – versão 1.0. São Paulo: CEPI FGV Direito SP, 2023. Disponível em: https://hdl.handle.net/10438/33736.

Por: Marina Feferbaum | 29/01/2024