El libro blanco sobre inteligencia artificial de la Comisión Europea: reflexiones desde las garantías esenciales del proceso penal como 'sector de riesgo'
| Author | Montserrat de Hoyos Sancho |
| Position | Catedrática de Derecho Procesal y exdirectora del Instituto de Estudios Europeos de la Universidad de Valladolid |
| Pages | 9-43 |
Revista Española de Derecho Europeo
Núm. 76 | Octubre – Diciembre 2020
pp. 9-44
Madrid, 2020
DOI:10.37417/num_76_2020_534
© Marcial Pons Ediciones Jurídicas y Sociales
© Montserrat de Hoyos Sancho
ISSN: 2695-7191
Recibido: 20/12/2020 | Aceptado: 15/01/2021
EL LIBRO BLANCO SOBRE INTELIGENCIA ARTIFICIAL
DE LA COMISIÓN EUROPEA: REFLEXIONES
DESDE LAS GARANTÍAS ESENCIALES
DEL PROCESO PENAL COMO “SECTOR DE RIESGO”
THE EUROPEAN COMMISSION’S WHITE PAPER ON ARTIFICIAL
INTELLIGENCE: REFLECTIONS ON THE ESSENTIAL GUARANTEES
OF CRIMINAL PROCEEDINGS AS A “RISK SECTOR”
Montserrat de Hoyos Sancho*
RESUMEN: Se realiza en este trabajo un análisis crítico de los aspectos del Libro
Blanco sobre Inteligencia Artificial de la Comisión Europea relacionados con los
derechos y garantías esenciales en un proceso penal. Expuestas las características
clave del que será el nuevo marco regulador y los potenciales riesgos a que se
tendrá que hacer frente en este ámbito, se abordan algunas herramientas basa-
* Catedrática de Derecho Procesal y exdirectora del Instituto de Estudios Euro-
peos de la Universidad de Valladolid. Correo-e: montserrat.dehoyos@uva.es. ORCID:
0000-0002-0972-2259.
Este trabajo se enmarca en los siguientes Proyectos y Grupos de Investigación: Plan
Nacional I+D+i –Excelencia–Ministerio de Economía y Competitividad: “Garantías
procesales de investigados y acusados: necesidad de armonización y fortalecimiento
en el ámbito de la Unión Europea” –DER 2016-78096-P–; Junta de Castilla y León:
“Sociedades seguras y garantías procesales: el necesario equilibrio” –VA-135-G18–;
Generalitat Valenciana: “Claves de la justicia civil y penal en la sociedad del miedo”
–Prometeo 2018/2011-; Grupo de Investigación Reconocido, Universidad de Vallado-
lid: “Garantías procesales y Unión Europea”; FEDER-Junta de Andalucía: “Derechos
y garantías de las personas vulnerables en el Estado del Bienestar” –UMA18-JA175– y
«El uso de las TICs en la cooperación jurídica penal internacional: construyendo la
sociedad digital andaluza del futuro” -P18-RT-1059.
10 MONTSERRAT DE HOYOS SANCHO EL LIBRO BLANCO SOBRE INTELIGENCIA ARTIFICIAL DE LA COMISIÓN EUROPEA… 11
Revista Española de Derecho Europeo 76 | Octubre – Diciembre 2020 Revista Española de Derecho Europeo 76 | Octubre – Diciembre 2020
parecer y sus propuestas, para de esa manera poder diseñar una acción polí-
tica y legislativa en materia de inteligencia artificial –IA en lo sucesivo-, con
el mayor acierto posible.
En cualquier caso, no es este, ni mucho menos, el primer compendio insti-
tucional que se publica sobre la materia en el contexto europeo. Entre otros,
debemos destacar la Carta ética europea sobre el uso de la inteligencia artificial
en los sistemas judiciales y su entorno, aprobada por la Comisión europea
para la eficacia de la justicia —CEPEJ 1— con fecha de 4 de diciembre de
2018. Este documento es un antecedente particularmente relevante, porque
parte de su contenido encuentra reflejo directo en el Libro Blanco que ahora
nos ocupa.
La referida Carta ética es un documento de soft law, pero ya se concluye
en este, entre otros extremos, la importancia de observar en este ámbito las
siguientes garantías que resumimos a continuación: cuando los instrumentos
IA se empleen como apoyo a los procesos, se debe asegurar que no se vulnera
el derecho de acceso al juez y el derecho a un proceso equitativo –igualdad
de armas y respeto al contradictorio-; que se respeta el principio de no dis-
criminación; que los datos manejados por los sistemas son seguros y fiables,
obtenidos en procedimientos cuya trazabilidad puede conocerse y cuya inte-
gridad puede asegurarse; que se garantiza la transparencia e imparcialidad
técnica del sistema –el proceso algorítmico ha de ser accesible-, lo cual pasa
por crear una autoridad pública independiente que pueda valorar y certificar
las herramientas IA a priori, y después monitorizar su funcionamiento; final-
mente, el sistema IA debe permanecer en todo momento bajo el control de
los usuarios del mismo, los cuales no estarán necesariamente vinculados a las
soluciones sugeridas por tal sistema IA.
En el Apéndice I a dicha “Carta” se insiste en el necesario respeto a los
principios de igualdad de armas y de presunción de inocencia, y se destaca la
importancia de que la persona interesada –su defensa- tenga la posibilidad de
contestar la validez científica del algoritmo y el peso atribuido a los respecti-
vos datos de que se nutre; en todo caso ha de respetarse el “derecho de acceso
al juez” y han de protegerse los datos personales 2.
Por lo demás, a estas alturas del desarrollo y aplicaciones de la Inteligen-
cia Artificial pocas dudas caben sobre las importantes consecuencias que su
empleo tiene y tendrá sobre muchos sectores económicos y sociales en sen-
tido amplio. Desde luego, la administración de justicia no está, ni estará, al
margen de tal influencia, tratándose además de un ámbito que el propio Libro
1 Organismo creado en 2002 e integrado en el Consejo de Europa. Vid. más am-
pliamente: https://www.coe.int/en/web/cepej/home/.
2 Un comentario sobre los efectos de esta Carta Ética desde la perspectiva procesal
puede encontrarse en Gialuz (2019, esp. pp. 12 y ss.). Vid. también, anteriormente,
Quattrocolo (2018). En España, valora el instrumento Martín Diz (2019a, esp. pp. 822
y ss.).
das en Inteligencia Artificial, en materia probatoria y para el análisis predictivo
de comportamientos futuros. Se concluye exponiendo los que se consideran re-
quisitos esenciales para que los sistemas IA puedan ser una valiosa herramienta
de ayuda en el ejercicio de la función jurisdiccional, sin merma de las garantías
procesales esenciales, en el contexto del “espacio de libertad, seguridad y justicia”
de la Unión Europea.
PALABRAS CLAVE: Unión Europea; inteligencia artificial; garantías procesales;
prueba penal; análisis predictivos; armonización legislativa.
ABSTRACT: This paper makes a critical analysis of the aspects of the White Paper
on Artificial Intelligence launched by the European Commission that are in rela-
tion with the essential rights and safeguards within criminal proceedings. After
exposing the key features of the new legal framework and the potential risks that
will have to be faced in this matter, several tools based on artificial intelligence,
on issues of proof and on predictive analysis of future behaviour are addressed. It
concludes by considering and exposing which essential requirements are deemed
necessary for the AI systems to be a valuable tool to assist with the exercise of the
jurisdictional function, without undermining the essential procedural safeguards,
in the context of the “Area of Freedom, Security and Justice”.
KEYWORDS: European Union; artificial intelligence; procedural safeguards; crimi-
nal evidence; predictive analysis; legislative harmonisation.
SUMARIO: INTRODUCCIÓN.—1. PREMISAS Y FINALIDADES DEL LIBRO BLAN-
CO SOBRE INTELIGENCIA ARTIFICIAL DE LA COMISIÓN EUROPEA. CA-
RACTERÍSTICAS CLAVE DEL NUEVO MARCO REGULADOR.—2. ALGUNAS
HERRAMIENTAS BASADAS EN INTELIGENCIA ARTIFICIAL QUE PUEDEN
EMPLEARSE EN EL CONTEXTO DE LA ADMINISTRACIÓN DE JUSTICIA: 2.1.
Los sistemas IA como fuente de prueba y como ayuda en la valoración judicial
de la prueba. 2.2. Los algoritmos de análisis predictivo.—CONCLUSIONES.—
FUENTES CITADAS.
INTRODUCCIÓN
El 19 de febrero de 2020 se publicó en Bruselas el Libro Blanco sobre la
inteligencia artificial – un enfoque europeo orientado a la excelencia y la con-
fianza, elaborado por la Comisión Europea.
Como todo Libro Blanco, tiene por finalidad poner de manifiesto las ne-
cesidades normativas y, más en general, de intervención de las instituciones
europeas en un determinado sector; al mismo tiempo, hacer propuestas de
base para tratar de solventar problemas y mejorar ese ámbito de manera
armonizada en el contexto de la Unión Europea. Todo ello se pretende tras-
ladando una consulta al conjunto de los expertos y colectivos implicados, de
forma que se active institucionalmente el feed-back que permita conocer su
To continue reading
Request your trial