Transparencia algorítmica y la propiedad intelectual e industrial: tensiones y soluciones

Este artículo analiza algunas de las tensiones que se generan entre las crecientes obligaciones de transparencia algorítmica surgidas en el marco de la cuarta revolución industrial y los derechos de propiedad intelectual e industrial, haciendo especial referencia a los secretos empresariales que puedan recaer sobre los algoritmos de inteligencia artificial utilizados para la toma de decisiones automatizadas y la realización de perfiles. En ese sentido, se aportan nuevos elementos para contribuir a la discusión sobre la problemática descrita y se proponen algunas soluciones que permitan resguardar de forma equilibrada tanto la transparencia como los derechos de propiedad intelectual e industrial, desde la perspectiva del Derecho chileno, hac... Ver más

Guardado en:

1657-1959

2346-2116

2020-12-11

111

146

http://purl.org/coar/access_right/c_abf2

info:eu-repo/semantics/openAccess

Michelle Azuaje Pirela, Daniel Finol González - 2020

id 6f9fae864c4cd0d01b29c9695f0320dc
record_format ojs
spelling Transparencia algorítmica y la propiedad intelectual e industrial: tensiones y soluciones
Organización Mundial de la Propiedad Intelectual (ompi), “Draft Issues Paper on Intellectual Property Policy and Artificial Intelligence”. [en línea], disponible en: https://www.wipo.int/meetings/en/doc_details.jsp?doc_id=470053 [consultado el 18/05/2020].
Schmitz Vaccaro, C., “Secretos empresariales en Chile: medidas de protección”, en Revista Internacional Foro de Derecho Mercantil, 37, 2012, pp. 13-41.
Schmitz Vaccaro, C., “Propiedad intelectual, dominio público y equilibrio de intereses”, en Revista Chilena de Derecho, vol. 36 n.º 2, 2010, pp. 343-367.
Searle, J., “Minds, brains, and programs”. en Behavioral and Brain Sciences 3 (3), 1980, pp. 417-457. doi: https://doi.org/10.1017/S0140525X00005756.
Rubinstein, I., “Big Data: The End of Privacy or a New Beginning?”, en International Data Privacy Law, nyu School of Law, Public Law Research Paper, 2013, pp. 12-56. ssrn.
Russell, S. & Norvig, P., Artificial intelligence: a modern approach. Upper Saddle River, N.J.: Prentice Hall, 2010.
Rogel Vide, C., “Robots y personas”, en Rogel Vide, C. (Ed.), Los robots y el Derecho Madrid, Reus, 2018, pp. 7-23.
Rogel Vide, C. y Serrano Gómez, E., Manual de Derecho de Autor. Madrid, Reus, 2008.
Ríos Ruiz, W., “Los sistemas de inteligencia artificial y la propiedad intelectual de las obras creadas, producidas o generadas mediante ordenador”, Revista la propiedad inmaterial, n.º. 3, 2001, pp. 5-13.
Pérez Sanz, C., “Aspectos legales del Big Data”, en Índice: Revista de Estadística y Sociedad, 68, 2016, pp. 18-21.
Peña Torres, M., “Protección constitucional del secreto industrial”, en Revista Chilena de Derecho, 28, 2, 2001, pp. 413-424.
Pasquale, F., The Black Box Society: The Secret Algorithms That Control Money and Information, Londres, Harvard University Press, 2015.
Parlamento Europeo, Resolución de 14 de marzo de 2017, sobre las implicaciones de los macrodatos en los derechos fundamentales: privacidad, protección de datos, no discriminación, seguridad y aplicación de la ley (2016/2225(ini)).
Otero González, L. y Durán Santomil, P., “Fintech, blockchain y big data”, en García Novoa, César y Santiago Iglesias, Diana (Dir.), 4ª Revolución industrial: impacto de la automatización y la Inteligencia artificial en la Sociedad y la economía digital, Pamplona, Thomson Reuters Aranzadi, 2018, pp. 81-113.
Organización Mundial de la Propiedad Intelectual (ompi), “Public Consultation on AI and IP Policy - Submissions. Query: Chile”, [en línea], disponible en: https://www.wipo.int/about-ip/en/artificial_intelligence/submissions- [consultado el 18/05/2020].search.jsp?type_id=&territory_id=36&issue_id=
O’Neil, C., Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy, New York, Crown, 2016.
Sunstein, C., “Algorithms, Correcting Biases”, [en línea], Forthcoming, Social Research, 2018, ssrn: https://ssrn.com/abstract=3300171 [consultado el 26/02/2020].
Navas Navarro, S., “Creación Original e Inteligencia Artificial” en Navas Navarro, Susana (Dir.), Nuevos desafíos para el Derecho de Autor. Robótica, Inteligencia Artificial, Tecnología, Madrid, Reus, 2019, pp. 27-45.
Navas Navarro, S., “Obras generadas por algoritmos. En torno a su posible protección jurídica”, en Revista de Derecho Civil, vol. v, núm. 2018, pp. 273-291.
Navas Navarro, S., “Derecho e inteligencia artificial desde el diseño”, en Navas Navarro, Susana (coord.), Inteligencia artificial: tecnología, derecho, Valencia, Tirant Lo Blanch, 2017, pp. 23-72.
Myers West, S.; Whittaker, M.; Crawford, K., “Discriminating systems: Gender, Race, and Power in AI” https://ainowinstitute.org/discriminatingsystems.pdf [consultado el 04/03/2020].
Moschovakis, Y., “What is an algorithm?”, en Engquist, B., & Schmid, W. (Eds.) Mathematics Unlimited — 2001 and beyond, Part ii, Springer, 2001, pp. 919-936.
Montoya, A.; Parrado, E.; Solís, A.; Undurraga, R., Documento de Trabajo n.º 03/20: Discriminación de género en el mercado de créditos de consumo. [en línea], disponible en https://www.sbif.cl/sbifweb3/internet/archivos/publicacion_12587.pdf [consultado el 26/02/2020].
Molina Hernández, C., “La protección de secretos empresariales,” en Campuzano, A., Palomar Olmeda, A., San Juan y Muñoz, E.; Molina Hernández, C., La protección de secretos empresariales, Valencia: Tirant Lo Blanch, 2019, pp. 39-48.
Mittelstadt, B.; Allo, P.; Taddeo, M.; Wachter, S. & Floridi, L., “The Ethics of Algorithms: Mapping the Debate”, Big Data & Society. 3(2), 2016, [en línea], disponible en: 10.1177/2053951716679679 [consultado el 26/02/2020].
Mayer-Schönberger, V., & Cukier, K., “The Dictatorship of Data”, en mit Technology Review, [en línea] disponible en: https://www.technologyreview.com/s/514591/the-dictatorship-of-data/ [consultado el 19/02/2020].
Matus, J., “Derecho de acceso a la información pública y protección de datos personales”, en Revista Chilena de Derecho y Tecnología, 2(1), 2013, pp. 197-228. doi:10.5354/0719-2584.2013.26959.
Martínez Martínez, R., “Designing artificial intelligence. Challenges and strategies for achieving regulatory compliance”, en Revista Catalana de Dret Públic, 58, 2019, pp. 64-81. https://doi.org/10.2436/rcdp.i58.2019.3317.
Malik, M., “Can algorithms themselves be biased?” [en línea], disponible en: https://medium.com/berkman-klein-center/can-algorithms-themselves-bebiased-cffecbf2302c [consultado el 19/02/2020].
McCarthy, J., “What is artificial intelligence?”, [en línea] disponible en: http://www-formal.stanford.edu/jmc/whatisai/ [consultado el 19/02/2020].
López de Mántaras, R., “¿Hacia una nueva Ilustración? Una década trascendente. El futuro de la ia: hacia inteligencias artificiales realmente inteligentes”, [en línea], disponible en: https://www.bbvaopenmind.com/articulos/el-futurode-la-ia-hacia-inteligencias-artificiales-realmente-inteligentes/ [consultado el 19/02/2020].
Solove, D., “Autogestión de la privacidad y el dilema del consentimiento”, en Revista Chilena de Derecho y Tecnología, 2(2), 2013, 11-47. doi:10.5354/0719-2584.2013.30308.
Ureña, R., “Autoridad algorítmica: ¿cómo empezar a pensar la protección de los derechos humanos en la era del “big data”?”, en Latin American Law Review, 2, 2019, pp. 99-124. doi.org/10.29263/lar02.2019.05.
Lipszyc, D., Derecho de Autor y Derechos Conexos, Buenos Aires, Unesco, 2002.
Directiva (UE) 2016/943, de 8 de junio de 2016, relativa a la protección de los conocimientos técnicos y la información empresarial no divulgados (secretos comerciales) contra su obtención, utilización y revelación ilícitas, [en línea], disponible en: https://eur-lex.europa.eu/legal-content/ES/TXT/?uri=celex%3A32016L0943 [consultado el 19/09/2019].
Text
http://purl.org/coar/access_right/c_abf2
info:eu-repo/semantics/openAccess
http://purl.org/coar/version/c_970fb48d4fbd8a85
info:eu-repo/semantics/publishedVersion
http://purl.org/redcol/resource_type/ARTREF
http://purl.org/coar/resource_type/c_6501
info:eu-repo/semantics/article
Intellectual Property Office, 04 de diciembre de 2019, bl O/741/19, [en línea], disponible en: https://www.ipo.gov.uk/p-challenge-decision-results/o74119.pdf [consultado el 29/04/2020].
European Patent Office (epo), “Grounds for the decision (Annex) Application Nr.18 275 163.6”, [en línea], disponible en: https://register.epo.org/application?documentId=E4B63SD62191498&number=EP18275163&lng=en&npl=false [consultado el 29/04/2020].
European Patent Office (epo), “Grounds for the decision (Annex) Application Nr.18275174.3”, [en línea], disponible en: https://register.epo.org/application?documentId=E4B63OBI2076498&number=EP18275174&lng=en&npl=false [consultado el 29/04/2020].
Consejo para la Transparencia, 17 de noviembre de 2017, Decisión amparo Rol C2727-17.
Consejo para la Transparencia, 14 de octubre de 2011, Decisión amparo Rol C428-11.
Directrices sobre decisiones individuales automatizadas y elaboración de perfiles a los efectos del Reglamento 2016/679, 2017, Grupo de Trabajo sobre Protección de Datos del Artículo 29.
Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo, de 27 de abril de 2016, relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos y por el que se deroga la Directiva 95/46/ce (Reglamento general de protección de datos) [en línea], disponible en: http://eur-lex.europa.eu/legal-content/ES/TXT/?uri=uriserv:OJ.L_.2016.119.01.0001.01.SPA&toc=OJ:L:2016:119:TOC [consultado el 15/01/2020].
Ustarán, E. y García, P., “Transferencias internacionales de datos”, en Rallo Lombarte, A. (Dir.), Tratado de Protección de Datos. Tirant lo Blanch, 2019, pp. 459-490.
Decreto Ley n.º 211 (07/03/2005) Que fija el texto refundido, coordinado y sistematizado del decreto ley nº 211, de 1973.
Velasco, P. y Viollier, P., “Información financiera y discriminación laboral en Chile: un caso de estudio sobre Big Data”, en Derechos Digitales [en línea], disponible en: https://www.derechosdigitales.org/wp-content/uploads/bigdata-informe.pdf [consultado el 26/02/2020].
Vergara, M., “Chile: Comentarios preliminares al proyecto de ley que regula la protección y tratamiento de datos personales y crea la Agencia de Protección de Datos Personales”, en Revista Chilena de Derecho y Tecnología, 6(2), 2017, pp. 135-152. doi:10.5354/0719-2584.2017.45822.
Viguri Cordero, J., “La implementación de nuevos esquemas de certificación en la ue como garantía de protección de los derechos fundamentales de consumidores y usuarios (especial referencia a la protección de datos personales)”, en Revista cesco de Derecho de Consumo, n.° 19, 2016, pp. 28-40, [en línea], disponible en: https://dialnet.unirioja.es/servlet/articulo?codigo=5807262 [consultado el 10/01/2020].
Viollier, P., “El Estado de la Protección de Datos Personales en Chile. Derechos Digitales” [en línea], disponible en: https://www.derechosdigitales.org/wpcontent/uploads/PVB-datos-int.pdf [consultado el 15/01/2020].
Wachter, S., Mittelstadt, B. & Floridi, L., “Why a Right to Explanation of Automated Decision-Making Does Not Exist in the General Data Protection Regulation”, en International Data Privacy Law, 2017, ssrn: https://ssrn.com/abstract=2903469.
Decreto Supremo n.° 100 (22/09/2005) Constitución Política de la República de Chile.
Ley 17.336 (02/10/1970) De propiedad intelectual.
Acuerdo sobre los Aspectos de los Derechos de Propiedad Intelectual relacionados con el Comercio. Organización Mundial del Comercio. Disponible en: https://www.wto.org/spanish/docs_s/legal_s/legal_s.htm#TRIPs. Por Chile: Acuerdo de Marrakech por el que se establece la Organización Mundial del Comercio, y los acuerdos anexos que se indican. Decreto Supremo n.º 16, de 1995, del Ministerio de Relaciones Exteriores de Chile, publicado en el Diario Oficial n.º 35.169 de 17 de mayo de 1995.
Ley 19.039 (25/01/1991) De propiedad Industrial.
Ley 19.628 (28/08/1999) Sobre Protección de la Vida Privada.
Ley 20.285 (20/08/2008) Sobre acceso a la información pública.
Ley 20.609 (24/07/2012) Que establece medidas contra la discriminación.
Ley 21.096 (16/06/2018) Que consagra el derecho a protección de los datos personales.
Ley 1/2019 (20/02/2019) de Secretos Empresariales. Boletín Oficial del Estado Numero 45, de 21 de febrero de 2019.
Lomas, N., “ibm launches cloud tool to detect AI bias and explain automated decisions” [en línea], disponible en: https://techcrunch.com/2018/09/19/ibm-launches-cloud-tool-to-detect-ai-bias-and-explain-automated-decisions/ [consultado el 19/02/2020].
Lissén Arbeloa, J. y Guillén Monje, P., “Características, alcance de la protección conferida e implicaciones para las empresas en la nueva Ley de Secretos Empresariales”, en Diario La Ley, issn 1989-6913, 9372, 2019, pp. 1-7.
Lazcoz Moratinos, G. y Castillo Parrilla, J., “Valoración algorítmica ante los derechos humanos y el Reglamento General de Protección de Datos: el caso SyRI”, en Revista Chilena de Derecho y Tecnología, 9(1), 2020, pp. 207-225. doi:10.5354/0719-2584.2020.56843.
text/html
Arellano Toledo, W., “El derecho a la transparencia algorítmica en Big Data e inteligencia artificial”, en Revista General de Derecho Administrativo, 50, 2019.
Angwin, J.; Larson, J.; Mattu, S. & Kirchner, L., “Machine Bias.There’s software used across the country to predict future criminals. And it’s biased against blacks” [en línea], disponible en: https://www.propublica.org/article/machinebias-risk-assessments-in-criminal-sentencing [consultado el 10/01/2020].
Álvarez Valenzuela, D., “Acceso a la información pública y protección de datos personales. ¿Puede el consejo para la transparencia ser la autoridad de control en materia de protección de datos?”, en Revista de Derecho Universidad Católica del Norte, Año 23, n.º 1, 2016, pp. 51-79.
Agencia Española de Protección de Datos, Adecuación al RGPD de tratamientos que incorporan Inteligencia Artificial. Una introducción. [en línea], disponible en https://www.aepd.es/sites/default/files/2020-02/adecuacion-rgpd-ia.pdf [consultado el 28/02/2020].
Access Now, Human Rights in the age of artificial intelligence. [en línea], disponible en: https://www.accessnow.org/cms/assets/uploads/2018/11/AI-and-Human-Rights.pdf [consultado el 10 de enero de 2020].
https://creativecommons.org/licenses/by-nc-sa/4.0/
Español
https://revistas.uexternado.edu.co/index.php/propin/article/view/7014
Revista La Propiedad Inmaterial
Centro de Estudios de la Propiedad Intelectual
application/pdf
Barrio, M., “Consideraciones jurídicas acerca del coche autónomo”, en Actualidad Jurídica (Uría & Menéndez) Núm. 52, 2019, pp. 101-108.
Artículo de revista
Núm. 30 , Año 2020 : Julio-Diciembre
30
Inteligencia artificial
Decisiones automatizadas;
Transparencia algorítmica;
Secretos empresariales;
Propiedad intelectual;
Finol González, Daniel
Azuaje Pirela, Michelle
Este artículo analiza algunas de las tensiones que se generan entre las crecientes obligaciones de transparencia algorítmica surgidas en el marco de la cuarta revolución industrial y los derechos de propiedad intelectual e industrial, haciendo especial referencia a los secretos empresariales que puedan recaer sobre los algoritmos de inteligencia artificial utilizados para la toma de decisiones automatizadas y la realización de perfiles. En ese sentido, se aportan nuevos elementos para contribuir a la discusión sobre la problemática descrita y se proponen algunas soluciones que permitan resguardar de forma equilibrada tanto la transparencia como los derechos de propiedad intelectual e industrial, desde la perspectiva del Derecho chileno, haciendo puntuales referencias al derecho de la Unión Europea.
Azuaje, M. y Finol, D., “Big Data, algoritmos y propiedad intelectual”, en Anuario de propiedad intelectual, n.º. 2016, 2017, pp. 257-275.
Michelle Azuaje Pirela, Daniel Finol González - 2020
Blass, A., & Gurevich, Y., “Algorithms: A Quest for Absolute Definitions”, Bulletin of the European Association for Theoretical Computer Science, 81, 2003, pp. 195-225.
Declaración de Toronto, “The Toronto Declaration: Protecting the rights to equality and non-discrimination in machine learning systems” [en línea], disponible en: https://www.accessnow.org/the-toronto-declaration-protectingthe-rights-to-equality-and-non-discrimination-in-machine-learning-systems/[consultado el 28/02/2020].
Lambrecht, A. & Tucker, C., “Apparent Algorithmic Bias and Algorithmic Learning”, 2020, ssrn: https://ssrn.com/abstract=3570076.
Hagemann R. y Leclerc J., “Inteligencia artificial: un equilibrio entre la regulación y la autorregulación” [en línea], disponible en: https://www.ibm.com/blogs/policy/latin-america/2020/01/22/inteligencia-artificial-un-equilibrio-entre-laregulacion-y-la-autorregulacion/ [consultado el 04/03/2020].
Guszcza, J.; Rahwan, I.; Bible, W.; Cebrian, M. & Katyal, V., “Why We Need to Audit Algorithms”, en Harvard Business Review, 2018, [en línea], disponible en: https://hbr.org/2018/11/why-we-need-to-audit-algorithms [consultado el 04/03/2020].
Gurevich, Y., “What is an Algorithm? (Revised),” en A. Olszewski et al. (Eds.) Church’s Thesis: Logic, Mind and Nature, Copernicus Center Press, 2014, pp. 1-15.
Guadamuz González, A., “Patentabilidad del software: nuevas cuestiones jurídicas”, en Revista de la ompi, 6, 2008, [en línea] disponible en: http://www.wipo.int/wipo_magazine/es/2008/06/ [consultado el 19/02/2020].
Goldenberg, J., “Herramientas del Big Data y del fintech para prevenir y aliviar el sobreendeudamiento del consumidor: una propuesta”, en Revista chilena de derecho y tecnología [en línea], vol.8, n.2, 2019, 5-32, disponible en: http://dx.doi.org/10.5354/0719-2584.2019.54051 [consultado el 19/02/2020].
Fuentes Massaguer, J., “De nuevo sobre la protección jurídica de los secretos empresariales (a propósito de la ley 1/2019, de 20 de febrero, de secretos empresariales)”, en Revista “Actualidad Jurídica Uría Menéndez”, 51, 2019, pp. 46-70.
Ferrer, I., “Países Bajos veta un algoritmo acusado de estigmatizar a los más desfavorecidos” [en línea], disponible en: https://elpais.com/tecnologia/2020/02/12/actualidad/1581512850_757564.html [consultado el 19/02/2020].
Esteve Pardo, M., “El secreto profesional y la propiedad intelectual e industrial,” en inap, Los límites al derecho de acceso a la información pública, Madrid, Instituto Nacional de Administración Pública, 2017, pp. 175-183.
Elsayed-Ali. S., “Artificial intelligence: how it impacts human rights and what we should do about it” [en línea], disponible en: https://medium.com/@sherifea/the-impact-of-artificial-intelligence-on-human-rights-problems-and-solutionsfd52d1ac2158 [consultado el 04/03/2020].
Domingos, P., The Master Algorithm: How the Quest for the Ultimate Learning Machine Will Remake Our World, New York, Basic Books, 2015.
Buss, S.; Alexander, S.; Pillay, A. & Shore, R., “The Prospects for Mathematical Logic in the Twenty-First Century”, en The Bulletin of Symbolic Logic, 7, 2, 2001, pp. 169-196.
De la Maza, I. y Momberg, R., “Términos y condiciones: acerca del supuesto carácter contractual de las autorizaciones para el tratamiento de datos personales en sitios web”, en Revista Chilena de Derecho y Tecnología, 6(2), 2017, pp. 25-55. doi:10.5354/0719-2584.2017.46226.
De La Sierra, S., “Inteligencia artificial y justicia administrativa: una aproximación desde la teoría del control de la administración pública”, en Revista General de Derecho Administrativo, 53, 2020, pp. 1-19.
Publication
Cowgill, B., “Bias and Productivity in Humans and Machines”, 2019, SSRN: https://ssrn.com/abstract=3584916 [consultado el 28/02/2020].
Comisión europea, “White paper On Artificial Intelligence - A European approach to excellence and trust” [en línea], disponible en: https://ec.europa.eu/info/sites/info/files/commission-white-paper-artificial-intelligence-feb2020_en.pdf [consultado el 28/02/2020].
Carloni, E., “ia, algoritmos y Administración pública en Italia”, en Revista de Internet, Derecho y Política, 30, 2020, [en línea], disponible en: https://www.researchgate.net/publication/339633312_IA_algoritmos_y_Administracion_publica_en_Italia [consultado el 28/05/2020].
Cerda Silva, A., Legislación sobre protección de las personas frente al tratamiento de datos personales, Centro de Estudios en Derecho Informático, Universidad de Chile, 2012.
Chen, A., “Inteligencia Artificial: El caso de la ia que intentó patentar dos inventos en su nombre”, en mit Technology Review, [en línea] disponible en: https://www.technologyreview.es/s/11776/el-caso-de-la-ia-que-intento-patentar-dosinventos-en-su-nombre [consultado el 19/08/2020].
Chowdhury, R. & Mulani, N., “Auditing Algorithms for Bias”, [en línea] disponible en: https://hbr.org/2018/10/auditing-algorithms-for-bias [consultado el 28/02/2020].
Comisión europea, “Directrices éticas para una ia fiable. Grupo de expertos de alto nivel sobre inteligencia artificial” [en línea], disponible en: https://ec.europa.eu/futurium/en/ai-alliance-consultation/guidelines#Top consultado el 27/02/2020].
Clarke, L., “IBM’S AI toolkit will help developers fight bias in AI”, [en línea], disponible en: https://www.techworld.com/developers/how-ibms-ai-toolkitwill-help-developers-fight-bias-in-ai-3686831/ [consultado el 28/02/2020].
Cotino Hueso, L. “Big data e inteligencia artificial. Una aproximación a su tratamiento jurídico desde los derechos fundamentales”, Dilemata, 24, 2017, [en línea], disponible en: https://ssrn.com/abstract=3413277 [consultado el 28/02/2020].
Algorithmic Transparency;
Algorithmic transparency and intelectual property: tensions and solutions
This article analyzes some of the tensions between the algorithmic transparency obligations that arose in the framework of the fourth industrial revolution, and intellectual property rights, making special reference to the trade secrets that may apply to artificial intelligence algorithms used for automated decision making and profiling. In this sense, new elements are provided to contribute to the discussion on the problem described and some solutions are proposed that allow for the balanced safeguarding of both: transparency, and intellectual and industrial property rights, from the perspective of Chilean law, making specific references to the law of the European Union.
Intellectual Property;
Artificial Intelligence.
Trade Secrets;
Journal article
Automated Decisions;
https://doi.org/10.18601/16571959.n30.05
2346-2116
2020-12-11
https://revistas.uexternado.edu.co/index.php/propin/article/download/7014/9732
https://revistas.uexternado.edu.co/index.php/propin/article/download/7014/9578
10.18601/16571959.n30.05
1657-1959
146
111
2020-12-11T14:05:22Z
2020-12-11T14:05:22Z
institution UNIVERSIDAD EXTERNADO DE COLOMBIA
thumbnail https://nuevo.metarevistas.org/UNIVERSIDADEXTERNADODECOLOMBIA/logo.png
country_str Colombia
collection Revista La Propiedad Inmaterial
title Transparencia algorítmica y la propiedad intelectual e industrial: tensiones y soluciones
spellingShingle Transparencia algorítmica y la propiedad intelectual e industrial: tensiones y soluciones
Finol González, Daniel
Azuaje Pirela, Michelle
Inteligencia artificial
Decisiones automatizadas;
Transparencia algorítmica;
Secretos empresariales;
Propiedad intelectual;
Algorithmic Transparency;
Intellectual Property;
Artificial Intelligence.
Trade Secrets;
Automated Decisions;
title_short Transparencia algorítmica y la propiedad intelectual e industrial: tensiones y soluciones
title_full Transparencia algorítmica y la propiedad intelectual e industrial: tensiones y soluciones
title_fullStr Transparencia algorítmica y la propiedad intelectual e industrial: tensiones y soluciones
title_full_unstemmed Transparencia algorítmica y la propiedad intelectual e industrial: tensiones y soluciones
title_sort transparencia algorítmica y la propiedad intelectual e industrial: tensiones y soluciones
title_eng Algorithmic transparency and intelectual property: tensions and solutions
description Este artículo analiza algunas de las tensiones que se generan entre las crecientes obligaciones de transparencia algorítmica surgidas en el marco de la cuarta revolución industrial y los derechos de propiedad intelectual e industrial, haciendo especial referencia a los secretos empresariales que puedan recaer sobre los algoritmos de inteligencia artificial utilizados para la toma de decisiones automatizadas y la realización de perfiles. En ese sentido, se aportan nuevos elementos para contribuir a la discusión sobre la problemática descrita y se proponen algunas soluciones que permitan resguardar de forma equilibrada tanto la transparencia como los derechos de propiedad intelectual e industrial, desde la perspectiva del Derecho chileno, haciendo puntuales referencias al derecho de la Unión Europea.
description_eng This article analyzes some of the tensions between the algorithmic transparency obligations that arose in the framework of the fourth industrial revolution, and intellectual property rights, making special reference to the trade secrets that may apply to artificial intelligence algorithms used for automated decision making and profiling. In this sense, new elements are provided to contribute to the discussion on the problem described and some solutions are proposed that allow for the balanced safeguarding of both: transparency, and intellectual and industrial property rights, from the perspective of Chilean law, making specific references to the law of the European Union.
author Finol González, Daniel
Azuaje Pirela, Michelle
author_facet Finol González, Daniel
Azuaje Pirela, Michelle
topicspa_str_mv Inteligencia artificial
Decisiones automatizadas;
Transparencia algorítmica;
Secretos empresariales;
Propiedad intelectual;
topic Inteligencia artificial
Decisiones automatizadas;
Transparencia algorítmica;
Secretos empresariales;
Propiedad intelectual;
Algorithmic Transparency;
Intellectual Property;
Artificial Intelligence.
Trade Secrets;
Automated Decisions;
topic_facet Inteligencia artificial
Decisiones automatizadas;
Transparencia algorítmica;
Secretos empresariales;
Propiedad intelectual;
Algorithmic Transparency;
Intellectual Property;
Artificial Intelligence.
Trade Secrets;
Automated Decisions;
citationissue 30
citationedition Núm. 30 , Año 2020 : Julio-Diciembre
publisher Centro de Estudios de la Propiedad Intelectual
ispartofjournal Revista La Propiedad Inmaterial
source https://revistas.uexternado.edu.co/index.php/propin/article/view/7014
language Español
format Article
rights http://purl.org/coar/access_right/c_abf2
info:eu-repo/semantics/openAccess
https://creativecommons.org/licenses/by-nc-sa/4.0/
Michelle Azuaje Pirela, Daniel Finol González - 2020
references Organización Mundial de la Propiedad Intelectual (ompi), “Draft Issues Paper on Intellectual Property Policy and Artificial Intelligence”. [en línea], disponible en: https://www.wipo.int/meetings/en/doc_details.jsp?doc_id=470053 [consultado el 18/05/2020].
Schmitz Vaccaro, C., “Secretos empresariales en Chile: medidas de protección”, en Revista Internacional Foro de Derecho Mercantil, 37, 2012, pp. 13-41.
Schmitz Vaccaro, C., “Propiedad intelectual, dominio público y equilibrio de intereses”, en Revista Chilena de Derecho, vol. 36 n.º 2, 2010, pp. 343-367.
Searle, J., “Minds, brains, and programs”. en Behavioral and Brain Sciences 3 (3), 1980, pp. 417-457. doi: https://doi.org/10.1017/S0140525X00005756.
Rubinstein, I., “Big Data: The End of Privacy or a New Beginning?”, en International Data Privacy Law, nyu School of Law, Public Law Research Paper, 2013, pp. 12-56. ssrn.
Russell, S. & Norvig, P., Artificial intelligence: a modern approach. Upper Saddle River, N.J.: Prentice Hall, 2010.
Rogel Vide, C., “Robots y personas”, en Rogel Vide, C. (Ed.), Los robots y el Derecho Madrid, Reus, 2018, pp. 7-23.
Rogel Vide, C. y Serrano Gómez, E., Manual de Derecho de Autor. Madrid, Reus, 2008.
Ríos Ruiz, W., “Los sistemas de inteligencia artificial y la propiedad intelectual de las obras creadas, producidas o generadas mediante ordenador”, Revista la propiedad inmaterial, n.º. 3, 2001, pp. 5-13.
Pérez Sanz, C., “Aspectos legales del Big Data”, en Índice: Revista de Estadística y Sociedad, 68, 2016, pp. 18-21.
Peña Torres, M., “Protección constitucional del secreto industrial”, en Revista Chilena de Derecho, 28, 2, 2001, pp. 413-424.
Pasquale, F., The Black Box Society: The Secret Algorithms That Control Money and Information, Londres, Harvard University Press, 2015.
Parlamento Europeo, Resolución de 14 de marzo de 2017, sobre las implicaciones de los macrodatos en los derechos fundamentales: privacidad, protección de datos, no discriminación, seguridad y aplicación de la ley (2016/2225(ini)).
Otero González, L. y Durán Santomil, P., “Fintech, blockchain y big data”, en García Novoa, César y Santiago Iglesias, Diana (Dir.), 4ª Revolución industrial: impacto de la automatización y la Inteligencia artificial en la Sociedad y la economía digital, Pamplona, Thomson Reuters Aranzadi, 2018, pp. 81-113.
Organización Mundial de la Propiedad Intelectual (ompi), “Public Consultation on AI and IP Policy - Submissions. Query: Chile”, [en línea], disponible en: https://www.wipo.int/about-ip/en/artificial_intelligence/submissions- [consultado el 18/05/2020].search.jsp?type_id=&territory_id=36&issue_id=
O’Neil, C., Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy, New York, Crown, 2016.
Sunstein, C., “Algorithms, Correcting Biases”, [en línea], Forthcoming, Social Research, 2018, ssrn: https://ssrn.com/abstract=3300171 [consultado el 26/02/2020].
Navas Navarro, S., “Creación Original e Inteligencia Artificial” en Navas Navarro, Susana (Dir.), Nuevos desafíos para el Derecho de Autor. Robótica, Inteligencia Artificial, Tecnología, Madrid, Reus, 2019, pp. 27-45.
Navas Navarro, S., “Obras generadas por algoritmos. En torno a su posible protección jurídica”, en Revista de Derecho Civil, vol. v, núm. 2018, pp. 273-291.
Navas Navarro, S., “Derecho e inteligencia artificial desde el diseño”, en Navas Navarro, Susana (coord.), Inteligencia artificial: tecnología, derecho, Valencia, Tirant Lo Blanch, 2017, pp. 23-72.
Myers West, S.; Whittaker, M.; Crawford, K., “Discriminating systems: Gender, Race, and Power in AI” https://ainowinstitute.org/discriminatingsystems.pdf [consultado el 04/03/2020].
Moschovakis, Y., “What is an algorithm?”, en Engquist, B., & Schmid, W. (Eds.) Mathematics Unlimited — 2001 and beyond, Part ii, Springer, 2001, pp. 919-936.
Montoya, A.; Parrado, E.; Solís, A.; Undurraga, R., Documento de Trabajo n.º 03/20: Discriminación de género en el mercado de créditos de consumo. [en línea], disponible en https://www.sbif.cl/sbifweb3/internet/archivos/publicacion_12587.pdf [consultado el 26/02/2020].
Molina Hernández, C., “La protección de secretos empresariales,” en Campuzano, A., Palomar Olmeda, A., San Juan y Muñoz, E.; Molina Hernández, C., La protección de secretos empresariales, Valencia: Tirant Lo Blanch, 2019, pp. 39-48.
Mittelstadt, B.; Allo, P.; Taddeo, M.; Wachter, S. & Floridi, L., “The Ethics of Algorithms: Mapping the Debate”, Big Data & Society. 3(2), 2016, [en línea], disponible en: 10.1177/2053951716679679 [consultado el 26/02/2020].
Mayer-Schönberger, V., & Cukier, K., “The Dictatorship of Data”, en mit Technology Review, [en línea] disponible en: https://www.technologyreview.com/s/514591/the-dictatorship-of-data/ [consultado el 19/02/2020].
Matus, J., “Derecho de acceso a la información pública y protección de datos personales”, en Revista Chilena de Derecho y Tecnología, 2(1), 2013, pp. 197-228. doi:10.5354/0719-2584.2013.26959.
Martínez Martínez, R., “Designing artificial intelligence. Challenges and strategies for achieving regulatory compliance”, en Revista Catalana de Dret Públic, 58, 2019, pp. 64-81. https://doi.org/10.2436/rcdp.i58.2019.3317.
Malik, M., “Can algorithms themselves be biased?” [en línea], disponible en: https://medium.com/berkman-klein-center/can-algorithms-themselves-bebiased-cffecbf2302c [consultado el 19/02/2020].
McCarthy, J., “What is artificial intelligence?”, [en línea] disponible en: http://www-formal.stanford.edu/jmc/whatisai/ [consultado el 19/02/2020].
López de Mántaras, R., “¿Hacia una nueva Ilustración? Una década trascendente. El futuro de la ia: hacia inteligencias artificiales realmente inteligentes”, [en línea], disponible en: https://www.bbvaopenmind.com/articulos/el-futurode-la-ia-hacia-inteligencias-artificiales-realmente-inteligentes/ [consultado el 19/02/2020].
Solove, D., “Autogestión de la privacidad y el dilema del consentimiento”, en Revista Chilena de Derecho y Tecnología, 2(2), 2013, 11-47. doi:10.5354/0719-2584.2013.30308.
Ureña, R., “Autoridad algorítmica: ¿cómo empezar a pensar la protección de los derechos humanos en la era del “big data”?”, en Latin American Law Review, 2, 2019, pp. 99-124. doi.org/10.29263/lar02.2019.05.
Lipszyc, D., Derecho de Autor y Derechos Conexos, Buenos Aires, Unesco, 2002.
Directiva (UE) 2016/943, de 8 de junio de 2016, relativa a la protección de los conocimientos técnicos y la información empresarial no divulgados (secretos comerciales) contra su obtención, utilización y revelación ilícitas, [en línea], disponible en: https://eur-lex.europa.eu/legal-content/ES/TXT/?uri=celex%3A32016L0943 [consultado el 19/09/2019].
Intellectual Property Office, 04 de diciembre de 2019, bl O/741/19, [en línea], disponible en: https://www.ipo.gov.uk/p-challenge-decision-results/o74119.pdf [consultado el 29/04/2020].
European Patent Office (epo), “Grounds for the decision (Annex) Application Nr.18 275 163.6”, [en línea], disponible en: https://register.epo.org/application?documentId=E4B63SD62191498&number=EP18275163&lng=en&npl=false [consultado el 29/04/2020].
European Patent Office (epo), “Grounds for the decision (Annex) Application Nr.18275174.3”, [en línea], disponible en: https://register.epo.org/application?documentId=E4B63OBI2076498&number=EP18275174&lng=en&npl=false [consultado el 29/04/2020].
Consejo para la Transparencia, 17 de noviembre de 2017, Decisión amparo Rol C2727-17.
Consejo para la Transparencia, 14 de octubre de 2011, Decisión amparo Rol C428-11.
Directrices sobre decisiones individuales automatizadas y elaboración de perfiles a los efectos del Reglamento 2016/679, 2017, Grupo de Trabajo sobre Protección de Datos del Artículo 29.
Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo, de 27 de abril de 2016, relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos y por el que se deroga la Directiva 95/46/ce (Reglamento general de protección de datos) [en línea], disponible en: http://eur-lex.europa.eu/legal-content/ES/TXT/?uri=uriserv:OJ.L_.2016.119.01.0001.01.SPA&toc=OJ:L:2016:119:TOC [consultado el 15/01/2020].
Ustarán, E. y García, P., “Transferencias internacionales de datos”, en Rallo Lombarte, A. (Dir.), Tratado de Protección de Datos. Tirant lo Blanch, 2019, pp. 459-490.
Decreto Ley n.º 211 (07/03/2005) Que fija el texto refundido, coordinado y sistematizado del decreto ley nº 211, de 1973.
Velasco, P. y Viollier, P., “Información financiera y discriminación laboral en Chile: un caso de estudio sobre Big Data”, en Derechos Digitales [en línea], disponible en: https://www.derechosdigitales.org/wp-content/uploads/bigdata-informe.pdf [consultado el 26/02/2020].
Vergara, M., “Chile: Comentarios preliminares al proyecto de ley que regula la protección y tratamiento de datos personales y crea la Agencia de Protección de Datos Personales”, en Revista Chilena de Derecho y Tecnología, 6(2), 2017, pp. 135-152. doi:10.5354/0719-2584.2017.45822.
Viguri Cordero, J., “La implementación de nuevos esquemas de certificación en la ue como garantía de protección de los derechos fundamentales de consumidores y usuarios (especial referencia a la protección de datos personales)”, en Revista cesco de Derecho de Consumo, n.° 19, 2016, pp. 28-40, [en línea], disponible en: https://dialnet.unirioja.es/servlet/articulo?codigo=5807262 [consultado el 10/01/2020].
Viollier, P., “El Estado de la Protección de Datos Personales en Chile. Derechos Digitales” [en línea], disponible en: https://www.derechosdigitales.org/wpcontent/uploads/PVB-datos-int.pdf [consultado el 15/01/2020].
Wachter, S., Mittelstadt, B. & Floridi, L., “Why a Right to Explanation of Automated Decision-Making Does Not Exist in the General Data Protection Regulation”, en International Data Privacy Law, 2017, ssrn: https://ssrn.com/abstract=2903469.
Decreto Supremo n.° 100 (22/09/2005) Constitución Política de la República de Chile.
Ley 17.336 (02/10/1970) De propiedad intelectual.
Acuerdo sobre los Aspectos de los Derechos de Propiedad Intelectual relacionados con el Comercio. Organización Mundial del Comercio. Disponible en: https://www.wto.org/spanish/docs_s/legal_s/legal_s.htm#TRIPs. Por Chile: Acuerdo de Marrakech por el que se establece la Organización Mundial del Comercio, y los acuerdos anexos que se indican. Decreto Supremo n.º 16, de 1995, del Ministerio de Relaciones Exteriores de Chile, publicado en el Diario Oficial n.º 35.169 de 17 de mayo de 1995.
Ley 19.039 (25/01/1991) De propiedad Industrial.
Ley 19.628 (28/08/1999) Sobre Protección de la Vida Privada.
Ley 20.285 (20/08/2008) Sobre acceso a la información pública.
Ley 20.609 (24/07/2012) Que establece medidas contra la discriminación.
Ley 21.096 (16/06/2018) Que consagra el derecho a protección de los datos personales.
Ley 1/2019 (20/02/2019) de Secretos Empresariales. Boletín Oficial del Estado Numero 45, de 21 de febrero de 2019.
Lomas, N., “ibm launches cloud tool to detect AI bias and explain automated decisions” [en línea], disponible en: https://techcrunch.com/2018/09/19/ibm-launches-cloud-tool-to-detect-ai-bias-and-explain-automated-decisions/ [consultado el 19/02/2020].
Lissén Arbeloa, J. y Guillén Monje, P., “Características, alcance de la protección conferida e implicaciones para las empresas en la nueva Ley de Secretos Empresariales”, en Diario La Ley, issn 1989-6913, 9372, 2019, pp. 1-7.
Lazcoz Moratinos, G. y Castillo Parrilla, J., “Valoración algorítmica ante los derechos humanos y el Reglamento General de Protección de Datos: el caso SyRI”, en Revista Chilena de Derecho y Tecnología, 9(1), 2020, pp. 207-225. doi:10.5354/0719-2584.2020.56843.
Arellano Toledo, W., “El derecho a la transparencia algorítmica en Big Data e inteligencia artificial”, en Revista General de Derecho Administrativo, 50, 2019.
Angwin, J.; Larson, J.; Mattu, S. & Kirchner, L., “Machine Bias.There’s software used across the country to predict future criminals. And it’s biased against blacks” [en línea], disponible en: https://www.propublica.org/article/machinebias-risk-assessments-in-criminal-sentencing [consultado el 10/01/2020].
Álvarez Valenzuela, D., “Acceso a la información pública y protección de datos personales. ¿Puede el consejo para la transparencia ser la autoridad de control en materia de protección de datos?”, en Revista de Derecho Universidad Católica del Norte, Año 23, n.º 1, 2016, pp. 51-79.
Agencia Española de Protección de Datos, Adecuación al RGPD de tratamientos que incorporan Inteligencia Artificial. Una introducción. [en línea], disponible en https://www.aepd.es/sites/default/files/2020-02/adecuacion-rgpd-ia.pdf [consultado el 28/02/2020].
Access Now, Human Rights in the age of artificial intelligence. [en línea], disponible en: https://www.accessnow.org/cms/assets/uploads/2018/11/AI-and-Human-Rights.pdf [consultado el 10 de enero de 2020].
Barrio, M., “Consideraciones jurídicas acerca del coche autónomo”, en Actualidad Jurídica (Uría & Menéndez) Núm. 52, 2019, pp. 101-108.
Azuaje, M. y Finol, D., “Big Data, algoritmos y propiedad intelectual”, en Anuario de propiedad intelectual, n.º. 2016, 2017, pp. 257-275.
Blass, A., & Gurevich, Y., “Algorithms: A Quest for Absolute Definitions”, Bulletin of the European Association for Theoretical Computer Science, 81, 2003, pp. 195-225.
Declaración de Toronto, “The Toronto Declaration: Protecting the rights to equality and non-discrimination in machine learning systems” [en línea], disponible en: https://www.accessnow.org/the-toronto-declaration-protectingthe-rights-to-equality-and-non-discrimination-in-machine-learning-systems/[consultado el 28/02/2020].
Lambrecht, A. & Tucker, C., “Apparent Algorithmic Bias and Algorithmic Learning”, 2020, ssrn: https://ssrn.com/abstract=3570076.
Hagemann R. y Leclerc J., “Inteligencia artificial: un equilibrio entre la regulación y la autorregulación” [en línea], disponible en: https://www.ibm.com/blogs/policy/latin-america/2020/01/22/inteligencia-artificial-un-equilibrio-entre-laregulacion-y-la-autorregulacion/ [consultado el 04/03/2020].
Guszcza, J.; Rahwan, I.; Bible, W.; Cebrian, M. & Katyal, V., “Why We Need to Audit Algorithms”, en Harvard Business Review, 2018, [en línea], disponible en: https://hbr.org/2018/11/why-we-need-to-audit-algorithms [consultado el 04/03/2020].
Gurevich, Y., “What is an Algorithm? (Revised),” en A. Olszewski et al. (Eds.) Church’s Thesis: Logic, Mind and Nature, Copernicus Center Press, 2014, pp. 1-15.
Guadamuz González, A., “Patentabilidad del software: nuevas cuestiones jurídicas”, en Revista de la ompi, 6, 2008, [en línea] disponible en: http://www.wipo.int/wipo_magazine/es/2008/06/ [consultado el 19/02/2020].
Goldenberg, J., “Herramientas del Big Data y del fintech para prevenir y aliviar el sobreendeudamiento del consumidor: una propuesta”, en Revista chilena de derecho y tecnología [en línea], vol.8, n.2, 2019, 5-32, disponible en: http://dx.doi.org/10.5354/0719-2584.2019.54051 [consultado el 19/02/2020].
Fuentes Massaguer, J., “De nuevo sobre la protección jurídica de los secretos empresariales (a propósito de la ley 1/2019, de 20 de febrero, de secretos empresariales)”, en Revista “Actualidad Jurídica Uría Menéndez”, 51, 2019, pp. 46-70.
Ferrer, I., “Países Bajos veta un algoritmo acusado de estigmatizar a los más desfavorecidos” [en línea], disponible en: https://elpais.com/tecnologia/2020/02/12/actualidad/1581512850_757564.html [consultado el 19/02/2020].
Esteve Pardo, M., “El secreto profesional y la propiedad intelectual e industrial,” en inap, Los límites al derecho de acceso a la información pública, Madrid, Instituto Nacional de Administración Pública, 2017, pp. 175-183.
Elsayed-Ali. S., “Artificial intelligence: how it impacts human rights and what we should do about it” [en línea], disponible en: https://medium.com/@sherifea/the-impact-of-artificial-intelligence-on-human-rights-problems-and-solutionsfd52d1ac2158 [consultado el 04/03/2020].
Domingos, P., The Master Algorithm: How the Quest for the Ultimate Learning Machine Will Remake Our World, New York, Basic Books, 2015.
Buss, S.; Alexander, S.; Pillay, A. & Shore, R., “The Prospects for Mathematical Logic in the Twenty-First Century”, en The Bulletin of Symbolic Logic, 7, 2, 2001, pp. 169-196.
De la Maza, I. y Momberg, R., “Términos y condiciones: acerca del supuesto carácter contractual de las autorizaciones para el tratamiento de datos personales en sitios web”, en Revista Chilena de Derecho y Tecnología, 6(2), 2017, pp. 25-55. doi:10.5354/0719-2584.2017.46226.
De La Sierra, S., “Inteligencia artificial y justicia administrativa: una aproximación desde la teoría del control de la administración pública”, en Revista General de Derecho Administrativo, 53, 2020, pp. 1-19.
Cowgill, B., “Bias and Productivity in Humans and Machines”, 2019, SSRN: https://ssrn.com/abstract=3584916 [consultado el 28/02/2020].
Comisión europea, “White paper On Artificial Intelligence - A European approach to excellence and trust” [en línea], disponible en: https://ec.europa.eu/info/sites/info/files/commission-white-paper-artificial-intelligence-feb2020_en.pdf [consultado el 28/02/2020].
Carloni, E., “ia, algoritmos y Administración pública en Italia”, en Revista de Internet, Derecho y Política, 30, 2020, [en línea], disponible en: https://www.researchgate.net/publication/339633312_IA_algoritmos_y_Administracion_publica_en_Italia [consultado el 28/05/2020].
Cerda Silva, A., Legislación sobre protección de las personas frente al tratamiento de datos personales, Centro de Estudios en Derecho Informático, Universidad de Chile, 2012.
Chen, A., “Inteligencia Artificial: El caso de la ia que intentó patentar dos inventos en su nombre”, en mit Technology Review, [en línea] disponible en: https://www.technologyreview.es/s/11776/el-caso-de-la-ia-que-intento-patentar-dosinventos-en-su-nombre [consultado el 19/08/2020].
Chowdhury, R. & Mulani, N., “Auditing Algorithms for Bias”, [en línea] disponible en: https://hbr.org/2018/10/auditing-algorithms-for-bias [consultado el 28/02/2020].
Comisión europea, “Directrices éticas para una ia fiable. Grupo de expertos de alto nivel sobre inteligencia artificial” [en línea], disponible en: https://ec.europa.eu/futurium/en/ai-alliance-consultation/guidelines#Top consultado el 27/02/2020].
Clarke, L., “IBM’S AI toolkit will help developers fight bias in AI”, [en línea], disponible en: https://www.techworld.com/developers/how-ibms-ai-toolkitwill-help-developers-fight-bias-in-ai-3686831/ [consultado el 28/02/2020].
Cotino Hueso, L. “Big data e inteligencia artificial. Una aproximación a su tratamiento jurídico desde los derechos fundamentales”, Dilemata, 24, 2017, [en línea], disponible en: https://ssrn.com/abstract=3413277 [consultado el 28/02/2020].
type_driver info:eu-repo/semantics/article
type_coar http://purl.org/coar/resource_type/c_6501
type_version info:eu-repo/semantics/publishedVersion
type_coarversion http://purl.org/coar/version/c_970fb48d4fbd8a85
type_content Text
publishDate 2020-12-11
date_accessioned 2020-12-11T14:05:22Z
date_available 2020-12-11T14:05:22Z
url https://revistas.uexternado.edu.co/index.php/propin/article/view/7014
url_doi https://doi.org/10.18601/16571959.n30.05
issn 1657-1959
eissn 2346-2116
doi 10.18601/16571959.n30.05
citationstartpage 111
citationendpage 146
url3_str_mv https://revistas.uexternado.edu.co/index.php/propin/article/download/7014/9732
url2_str_mv https://revistas.uexternado.edu.co/index.php/propin/article/download/7014/9578
_version_ 1797157762850881536