Transparencia algorítmica y la propiedad intelectual e industrial: tensiones y soluciones
Este artículo analiza algunas de las tensiones que se generan entre las crecientes obligaciones de transparencia algorítmica surgidas en el marco de la cuarta revolución industrial y los derechos de propiedad intelectual e industrial, haciendo especial referencia a los secretos empresariales que puedan recaer sobre los algoritmos de inteligencia artificial utilizados para la toma de decisiones automatizadas y la realización de perfiles. En ese sentido, se aportan nuevos elementos para contribuir a la discusión sobre la problemática descrita y se proponen algunas soluciones que permitan resguardar de forma equilibrada tanto la transparencia como los derechos de propiedad intelectual e industrial, desde la perspectiva del Derecho chileno, hac... Ver más
1657-1959
2346-2116
2020-12-11
111
146
http://purl.org/coar/access_right/c_abf2
info:eu-repo/semantics/openAccess
Michelle Azuaje Pirela, Daniel Finol González - 2020
id |
6f9fae864c4cd0d01b29c9695f0320dc |
---|---|
record_format |
ojs |
spelling |
Transparencia algorítmica y la propiedad intelectual e industrial: tensiones y soluciones Organización Mundial de la Propiedad Intelectual (ompi), “Draft Issues Paper on Intellectual Property Policy and Artificial Intelligence”. [en línea], disponible en: https://www.wipo.int/meetings/en/doc_details.jsp?doc_id=470053 [consultado el 18/05/2020]. Schmitz Vaccaro, C., “Secretos empresariales en Chile: medidas de protección”, en Revista Internacional Foro de Derecho Mercantil, 37, 2012, pp. 13-41. Schmitz Vaccaro, C., “Propiedad intelectual, dominio público y equilibrio de intereses”, en Revista Chilena de Derecho, vol. 36 n.º 2, 2010, pp. 343-367. Searle, J., “Minds, brains, and programs”. en Behavioral and Brain Sciences 3 (3), 1980, pp. 417-457. doi: https://doi.org/10.1017/S0140525X00005756. Rubinstein, I., “Big Data: The End of Privacy or a New Beginning?”, en International Data Privacy Law, nyu School of Law, Public Law Research Paper, 2013, pp. 12-56. ssrn. Russell, S. & Norvig, P., Artificial intelligence: a modern approach. Upper Saddle River, N.J.: Prentice Hall, 2010. Rogel Vide, C., “Robots y personas”, en Rogel Vide, C. (Ed.), Los robots y el Derecho Madrid, Reus, 2018, pp. 7-23. Rogel Vide, C. y Serrano Gómez, E., Manual de Derecho de Autor. Madrid, Reus, 2008. Ríos Ruiz, W., “Los sistemas de inteligencia artificial y la propiedad intelectual de las obras creadas, producidas o generadas mediante ordenador”, Revista la propiedad inmaterial, n.º. 3, 2001, pp. 5-13. Pérez Sanz, C., “Aspectos legales del Big Data”, en Índice: Revista de Estadística y Sociedad, 68, 2016, pp. 18-21. Peña Torres, M., “Protección constitucional del secreto industrial”, en Revista Chilena de Derecho, 28, 2, 2001, pp. 413-424. Pasquale, F., The Black Box Society: The Secret Algorithms That Control Money and Information, Londres, Harvard University Press, 2015. Parlamento Europeo, Resolución de 14 de marzo de 2017, sobre las implicaciones de los macrodatos en los derechos fundamentales: privacidad, protección de datos, no discriminación, seguridad y aplicación de la ley (2016/2225(ini)). Otero González, L. y Durán Santomil, P., “Fintech, blockchain y big data”, en García Novoa, César y Santiago Iglesias, Diana (Dir.), 4ª Revolución industrial: impacto de la automatización y la Inteligencia artificial en la Sociedad y la economía digital, Pamplona, Thomson Reuters Aranzadi, 2018, pp. 81-113. Organización Mundial de la Propiedad Intelectual (ompi), “Public Consultation on AI and IP Policy - Submissions. Query: Chile”, [en línea], disponible en: https://www.wipo.int/about-ip/en/artificial_intelligence/submissions- [consultado el 18/05/2020].search.jsp?type_id=&territory_id=36&issue_id= O’Neil, C., Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy, New York, Crown, 2016. Sunstein, C., “Algorithms, Correcting Biases”, [en línea], Forthcoming, Social Research, 2018, ssrn: https://ssrn.com/abstract=3300171 [consultado el 26/02/2020]. Navas Navarro, S., “Creación Original e Inteligencia Artificial” en Navas Navarro, Susana (Dir.), Nuevos desafíos para el Derecho de Autor. Robótica, Inteligencia Artificial, Tecnología, Madrid, Reus, 2019, pp. 27-45. Navas Navarro, S., “Obras generadas por algoritmos. En torno a su posible protección jurídica”, en Revista de Derecho Civil, vol. v, núm. 2018, pp. 273-291. Navas Navarro, S., “Derecho e inteligencia artificial desde el diseño”, en Navas Navarro, Susana (coord.), Inteligencia artificial: tecnología, derecho, Valencia, Tirant Lo Blanch, 2017, pp. 23-72. Myers West, S.; Whittaker, M.; Crawford, K., “Discriminating systems: Gender, Race, and Power in AI” https://ainowinstitute.org/discriminatingsystems.pdf [consultado el 04/03/2020]. Moschovakis, Y., “What is an algorithm?”, en Engquist, B., & Schmid, W. (Eds.) Mathematics Unlimited — 2001 and beyond, Part ii, Springer, 2001, pp. 919-936. Montoya, A.; Parrado, E.; Solís, A.; Undurraga, R., Documento de Trabajo n.º 03/20: Discriminación de género en el mercado de créditos de consumo. [en línea], disponible en https://www.sbif.cl/sbifweb3/internet/archivos/publicacion_12587.pdf [consultado el 26/02/2020]. Molina Hernández, C., “La protección de secretos empresariales,” en Campuzano, A., Palomar Olmeda, A., San Juan y Muñoz, E.; Molina Hernández, C., La protección de secretos empresariales, Valencia: Tirant Lo Blanch, 2019, pp. 39-48. Mittelstadt, B.; Allo, P.; Taddeo, M.; Wachter, S. & Floridi, L., “The Ethics of Algorithms: Mapping the Debate”, Big Data & Society. 3(2), 2016, [en línea], disponible en: 10.1177/2053951716679679 [consultado el 26/02/2020]. Mayer-Schönberger, V., & Cukier, K., “The Dictatorship of Data”, en mit Technology Review, [en línea] disponible en: https://www.technologyreview.com/s/514591/the-dictatorship-of-data/ [consultado el 19/02/2020]. Matus, J., “Derecho de acceso a la información pública y protección de datos personales”, en Revista Chilena de Derecho y Tecnología, 2(1), 2013, pp. 197-228. doi:10.5354/0719-2584.2013.26959. Martínez Martínez, R., “Designing artificial intelligence. Challenges and strategies for achieving regulatory compliance”, en Revista Catalana de Dret Públic, 58, 2019, pp. 64-81. https://doi.org/10.2436/rcdp.i58.2019.3317. Malik, M., “Can algorithms themselves be biased?” [en línea], disponible en: https://medium.com/berkman-klein-center/can-algorithms-themselves-bebiased-cffecbf2302c [consultado el 19/02/2020]. McCarthy, J., “What is artificial intelligence?”, [en línea] disponible en: http://www-formal.stanford.edu/jmc/whatisai/ [consultado el 19/02/2020]. López de Mántaras, R., “¿Hacia una nueva Ilustración? Una década trascendente. El futuro de la ia: hacia inteligencias artificiales realmente inteligentes”, [en línea], disponible en: https://www.bbvaopenmind.com/articulos/el-futurode-la-ia-hacia-inteligencias-artificiales-realmente-inteligentes/ [consultado el 19/02/2020]. Solove, D., “Autogestión de la privacidad y el dilema del consentimiento”, en Revista Chilena de Derecho y Tecnología, 2(2), 2013, 11-47. doi:10.5354/0719-2584.2013.30308. Ureña, R., “Autoridad algorítmica: ¿cómo empezar a pensar la protección de los derechos humanos en la era del “big data”?”, en Latin American Law Review, 2, 2019, pp. 99-124. doi.org/10.29263/lar02.2019.05. Lipszyc, D., Derecho de Autor y Derechos Conexos, Buenos Aires, Unesco, 2002. Directiva (UE) 2016/943, de 8 de junio de 2016, relativa a la protección de los conocimientos técnicos y la información empresarial no divulgados (secretos comerciales) contra su obtención, utilización y revelación ilícitas, [en línea], disponible en: https://eur-lex.europa.eu/legal-content/ES/TXT/?uri=celex%3A32016L0943 [consultado el 19/09/2019]. Text http://purl.org/coar/access_right/c_abf2 info:eu-repo/semantics/openAccess http://purl.org/coar/version/c_970fb48d4fbd8a85 info:eu-repo/semantics/publishedVersion http://purl.org/redcol/resource_type/ARTREF http://purl.org/coar/resource_type/c_6501 info:eu-repo/semantics/article Intellectual Property Office, 04 de diciembre de 2019, bl O/741/19, [en línea], disponible en: https://www.ipo.gov.uk/p-challenge-decision-results/o74119.pdf [consultado el 29/04/2020]. European Patent Office (epo), “Grounds for the decision (Annex) Application Nr.18 275 163.6”, [en línea], disponible en: https://register.epo.org/application?documentId=E4B63SD62191498&number=EP18275163&lng=en&npl=false [consultado el 29/04/2020]. European Patent Office (epo), “Grounds for the decision (Annex) Application Nr.18275174.3”, [en línea], disponible en: https://register.epo.org/application?documentId=E4B63OBI2076498&number=EP18275174&lng=en&npl=false [consultado el 29/04/2020]. Consejo para la Transparencia, 17 de noviembre de 2017, Decisión amparo Rol C2727-17. Consejo para la Transparencia, 14 de octubre de 2011, Decisión amparo Rol C428-11. Directrices sobre decisiones individuales automatizadas y elaboración de perfiles a los efectos del Reglamento 2016/679, 2017, Grupo de Trabajo sobre Protección de Datos del Artículo 29. Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo, de 27 de abril de 2016, relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos y por el que se deroga la Directiva 95/46/ce (Reglamento general de protección de datos) [en línea], disponible en: http://eur-lex.europa.eu/legal-content/ES/TXT/?uri=uriserv:OJ.L_.2016.119.01.0001.01.SPA&toc=OJ:L:2016:119:TOC [consultado el 15/01/2020]. Ustarán, E. y García, P., “Transferencias internacionales de datos”, en Rallo Lombarte, A. (Dir.), Tratado de Protección de Datos. Tirant lo Blanch, 2019, pp. 459-490. Decreto Ley n.º 211 (07/03/2005) Que fija el texto refundido, coordinado y sistematizado del decreto ley nº 211, de 1973. Velasco, P. y Viollier, P., “Información financiera y discriminación laboral en Chile: un caso de estudio sobre Big Data”, en Derechos Digitales [en línea], disponible en: https://www.derechosdigitales.org/wp-content/uploads/bigdata-informe.pdf [consultado el 26/02/2020]. Vergara, M., “Chile: Comentarios preliminares al proyecto de ley que regula la protección y tratamiento de datos personales y crea la Agencia de Protección de Datos Personales”, en Revista Chilena de Derecho y Tecnología, 6(2), 2017, pp. 135-152. doi:10.5354/0719-2584.2017.45822. Viguri Cordero, J., “La implementación de nuevos esquemas de certificación en la ue como garantía de protección de los derechos fundamentales de consumidores y usuarios (especial referencia a la protección de datos personales)”, en Revista cesco de Derecho de Consumo, n.° 19, 2016, pp. 28-40, [en línea], disponible en: https://dialnet.unirioja.es/servlet/articulo?codigo=5807262 [consultado el 10/01/2020]. Viollier, P., “El Estado de la Protección de Datos Personales en Chile. Derechos Digitales” [en línea], disponible en: https://www.derechosdigitales.org/wpcontent/uploads/PVB-datos-int.pdf [consultado el 15/01/2020]. Wachter, S., Mittelstadt, B. & Floridi, L., “Why a Right to Explanation of Automated Decision-Making Does Not Exist in the General Data Protection Regulation”, en International Data Privacy Law, 2017, ssrn: https://ssrn.com/abstract=2903469. Decreto Supremo n.° 100 (22/09/2005) Constitución Política de la República de Chile. Ley 17.336 (02/10/1970) De propiedad intelectual. Acuerdo sobre los Aspectos de los Derechos de Propiedad Intelectual relacionados con el Comercio. Organización Mundial del Comercio. Disponible en: https://www.wto.org/spanish/docs_s/legal_s/legal_s.htm#TRIPs. Por Chile: Acuerdo de Marrakech por el que se establece la Organización Mundial del Comercio, y los acuerdos anexos que se indican. Decreto Supremo n.º 16, de 1995, del Ministerio de Relaciones Exteriores de Chile, publicado en el Diario Oficial n.º 35.169 de 17 de mayo de 1995. Ley 19.039 (25/01/1991) De propiedad Industrial. Ley 19.628 (28/08/1999) Sobre Protección de la Vida Privada. Ley 20.285 (20/08/2008) Sobre acceso a la información pública. Ley 20.609 (24/07/2012) Que establece medidas contra la discriminación. Ley 21.096 (16/06/2018) Que consagra el derecho a protección de los datos personales. Ley 1/2019 (20/02/2019) de Secretos Empresariales. Boletín Oficial del Estado Numero 45, de 21 de febrero de 2019. Lomas, N., “ibm launches cloud tool to detect AI bias and explain automated decisions” [en línea], disponible en: https://techcrunch.com/2018/09/19/ibm-launches-cloud-tool-to-detect-ai-bias-and-explain-automated-decisions/ [consultado el 19/02/2020]. Lissén Arbeloa, J. y Guillén Monje, P., “Características, alcance de la protección conferida e implicaciones para las empresas en la nueva Ley de Secretos Empresariales”, en Diario La Ley, issn 1989-6913, 9372, 2019, pp. 1-7. Lazcoz Moratinos, G. y Castillo Parrilla, J., “Valoración algorítmica ante los derechos humanos y el Reglamento General de Protección de Datos: el caso SyRI”, en Revista Chilena de Derecho y Tecnología, 9(1), 2020, pp. 207-225. doi:10.5354/0719-2584.2020.56843. text/html Arellano Toledo, W., “El derecho a la transparencia algorítmica en Big Data e inteligencia artificial”, en Revista General de Derecho Administrativo, 50, 2019. Angwin, J.; Larson, J.; Mattu, S. & Kirchner, L., “Machine Bias.There’s software used across the country to predict future criminals. And it’s biased against blacks” [en línea], disponible en: https://www.propublica.org/article/machinebias-risk-assessments-in-criminal-sentencing [consultado el 10/01/2020]. Álvarez Valenzuela, D., “Acceso a la información pública y protección de datos personales. ¿Puede el consejo para la transparencia ser la autoridad de control en materia de protección de datos?”, en Revista de Derecho Universidad Católica del Norte, Año 23, n.º 1, 2016, pp. 51-79. Agencia Española de Protección de Datos, Adecuación al RGPD de tratamientos que incorporan Inteligencia Artificial. Una introducción. [en línea], disponible en https://www.aepd.es/sites/default/files/2020-02/adecuacion-rgpd-ia.pdf [consultado el 28/02/2020]. Access Now, Human Rights in the age of artificial intelligence. [en línea], disponible en: https://www.accessnow.org/cms/assets/uploads/2018/11/AI-and-Human-Rights.pdf [consultado el 10 de enero de 2020]. https://creativecommons.org/licenses/by-nc-sa/4.0/ Español https://revistas.uexternado.edu.co/index.php/propin/article/view/7014 Revista La Propiedad Inmaterial Centro de Estudios de la Propiedad Intelectual application/pdf Barrio, M., “Consideraciones jurídicas acerca del coche autónomo”, en Actualidad Jurídica (Uría & Menéndez) Núm. 52, 2019, pp. 101-108. Artículo de revista Núm. 30 , Año 2020 : Julio-Diciembre 30 Inteligencia artificial Decisiones automatizadas; Transparencia algorítmica; Secretos empresariales; Propiedad intelectual; Finol González, Daniel Azuaje Pirela, Michelle Este artículo analiza algunas de las tensiones que se generan entre las crecientes obligaciones de transparencia algorítmica surgidas en el marco de la cuarta revolución industrial y los derechos de propiedad intelectual e industrial, haciendo especial referencia a los secretos empresariales que puedan recaer sobre los algoritmos de inteligencia artificial utilizados para la toma de decisiones automatizadas y la realización de perfiles. En ese sentido, se aportan nuevos elementos para contribuir a la discusión sobre la problemática descrita y se proponen algunas soluciones que permitan resguardar de forma equilibrada tanto la transparencia como los derechos de propiedad intelectual e industrial, desde la perspectiva del Derecho chileno, haciendo puntuales referencias al derecho de la Unión Europea. Azuaje, M. y Finol, D., “Big Data, algoritmos y propiedad intelectual”, en Anuario de propiedad intelectual, n.º. 2016, 2017, pp. 257-275. Michelle Azuaje Pirela, Daniel Finol González - 2020 Blass, A., & Gurevich, Y., “Algorithms: A Quest for Absolute Definitions”, Bulletin of the European Association for Theoretical Computer Science, 81, 2003, pp. 195-225. Declaración de Toronto, “The Toronto Declaration: Protecting the rights to equality and non-discrimination in machine learning systems” [en línea], disponible en: https://www.accessnow.org/the-toronto-declaration-protectingthe-rights-to-equality-and-non-discrimination-in-machine-learning-systems/[consultado el 28/02/2020]. Lambrecht, A. & Tucker, C., “Apparent Algorithmic Bias and Algorithmic Learning”, 2020, ssrn: https://ssrn.com/abstract=3570076. Hagemann R. y Leclerc J., “Inteligencia artificial: un equilibrio entre la regulación y la autorregulación” [en línea], disponible en: https://www.ibm.com/blogs/policy/latin-america/2020/01/22/inteligencia-artificial-un-equilibrio-entre-laregulacion-y-la-autorregulacion/ [consultado el 04/03/2020]. Guszcza, J.; Rahwan, I.; Bible, W.; Cebrian, M. & Katyal, V., “Why We Need to Audit Algorithms”, en Harvard Business Review, 2018, [en línea], disponible en: https://hbr.org/2018/11/why-we-need-to-audit-algorithms [consultado el 04/03/2020]. Gurevich, Y., “What is an Algorithm? (Revised),” en A. Olszewski et al. (Eds.) Church’s Thesis: Logic, Mind and Nature, Copernicus Center Press, 2014, pp. 1-15. Guadamuz González, A., “Patentabilidad del software: nuevas cuestiones jurídicas”, en Revista de la ompi, 6, 2008, [en línea] disponible en: http://www.wipo.int/wipo_magazine/es/2008/06/ [consultado el 19/02/2020]. Goldenberg, J., “Herramientas del Big Data y del fintech para prevenir y aliviar el sobreendeudamiento del consumidor: una propuesta”, en Revista chilena de derecho y tecnología [en línea], vol.8, n.2, 2019, 5-32, disponible en: http://dx.doi.org/10.5354/0719-2584.2019.54051 [consultado el 19/02/2020]. Fuentes Massaguer, J., “De nuevo sobre la protección jurídica de los secretos empresariales (a propósito de la ley 1/2019, de 20 de febrero, de secretos empresariales)”, en Revista “Actualidad Jurídica Uría Menéndez”, 51, 2019, pp. 46-70. Ferrer, I., “Países Bajos veta un algoritmo acusado de estigmatizar a los más desfavorecidos” [en línea], disponible en: https://elpais.com/tecnologia/2020/02/12/actualidad/1581512850_757564.html [consultado el 19/02/2020]. Esteve Pardo, M., “El secreto profesional y la propiedad intelectual e industrial,” en inap, Los límites al derecho de acceso a la información pública, Madrid, Instituto Nacional de Administración Pública, 2017, pp. 175-183. Elsayed-Ali. S., “Artificial intelligence: how it impacts human rights and what we should do about it” [en línea], disponible en: https://medium.com/@sherifea/the-impact-of-artificial-intelligence-on-human-rights-problems-and-solutionsfd52d1ac2158 [consultado el 04/03/2020]. Domingos, P., The Master Algorithm: How the Quest for the Ultimate Learning Machine Will Remake Our World, New York, Basic Books, 2015. Buss, S.; Alexander, S.; Pillay, A. & Shore, R., “The Prospects for Mathematical Logic in the Twenty-First Century”, en The Bulletin of Symbolic Logic, 7, 2, 2001, pp. 169-196. De la Maza, I. y Momberg, R., “Términos y condiciones: acerca del supuesto carácter contractual de las autorizaciones para el tratamiento de datos personales en sitios web”, en Revista Chilena de Derecho y Tecnología, 6(2), 2017, pp. 25-55. doi:10.5354/0719-2584.2017.46226. De La Sierra, S., “Inteligencia artificial y justicia administrativa: una aproximación desde la teoría del control de la administración pública”, en Revista General de Derecho Administrativo, 53, 2020, pp. 1-19. Publication Cowgill, B., “Bias and Productivity in Humans and Machines”, 2019, SSRN: https://ssrn.com/abstract=3584916 [consultado el 28/02/2020]. Comisión europea, “White paper On Artificial Intelligence - A European approach to excellence and trust” [en línea], disponible en: https://ec.europa.eu/info/sites/info/files/commission-white-paper-artificial-intelligence-feb2020_en.pdf [consultado el 28/02/2020]. Carloni, E., “ia, algoritmos y Administración pública en Italia”, en Revista de Internet, Derecho y Política, 30, 2020, [en línea], disponible en: https://www.researchgate.net/publication/339633312_IA_algoritmos_y_Administracion_publica_en_Italia [consultado el 28/05/2020]. Cerda Silva, A., Legislación sobre protección de las personas frente al tratamiento de datos personales, Centro de Estudios en Derecho Informático, Universidad de Chile, 2012. Chen, A., “Inteligencia Artificial: El caso de la ia que intentó patentar dos inventos en su nombre”, en mit Technology Review, [en línea] disponible en: https://www.technologyreview.es/s/11776/el-caso-de-la-ia-que-intento-patentar-dosinventos-en-su-nombre [consultado el 19/08/2020]. Chowdhury, R. & Mulani, N., “Auditing Algorithms for Bias”, [en línea] disponible en: https://hbr.org/2018/10/auditing-algorithms-for-bias [consultado el 28/02/2020]. Comisión europea, “Directrices éticas para una ia fiable. Grupo de expertos de alto nivel sobre inteligencia artificial” [en línea], disponible en: https://ec.europa.eu/futurium/en/ai-alliance-consultation/guidelines#Top consultado el 27/02/2020]. Clarke, L., “IBM’S AI toolkit will help developers fight bias in AI”, [en línea], disponible en: https://www.techworld.com/developers/how-ibms-ai-toolkitwill-help-developers-fight-bias-in-ai-3686831/ [consultado el 28/02/2020]. Cotino Hueso, L. “Big data e inteligencia artificial. Una aproximación a su tratamiento jurídico desde los derechos fundamentales”, Dilemata, 24, 2017, [en línea], disponible en: https://ssrn.com/abstract=3413277 [consultado el 28/02/2020]. Algorithmic Transparency; Algorithmic transparency and intelectual property: tensions and solutions This article analyzes some of the tensions between the algorithmic transparency obligations that arose in the framework of the fourth industrial revolution, and intellectual property rights, making special reference to the trade secrets that may apply to artificial intelligence algorithms used for automated decision making and profiling. In this sense, new elements are provided to contribute to the discussion on the problem described and some solutions are proposed that allow for the balanced safeguarding of both: transparency, and intellectual and industrial property rights, from the perspective of Chilean law, making specific references to the law of the European Union. Intellectual Property; Artificial Intelligence. Trade Secrets; Journal article Automated Decisions; https://doi.org/10.18601/16571959.n30.05 2346-2116 2020-12-11 https://revistas.uexternado.edu.co/index.php/propin/article/download/7014/9732 https://revistas.uexternado.edu.co/index.php/propin/article/download/7014/9578 10.18601/16571959.n30.05 1657-1959 146 111 2020-12-11T14:05:22Z 2020-12-11T14:05:22Z |
institution |
UNIVERSIDAD EXTERNADO DE COLOMBIA |
thumbnail |
https://nuevo.metarevistas.org/UNIVERSIDADEXTERNADODECOLOMBIA/logo.png |
country_str |
Colombia |
collection |
Revista La Propiedad Inmaterial |
title |
Transparencia algorítmica y la propiedad intelectual e industrial: tensiones y soluciones |
spellingShingle |
Transparencia algorítmica y la propiedad intelectual e industrial: tensiones y soluciones Finol González, Daniel Azuaje Pirela, Michelle Inteligencia artificial Decisiones automatizadas; Transparencia algorítmica; Secretos empresariales; Propiedad intelectual; Algorithmic Transparency; Intellectual Property; Artificial Intelligence. Trade Secrets; Automated Decisions; |
title_short |
Transparencia algorítmica y la propiedad intelectual e industrial: tensiones y soluciones |
title_full |
Transparencia algorítmica y la propiedad intelectual e industrial: tensiones y soluciones |
title_fullStr |
Transparencia algorítmica y la propiedad intelectual e industrial: tensiones y soluciones |
title_full_unstemmed |
Transparencia algorítmica y la propiedad intelectual e industrial: tensiones y soluciones |
title_sort |
transparencia algorítmica y la propiedad intelectual e industrial: tensiones y soluciones |
title_eng |
Algorithmic transparency and intelectual property: tensions and solutions |
description |
Este artículo analiza algunas de las tensiones que se generan entre las crecientes obligaciones de transparencia algorítmica surgidas en el marco de la cuarta revolución industrial y los derechos de propiedad intelectual e industrial, haciendo especial referencia a los secretos empresariales que puedan recaer sobre los algoritmos de inteligencia artificial utilizados para la toma de decisiones automatizadas y la realización de perfiles. En ese sentido, se aportan nuevos elementos para contribuir a la discusión sobre la problemática descrita y se proponen algunas soluciones que permitan resguardar de forma equilibrada tanto la transparencia como los derechos de propiedad intelectual e industrial, desde la perspectiva del Derecho chileno, haciendo puntuales referencias al derecho de la Unión Europea.
|
description_eng |
This article analyzes some of the tensions between the algorithmic transparency obligations that arose in the framework of the fourth industrial revolution, and intellectual property rights, making special reference to the trade secrets that may apply to artificial intelligence algorithms used for automated decision making and profiling. In this sense, new elements are provided to contribute to the discussion on the problem described and some solutions are proposed that allow for the balanced safeguarding of both: transparency, and intellectual and industrial property rights, from the perspective of Chilean law, making specific references to the law of the European Union.
|
author |
Finol González, Daniel Azuaje Pirela, Michelle |
author_facet |
Finol González, Daniel Azuaje Pirela, Michelle |
topicspa_str_mv |
Inteligencia artificial Decisiones automatizadas; Transparencia algorítmica; Secretos empresariales; Propiedad intelectual; |
topic |
Inteligencia artificial Decisiones automatizadas; Transparencia algorítmica; Secretos empresariales; Propiedad intelectual; Algorithmic Transparency; Intellectual Property; Artificial Intelligence. Trade Secrets; Automated Decisions; |
topic_facet |
Inteligencia artificial Decisiones automatizadas; Transparencia algorítmica; Secretos empresariales; Propiedad intelectual; Algorithmic Transparency; Intellectual Property; Artificial Intelligence. Trade Secrets; Automated Decisions; |
citationissue |
30 |
citationedition |
Núm. 30 , Año 2020 : Julio-Diciembre |
publisher |
Centro de Estudios de la Propiedad Intelectual |
ispartofjournal |
Revista La Propiedad Inmaterial |
source |
https://revistas.uexternado.edu.co/index.php/propin/article/view/7014 |
language |
Español |
format |
Article |
rights |
http://purl.org/coar/access_right/c_abf2 info:eu-repo/semantics/openAccess https://creativecommons.org/licenses/by-nc-sa/4.0/ Michelle Azuaje Pirela, Daniel Finol González - 2020 |
references |
Organización Mundial de la Propiedad Intelectual (ompi), “Draft Issues Paper on Intellectual Property Policy and Artificial Intelligence”. [en línea], disponible en: https://www.wipo.int/meetings/en/doc_details.jsp?doc_id=470053 [consultado el 18/05/2020]. Schmitz Vaccaro, C., “Secretos empresariales en Chile: medidas de protección”, en Revista Internacional Foro de Derecho Mercantil, 37, 2012, pp. 13-41. Schmitz Vaccaro, C., “Propiedad intelectual, dominio público y equilibrio de intereses”, en Revista Chilena de Derecho, vol. 36 n.º 2, 2010, pp. 343-367. Searle, J., “Minds, brains, and programs”. en Behavioral and Brain Sciences 3 (3), 1980, pp. 417-457. doi: https://doi.org/10.1017/S0140525X00005756. Rubinstein, I., “Big Data: The End of Privacy or a New Beginning?”, en International Data Privacy Law, nyu School of Law, Public Law Research Paper, 2013, pp. 12-56. ssrn. Russell, S. & Norvig, P., Artificial intelligence: a modern approach. Upper Saddle River, N.J.: Prentice Hall, 2010. Rogel Vide, C., “Robots y personas”, en Rogel Vide, C. (Ed.), Los robots y el Derecho Madrid, Reus, 2018, pp. 7-23. Rogel Vide, C. y Serrano Gómez, E., Manual de Derecho de Autor. Madrid, Reus, 2008. Ríos Ruiz, W., “Los sistemas de inteligencia artificial y la propiedad intelectual de las obras creadas, producidas o generadas mediante ordenador”, Revista la propiedad inmaterial, n.º. 3, 2001, pp. 5-13. Pérez Sanz, C., “Aspectos legales del Big Data”, en Índice: Revista de Estadística y Sociedad, 68, 2016, pp. 18-21. Peña Torres, M., “Protección constitucional del secreto industrial”, en Revista Chilena de Derecho, 28, 2, 2001, pp. 413-424. Pasquale, F., The Black Box Society: The Secret Algorithms That Control Money and Information, Londres, Harvard University Press, 2015. Parlamento Europeo, Resolución de 14 de marzo de 2017, sobre las implicaciones de los macrodatos en los derechos fundamentales: privacidad, protección de datos, no discriminación, seguridad y aplicación de la ley (2016/2225(ini)). Otero González, L. y Durán Santomil, P., “Fintech, blockchain y big data”, en García Novoa, César y Santiago Iglesias, Diana (Dir.), 4ª Revolución industrial: impacto de la automatización y la Inteligencia artificial en la Sociedad y la economía digital, Pamplona, Thomson Reuters Aranzadi, 2018, pp. 81-113. Organización Mundial de la Propiedad Intelectual (ompi), “Public Consultation on AI and IP Policy - Submissions. Query: Chile”, [en línea], disponible en: https://www.wipo.int/about-ip/en/artificial_intelligence/submissions- [consultado el 18/05/2020].search.jsp?type_id=&territory_id=36&issue_id= O’Neil, C., Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy, New York, Crown, 2016. Sunstein, C., “Algorithms, Correcting Biases”, [en línea], Forthcoming, Social Research, 2018, ssrn: https://ssrn.com/abstract=3300171 [consultado el 26/02/2020]. Navas Navarro, S., “Creación Original e Inteligencia Artificial” en Navas Navarro, Susana (Dir.), Nuevos desafíos para el Derecho de Autor. Robótica, Inteligencia Artificial, Tecnología, Madrid, Reus, 2019, pp. 27-45. Navas Navarro, S., “Obras generadas por algoritmos. En torno a su posible protección jurídica”, en Revista de Derecho Civil, vol. v, núm. 2018, pp. 273-291. Navas Navarro, S., “Derecho e inteligencia artificial desde el diseño”, en Navas Navarro, Susana (coord.), Inteligencia artificial: tecnología, derecho, Valencia, Tirant Lo Blanch, 2017, pp. 23-72. Myers West, S.; Whittaker, M.; Crawford, K., “Discriminating systems: Gender, Race, and Power in AI” https://ainowinstitute.org/discriminatingsystems.pdf [consultado el 04/03/2020]. Moschovakis, Y., “What is an algorithm?”, en Engquist, B., & Schmid, W. (Eds.) Mathematics Unlimited — 2001 and beyond, Part ii, Springer, 2001, pp. 919-936. Montoya, A.; Parrado, E.; Solís, A.; Undurraga, R., Documento de Trabajo n.º 03/20: Discriminación de género en el mercado de créditos de consumo. [en línea], disponible en https://www.sbif.cl/sbifweb3/internet/archivos/publicacion_12587.pdf [consultado el 26/02/2020]. Molina Hernández, C., “La protección de secretos empresariales,” en Campuzano, A., Palomar Olmeda, A., San Juan y Muñoz, E.; Molina Hernández, C., La protección de secretos empresariales, Valencia: Tirant Lo Blanch, 2019, pp. 39-48. Mittelstadt, B.; Allo, P.; Taddeo, M.; Wachter, S. & Floridi, L., “The Ethics of Algorithms: Mapping the Debate”, Big Data & Society. 3(2), 2016, [en línea], disponible en: 10.1177/2053951716679679 [consultado el 26/02/2020]. Mayer-Schönberger, V., & Cukier, K., “The Dictatorship of Data”, en mit Technology Review, [en línea] disponible en: https://www.technologyreview.com/s/514591/the-dictatorship-of-data/ [consultado el 19/02/2020]. Matus, J., “Derecho de acceso a la información pública y protección de datos personales”, en Revista Chilena de Derecho y Tecnología, 2(1), 2013, pp. 197-228. doi:10.5354/0719-2584.2013.26959. Martínez Martínez, R., “Designing artificial intelligence. Challenges and strategies for achieving regulatory compliance”, en Revista Catalana de Dret Públic, 58, 2019, pp. 64-81. https://doi.org/10.2436/rcdp.i58.2019.3317. Malik, M., “Can algorithms themselves be biased?” [en línea], disponible en: https://medium.com/berkman-klein-center/can-algorithms-themselves-bebiased-cffecbf2302c [consultado el 19/02/2020]. McCarthy, J., “What is artificial intelligence?”, [en línea] disponible en: http://www-formal.stanford.edu/jmc/whatisai/ [consultado el 19/02/2020]. López de Mántaras, R., “¿Hacia una nueva Ilustración? Una década trascendente. El futuro de la ia: hacia inteligencias artificiales realmente inteligentes”, [en línea], disponible en: https://www.bbvaopenmind.com/articulos/el-futurode-la-ia-hacia-inteligencias-artificiales-realmente-inteligentes/ [consultado el 19/02/2020]. Solove, D., “Autogestión de la privacidad y el dilema del consentimiento”, en Revista Chilena de Derecho y Tecnología, 2(2), 2013, 11-47. doi:10.5354/0719-2584.2013.30308. Ureña, R., “Autoridad algorítmica: ¿cómo empezar a pensar la protección de los derechos humanos en la era del “big data”?”, en Latin American Law Review, 2, 2019, pp. 99-124. doi.org/10.29263/lar02.2019.05. Lipszyc, D., Derecho de Autor y Derechos Conexos, Buenos Aires, Unesco, 2002. Directiva (UE) 2016/943, de 8 de junio de 2016, relativa a la protección de los conocimientos técnicos y la información empresarial no divulgados (secretos comerciales) contra su obtención, utilización y revelación ilícitas, [en línea], disponible en: https://eur-lex.europa.eu/legal-content/ES/TXT/?uri=celex%3A32016L0943 [consultado el 19/09/2019]. Intellectual Property Office, 04 de diciembre de 2019, bl O/741/19, [en línea], disponible en: https://www.ipo.gov.uk/p-challenge-decision-results/o74119.pdf [consultado el 29/04/2020]. European Patent Office (epo), “Grounds for the decision (Annex) Application Nr.18 275 163.6”, [en línea], disponible en: https://register.epo.org/application?documentId=E4B63SD62191498&number=EP18275163&lng=en&npl=false [consultado el 29/04/2020]. European Patent Office (epo), “Grounds for the decision (Annex) Application Nr.18275174.3”, [en línea], disponible en: https://register.epo.org/application?documentId=E4B63OBI2076498&number=EP18275174&lng=en&npl=false [consultado el 29/04/2020]. Consejo para la Transparencia, 17 de noviembre de 2017, Decisión amparo Rol C2727-17. Consejo para la Transparencia, 14 de octubre de 2011, Decisión amparo Rol C428-11. Directrices sobre decisiones individuales automatizadas y elaboración de perfiles a los efectos del Reglamento 2016/679, 2017, Grupo de Trabajo sobre Protección de Datos del Artículo 29. Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo, de 27 de abril de 2016, relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos y por el que se deroga la Directiva 95/46/ce (Reglamento general de protección de datos) [en línea], disponible en: http://eur-lex.europa.eu/legal-content/ES/TXT/?uri=uriserv:OJ.L_.2016.119.01.0001.01.SPA&toc=OJ:L:2016:119:TOC [consultado el 15/01/2020]. Ustarán, E. y García, P., “Transferencias internacionales de datos”, en Rallo Lombarte, A. (Dir.), Tratado de Protección de Datos. Tirant lo Blanch, 2019, pp. 459-490. Decreto Ley n.º 211 (07/03/2005) Que fija el texto refundido, coordinado y sistematizado del decreto ley nº 211, de 1973. Velasco, P. y Viollier, P., “Información financiera y discriminación laboral en Chile: un caso de estudio sobre Big Data”, en Derechos Digitales [en línea], disponible en: https://www.derechosdigitales.org/wp-content/uploads/bigdata-informe.pdf [consultado el 26/02/2020]. Vergara, M., “Chile: Comentarios preliminares al proyecto de ley que regula la protección y tratamiento de datos personales y crea la Agencia de Protección de Datos Personales”, en Revista Chilena de Derecho y Tecnología, 6(2), 2017, pp. 135-152. doi:10.5354/0719-2584.2017.45822. Viguri Cordero, J., “La implementación de nuevos esquemas de certificación en la ue como garantía de protección de los derechos fundamentales de consumidores y usuarios (especial referencia a la protección de datos personales)”, en Revista cesco de Derecho de Consumo, n.° 19, 2016, pp. 28-40, [en línea], disponible en: https://dialnet.unirioja.es/servlet/articulo?codigo=5807262 [consultado el 10/01/2020]. Viollier, P., “El Estado de la Protección de Datos Personales en Chile. Derechos Digitales” [en línea], disponible en: https://www.derechosdigitales.org/wpcontent/uploads/PVB-datos-int.pdf [consultado el 15/01/2020]. Wachter, S., Mittelstadt, B. & Floridi, L., “Why a Right to Explanation of Automated Decision-Making Does Not Exist in the General Data Protection Regulation”, en International Data Privacy Law, 2017, ssrn: https://ssrn.com/abstract=2903469. Decreto Supremo n.° 100 (22/09/2005) Constitución Política de la República de Chile. Ley 17.336 (02/10/1970) De propiedad intelectual. Acuerdo sobre los Aspectos de los Derechos de Propiedad Intelectual relacionados con el Comercio. Organización Mundial del Comercio. Disponible en: https://www.wto.org/spanish/docs_s/legal_s/legal_s.htm#TRIPs. Por Chile: Acuerdo de Marrakech por el que se establece la Organización Mundial del Comercio, y los acuerdos anexos que se indican. Decreto Supremo n.º 16, de 1995, del Ministerio de Relaciones Exteriores de Chile, publicado en el Diario Oficial n.º 35.169 de 17 de mayo de 1995. Ley 19.039 (25/01/1991) De propiedad Industrial. Ley 19.628 (28/08/1999) Sobre Protección de la Vida Privada. Ley 20.285 (20/08/2008) Sobre acceso a la información pública. Ley 20.609 (24/07/2012) Que establece medidas contra la discriminación. Ley 21.096 (16/06/2018) Que consagra el derecho a protección de los datos personales. Ley 1/2019 (20/02/2019) de Secretos Empresariales. Boletín Oficial del Estado Numero 45, de 21 de febrero de 2019. Lomas, N., “ibm launches cloud tool to detect AI bias and explain automated decisions” [en línea], disponible en: https://techcrunch.com/2018/09/19/ibm-launches-cloud-tool-to-detect-ai-bias-and-explain-automated-decisions/ [consultado el 19/02/2020]. Lissén Arbeloa, J. y Guillén Monje, P., “Características, alcance de la protección conferida e implicaciones para las empresas en la nueva Ley de Secretos Empresariales”, en Diario La Ley, issn 1989-6913, 9372, 2019, pp. 1-7. Lazcoz Moratinos, G. y Castillo Parrilla, J., “Valoración algorítmica ante los derechos humanos y el Reglamento General de Protección de Datos: el caso SyRI”, en Revista Chilena de Derecho y Tecnología, 9(1), 2020, pp. 207-225. doi:10.5354/0719-2584.2020.56843. Arellano Toledo, W., “El derecho a la transparencia algorítmica en Big Data e inteligencia artificial”, en Revista General de Derecho Administrativo, 50, 2019. Angwin, J.; Larson, J.; Mattu, S. & Kirchner, L., “Machine Bias.There’s software used across the country to predict future criminals. And it’s biased against blacks” [en línea], disponible en: https://www.propublica.org/article/machinebias-risk-assessments-in-criminal-sentencing [consultado el 10/01/2020]. Álvarez Valenzuela, D., “Acceso a la información pública y protección de datos personales. ¿Puede el consejo para la transparencia ser la autoridad de control en materia de protección de datos?”, en Revista de Derecho Universidad Católica del Norte, Año 23, n.º 1, 2016, pp. 51-79. Agencia Española de Protección de Datos, Adecuación al RGPD de tratamientos que incorporan Inteligencia Artificial. Una introducción. [en línea], disponible en https://www.aepd.es/sites/default/files/2020-02/adecuacion-rgpd-ia.pdf [consultado el 28/02/2020]. Access Now, Human Rights in the age of artificial intelligence. [en línea], disponible en: https://www.accessnow.org/cms/assets/uploads/2018/11/AI-and-Human-Rights.pdf [consultado el 10 de enero de 2020]. Barrio, M., “Consideraciones jurídicas acerca del coche autónomo”, en Actualidad Jurídica (Uría & Menéndez) Núm. 52, 2019, pp. 101-108. Azuaje, M. y Finol, D., “Big Data, algoritmos y propiedad intelectual”, en Anuario de propiedad intelectual, n.º. 2016, 2017, pp. 257-275. Blass, A., & Gurevich, Y., “Algorithms: A Quest for Absolute Definitions”, Bulletin of the European Association for Theoretical Computer Science, 81, 2003, pp. 195-225. Declaración de Toronto, “The Toronto Declaration: Protecting the rights to equality and non-discrimination in machine learning systems” [en línea], disponible en: https://www.accessnow.org/the-toronto-declaration-protectingthe-rights-to-equality-and-non-discrimination-in-machine-learning-systems/[consultado el 28/02/2020]. Lambrecht, A. & Tucker, C., “Apparent Algorithmic Bias and Algorithmic Learning”, 2020, ssrn: https://ssrn.com/abstract=3570076. Hagemann R. y Leclerc J., “Inteligencia artificial: un equilibrio entre la regulación y la autorregulación” [en línea], disponible en: https://www.ibm.com/blogs/policy/latin-america/2020/01/22/inteligencia-artificial-un-equilibrio-entre-laregulacion-y-la-autorregulacion/ [consultado el 04/03/2020]. Guszcza, J.; Rahwan, I.; Bible, W.; Cebrian, M. & Katyal, V., “Why We Need to Audit Algorithms”, en Harvard Business Review, 2018, [en línea], disponible en: https://hbr.org/2018/11/why-we-need-to-audit-algorithms [consultado el 04/03/2020]. Gurevich, Y., “What is an Algorithm? (Revised),” en A. Olszewski et al. (Eds.) Church’s Thesis: Logic, Mind and Nature, Copernicus Center Press, 2014, pp. 1-15. Guadamuz González, A., “Patentabilidad del software: nuevas cuestiones jurídicas”, en Revista de la ompi, 6, 2008, [en línea] disponible en: http://www.wipo.int/wipo_magazine/es/2008/06/ [consultado el 19/02/2020]. Goldenberg, J., “Herramientas del Big Data y del fintech para prevenir y aliviar el sobreendeudamiento del consumidor: una propuesta”, en Revista chilena de derecho y tecnología [en línea], vol.8, n.2, 2019, 5-32, disponible en: http://dx.doi.org/10.5354/0719-2584.2019.54051 [consultado el 19/02/2020]. Fuentes Massaguer, J., “De nuevo sobre la protección jurídica de los secretos empresariales (a propósito de la ley 1/2019, de 20 de febrero, de secretos empresariales)”, en Revista “Actualidad Jurídica Uría Menéndez”, 51, 2019, pp. 46-70. Ferrer, I., “Países Bajos veta un algoritmo acusado de estigmatizar a los más desfavorecidos” [en línea], disponible en: https://elpais.com/tecnologia/2020/02/12/actualidad/1581512850_757564.html [consultado el 19/02/2020]. Esteve Pardo, M., “El secreto profesional y la propiedad intelectual e industrial,” en inap, Los límites al derecho de acceso a la información pública, Madrid, Instituto Nacional de Administración Pública, 2017, pp. 175-183. Elsayed-Ali. S., “Artificial intelligence: how it impacts human rights and what we should do about it” [en línea], disponible en: https://medium.com/@sherifea/the-impact-of-artificial-intelligence-on-human-rights-problems-and-solutionsfd52d1ac2158 [consultado el 04/03/2020]. Domingos, P., The Master Algorithm: How the Quest for the Ultimate Learning Machine Will Remake Our World, New York, Basic Books, 2015. Buss, S.; Alexander, S.; Pillay, A. & Shore, R., “The Prospects for Mathematical Logic in the Twenty-First Century”, en The Bulletin of Symbolic Logic, 7, 2, 2001, pp. 169-196. De la Maza, I. y Momberg, R., “Términos y condiciones: acerca del supuesto carácter contractual de las autorizaciones para el tratamiento de datos personales en sitios web”, en Revista Chilena de Derecho y Tecnología, 6(2), 2017, pp. 25-55. doi:10.5354/0719-2584.2017.46226. De La Sierra, S., “Inteligencia artificial y justicia administrativa: una aproximación desde la teoría del control de la administración pública”, en Revista General de Derecho Administrativo, 53, 2020, pp. 1-19. Cowgill, B., “Bias and Productivity in Humans and Machines”, 2019, SSRN: https://ssrn.com/abstract=3584916 [consultado el 28/02/2020]. Comisión europea, “White paper On Artificial Intelligence - A European approach to excellence and trust” [en línea], disponible en: https://ec.europa.eu/info/sites/info/files/commission-white-paper-artificial-intelligence-feb2020_en.pdf [consultado el 28/02/2020]. Carloni, E., “ia, algoritmos y Administración pública en Italia”, en Revista de Internet, Derecho y Política, 30, 2020, [en línea], disponible en: https://www.researchgate.net/publication/339633312_IA_algoritmos_y_Administracion_publica_en_Italia [consultado el 28/05/2020]. Cerda Silva, A., Legislación sobre protección de las personas frente al tratamiento de datos personales, Centro de Estudios en Derecho Informático, Universidad de Chile, 2012. Chen, A., “Inteligencia Artificial: El caso de la ia que intentó patentar dos inventos en su nombre”, en mit Technology Review, [en línea] disponible en: https://www.technologyreview.es/s/11776/el-caso-de-la-ia-que-intento-patentar-dosinventos-en-su-nombre [consultado el 19/08/2020]. Chowdhury, R. & Mulani, N., “Auditing Algorithms for Bias”, [en línea] disponible en: https://hbr.org/2018/10/auditing-algorithms-for-bias [consultado el 28/02/2020]. Comisión europea, “Directrices éticas para una ia fiable. Grupo de expertos de alto nivel sobre inteligencia artificial” [en línea], disponible en: https://ec.europa.eu/futurium/en/ai-alliance-consultation/guidelines#Top consultado el 27/02/2020]. Clarke, L., “IBM’S AI toolkit will help developers fight bias in AI”, [en línea], disponible en: https://www.techworld.com/developers/how-ibms-ai-toolkitwill-help-developers-fight-bias-in-ai-3686831/ [consultado el 28/02/2020]. Cotino Hueso, L. “Big data e inteligencia artificial. Una aproximación a su tratamiento jurídico desde los derechos fundamentales”, Dilemata, 24, 2017, [en línea], disponible en: https://ssrn.com/abstract=3413277 [consultado el 28/02/2020]. |
type_driver |
info:eu-repo/semantics/article |
type_coar |
http://purl.org/coar/resource_type/c_6501 |
type_version |
info:eu-repo/semantics/publishedVersion |
type_coarversion |
http://purl.org/coar/version/c_970fb48d4fbd8a85 |
type_content |
Text |
publishDate |
2020-12-11 |
date_accessioned |
2020-12-11T14:05:22Z |
date_available |
2020-12-11T14:05:22Z |
url |
https://revistas.uexternado.edu.co/index.php/propin/article/view/7014 |
url_doi |
https://doi.org/10.18601/16571959.n30.05 |
issn |
1657-1959 |
eissn |
2346-2116 |
doi |
10.18601/16571959.n30.05 |
citationstartpage |
111 |
citationendpage |
146 |
url3_str_mv |
https://revistas.uexternado.edu.co/index.php/propin/article/download/7014/9732 |
url2_str_mv |
https://revistas.uexternado.edu.co/index.php/propin/article/download/7014/9578 |
_version_ |
1797157762850881536 |