Articulos

Desarrollo de Modelo integral de Autoevaluación en una Institución de Educación Superior

http://orcid.org/https://orcid.org/0000-0001-8448-9891 Andrea del Pilar Vera Silva
Escuela Colombiana de Ingeniería Julio Garavito (Bogotá, Colombia), Colombia
http://orcid.org/https://orcid.org/0000-0001-5866-078X Ivonne Angélica Castiblanco Jiménez
Escuela Colombiana de Ingeniería Julio Garavito (Bogotá, Colombia), Colombia
http://orcid.org/https://orcid.org/0000-0002-5343-9055 Joan Paola Cruz González
Escuela Colombiana de Ingeniería Julio Garavito (Bogotá, Colombia), Colombia

Desarrollo de Modelo integral de Autoevaluación en una Institución de Educación Superior

Praxis & Saber, vol. 9, núm. 21, 2018

Universidad Pedagógica y Tecnológica de Colombia

Por medio del presente documento autorizo a la Revista PRAXIS & SABER de la Universidad Pedagógica y Tecnológica de Colombia, publicar y difundir a través de medios impresos o electrónicos el artículo anteriormente descrito.

Recepción: 05 Enero 2018

Aprobación: 18 Julio 2018

Resumen: La calidad en educación superior se aprecia en los sistemas de aseguramiento de la calidad, a través de procesos de autoevaluación. Para una institución de educación superior [IES] es un proceso de participación activa de los stakeholders en la identificación de las fortalezas y oportunidades de mejoramiento, tanto de la institución como de sus programas académicos, encaminados al cumplimiento de su misión y permanente mejoramiento. Esta investigación tiene como objetivo dar respuesta a los procesos de autoevaluación contenidos en la legislación colombiana, integrando los modelos de autoevaluación y los requisitos de la Organización Internacional de Normalización NTC-ISO 9001:2015. Para esto se hace uso de la metodología de desarrollo de producto de Schnarch aplicada en el desarrollo de un modelo integral de autoevaluación para la Escuela Colombiana de Ingeniería Julio Garavito. El estudio permitió una caracterización y diagnóstico del proceso de autoevaluación en los stakeholders a través de la metodología de dinámica de sistemas para desarrollar un modelo que permita a las IES abordar los procesos de autorregulación, de registro calificado, acreditación institucional, de programas académicos y sus respectivas renovaciones.

Palabras clave: calidad de la educación, autoevaluación, norma académica, sistema educativo.

Abstract: Quality in higher education is estimated by quality assurance systems using self-assessment processes. Higher Education Institutions (HEIs) conceive it as a stakeholders’ active participation process of identifying strengths and possibilities for improvement both for institutions and for academic programs aimed at the fulfillment of their mission and continued improvement. This research seeks to respond to the self-assessment processes contained in Colombian legislation by integrating the self-assessment models and requirements of the ISO 9001:2015 standard defined by the International Organization for Standardization. To this end, the Schnarch’s product development method is applied in the development of a comprehensive model of self-assessment for the Colombian School of Engineering Julio Garavito. This study allowed for a characterization and diagnosis of the self-assessment process by stakeholders through the system dynamics methodology in order to develop a model enabling HEIs to address self-regulation, government approval, and institutional and academic programs accreditation processes, as well as their respective renewals.

Keywords: quality of education, self-assessment, academic standard, education system.

Résumé: La qualité dans l’enseignement supérieur est estimée par des systèmes d’assurance de la qualité, à travers des processus d’autoévaluation. Les Institutions d’Enseignement Supérieur (IES) la conçoit comme un processus de participation active des intervenants à l’identification des points forts et des opportunités d’amélioration pour les Institutions et leurs programmes académiques qui visent à l’accomplissement de leur mission et à l’amélioration permanente. Ce projet de recherche a pour objectif de répondre aux processus d’autoévaluation contenus dans la législation colombienne en intégrant les modèles d’autoévaluation et les exigences relatives à la norme ISO 9001:2015 de l’Organisation Internationale de Normalisation. Pour ce faire, la méthodologie de développement de produits de Schnarch est appliquée dans le développement d’un modèle exhaustif d’autoévaluation pour l’École Colombienne d’Ingénieurs Julio Garavito. Cette étude a permis la caractérisation et le diagnostic du processus d’autoévaluation des intervenants au moyen de la méthode de la dynamique des systèmes, afin de développer un modèle permettant aux IES d’aborder les processus d’autorégulation, d’approbation du gouvernement, d’accréditation des institutions et de leurs programmes académiques, ainsi que les renouvellements respectifs.

Mots clés: qualité de l’éducation, autoévaluation, norme académique, système éducatif.

Resumo: A qualidade da educação superior pode ser vista nos sistemas de garantia da qualidade, através de um processo de auto-avaliação. Para uma instituição de educação superior [IES] é um processo de participação ativa dos stakeholders na identificação de pontos fortes e oportunidades de melhoria, tanto da instituição como de seus programas acadêmicos, encaminhados ao cumprimento de sua missão e melhoria permanente. Esta pesquisa tem como objetivo dar resposta aos processos de auto-avaliação contidos na legislação colombiana, integrando modelos de auto-avaliação e os requisitos da Organização Internacional de Normalização NTC-ISO 9001:2015. Por isso se faz uso da metodologia de desenvolvimento de produto de Schnarch aplicado no desenvolvimento de um modelo integral de auto-avaliação para a Escola Colombiana de Engenharia Julio Garavito. O estudo permitiu uma caracterização e diagnóstico do processo de auto-avaliação nos stakeholders através da metodologia da dinâmica de sistemas para desenvolver um modelo que permita às IES abordar processos de auto-regulação, de registro qualificado, acreditação institucional, programas acadêmicos e suas respectivas renovações.

Palavras-chave: qualidade da educação, autoavaliação, norma acadêmica, sistema educativo.

Introducción

Las instituciones de educación superior [IES] hoy tienen que estar a la vanguardia de los cambios tecnológicos y de las tendencias mundiales sobre el desarrollo del conocimiento, la adaptación eficiente y contundente (Consorcio de Universidades, 2005; Villagómez, 2015). Las IES contribuyen a la vida personal y profesional de estudiantes al lograr desarrollo en el intelecto, en el ámbito económico y cultural de sus comunidades (Brent, 2007). Esta situación hace que los procesos de autoevaluación y autorregulación tomen fuerza como motores para el desarrollo de sus funciones misionales, dado que permiten evidenciar las fortalezas y oportunidades de mejora tanto de las instituciones como de los programas académicos (Arango, 2004).

La metodología de proyectos formativos contempla la implementación de diferentes tipos de evaluación: autoevaluación, coevaluación y heteroevaluación (Álvarez 2008 en Cardona, Jaramillo & Navarro, 2016). En Colombia, el proceso de autoevaluación inicia con la Ley 30 de 1992, por la cual se establece el sistema de educación y los sistemas nacionales de acreditación e información. Para acreditación, se debe cumplir con los lineamientos definidos por el Consejo Nacional de Acreditación [CNA], los cuales deben ser correspondientes con la misión de la IES, su proyecto educativo institucional y el proyecto educativo del programa, en caso de la autoevaluación de un programa académico. En este proceso, la institución, o el programa, refleja la evolución, los logros, la planeación y gestión que ha desarrollado a través de un periodo de tiempo (Parada, 2016;Rosas & Sánchez, 2016; Vicerrectoría Departamento de Planeación Académica y Aseguramiento de la Calidad, 2010).

En este sentido, las IES, no solo para dar respuesta al CNA, sino al Ministerio de Educación Nacional [MEN] (2016), han construido diferentes modelos de autoevaluación como: acreditación de programas, acreditación institucional, renovación del registro calificado y autorregulación. Este proceso se entiende como el mejoramiento continuo al reconocer sus fortalezas y oportunidades de mejora mediante mecanismos apropiados por los stakeholders (López & Mejía, 2016; Toro & Peláez, 2018). Por lo anterior, el propósito de este artículo es el desarrollo de un modelo integral de autoevaluación que aborde los diferentes fines del proceso de autoevaluación.

El análisis de información para el artículo fue desarrollado mediante la investigación-acción, un tipo de investigación cualitativa que permite encontrar soluciones y analizar el comportamiento de una población específica. Como muestra se tomaron los stakeholders, personas que han sido líderes en los procesos de autoevaluación de la Escuela Colombiana de Ingeniería Julio Garavito, tales como: personal directivo, profesores, decanos y el equipo de la Oficina de Desarrollo Institucional de la Escuela. La muestra piloto fue de 15 personas.

El artículo se estructura de la siguiente manera. En la primera sección se presenta la metodología empleada, la cual consistió en la adaptación de la metodología de desarrollo de producto de Schnarch (2016), cuyas fases son: validación de la idea, especificación y diseño, y diseño conceptual. Es importante indicar que en la metodología se incluyó la herramienta de dinámica de sistemas como variación importante y novedosa para obtener mejores resultados en la primera fase, validación de la idea de los stakeholders. En la segunda sección se muestran los resultados de la segunda y tercera fase: especificación y diseño y diseño conceptual, respectivamente. En la última sección, se encuentran las conclusiones y recomendaciones del proyecto de investigación.

Metodología

Modelo se puede entender de diversas maneras, dependiendo del contexto, las necesidades, propósitos y objetivos de la organización o institución (Vargas, 2004). Aquí será entendido con la definición del diccionario de uso de español de Moliner: “cosa en la que alguien se fija para hacer otra igual” (1992). Las empresas tienen que enfrentarse a un mercado globalizado, altamente competitivo y cambiante. Si se diera una estrecha relación entre las organizaciones y la universidad, ambas partes podrían lograr beneficios obteniendo profesionales competitivos, conocedores de la realidad práctica de la economía, del entorno y de herramientas para obtener altos niveles de rentabilidad (Hernández & Mosquera, 2016). Por lo cual, el desarrollo del modelo comprenderá los principios, factores y los lineamientos para construir los indicadores, dado que en el alcance del proyecto no se encuentra la implementación del modelo, lo cual incluiría las características, aspectos a evaluar e indicadores.

La construcción del modelo de autoevaluación institucional se realizó a través de la adaptación de la metodología de desarrollo de producto de Schnarch. Las modificaciones consistieron en el cambio de nombre de sus fases, en la implementación y orden, esto también teniendo en cuenta la metodología de desarrollo de producto de Eppinger y Ulrich (2012). En este sentido, la primera fase, validación de la idea, ahora es identificación de las necesidades; la segunda, especificaciones y diseño, es especificaciones; la tercera, diseño conceptual, se mantiene igual; la cuarta y quinta fase, producción y pruebas de prototipo y capacidad de producción, no se utilizarán como parte de la metodología, dado que no están en el alcance del desarrollo del modelo.

El desarrollo de la primera fase consistió en la identificación de las necesidades de los stakeholders —personas que han sido líderes en los procesos de autoevaluación, decanos, profesores, directivos y vicerrectora académica— por medio de la herramienta de dinámica de sistemas, la cual facilita la identificación del problema, que para este caso fue el comportamiento de los stakeholders frente a los procesos de autoevaluación, de la cual se obtuvo un diagrama causal que describe su comportamiento (Vera, Castiblanco & Cruz, 2017). Al identificar las necesidades de los stakeholders, se determinaron las especificaciones del modelo de autoevaluación deseado por ellos; cuatro, en este caso (Becket & Brookes, 2012).

En la segunda fase, especificaciones, donde según Schnarch (2016) se indican las descripciones detalladas del producto, se realizó el benchmarking mediante una matriz categorizada con las buenas prácticas en los modelos de autoevaluación de IES referentes. El criterio de selección de estas fue la vigencia de acreditación del CNA mínima de 8 años. De esta matriz se seleccionaron dos especificaciones más.

Con dichas especificaciones se elaboró una matriz de correlación entre estas y los modelos de autoevaluación con fines de acreditación institucional, acreditación de pregrado y posgrado y renovación del registro calificado. De esta manera se integraron cuatro especificaciones más para dar respuesta a todos los modelos exigidos por la legislación colombiana.

En la tercera fase, diseño conceptual, se generaron los dos conceptos de modelos de autoevaluación institucional: uno producto de la matriz de correlación anterior y el otro incluyéndole a dicha matriz el modelo de la Organización Internacional de Normalización NTC-ISO 9001:2015, con el fin de manejar un lenguaje universal (Hernández, Arcos, & Sevilla, 2013; Río, 2008). Este modelo se incluye porque provoca impactos positivos en el desempeño de la organización, específicamente en aspectos como mejoramiento de procesos, planificación, diseño de productos y satisfacción del cliente (Castro-Silva & Rodríguez, 2017). El primer concepto de modelo contiene 10 factores y el segundo cuenta con 14 factores.

La selección de concepto del modelo se realizó a través de concept scoring, que para Eppinger y Ulrich (2012) es un proceso de decisión, en el cual se selecciona uno o algunos conceptos de producto para un mayor desarrollo. Es importante aclarar que se evaluaron los dos conceptos de modelo, teniendo como modelo de referencia el dado por el Consorcio de Universidades Peruanas (Consorcio de Universidades, 2005).

Resultados

Fase 1. Identificación de las necesidades.

Se realizó el diagnóstico del comportamiento de los stakeholders en los procesos de autoevaluación a través de la herramienta de dinámica de sistemas. Para ello, se aplicaron dos cuestionarios: el primero compuesto por 15 ítems —preguntas cerradas—, con una escala aditiva tipo Likert —siempre, con frecuencia, en ocasiones, rara vez y nunca—; y el segundo de cuatro preguntas abiertas para conocer la percepción de los stakeholders y elaborar el diagrama causal (Uribe, 2014). De esto se obtuvo que el 82% percibe los procesos de autoevaluación como importantes y necesarios para el mejoramiento continuo. También, se aprecia que rara vez hay claridad en dichos procesos, esto con un nivel de respuesta 9%. Para la elaboración del diagrama causal se consideró la caracterización y formulación de los procesos de decisión o comportamientos relevantes del sistema. Para ello, se consideraron las siguientes variables:

Completitud del documento: medición del cumplimiento del contenido del documento maestro frente a las condiciones exigidas por el MEN.

Tiempo para la renovación del registro calificado: tiempo restante para el vencimiento del registro calificado que tiene actualmente el programa.

Presión ejercida por la Oficina de Desarrollo Institucional [ODI]: son las acciones a través de las cuales la ODI exige el cumplimiento de la completitud del documento a los demás actores.

Resultados de autorregulación: es la evaluación que se hace 2 años luego de la obtención del registro calificado. Genera carga de trabajo para las operaciones de registro calificado.

Resultado de la autoevaluación: es la evaluación que se hace 5 años luego de la obtención del registro calificado. Genera carga de trabajo para las operaciones de registro calificado.

Productividad: es la tasa a la cual es producido el documento, es decir, afecta positivamente la completitud del documento.

Disponibilidad de tiempo: tiempo que tienen los actores para la elaboración del documento según su carga normal de trabajo.

Tamaño del documento maestro: esta variable es afectada por el resultado de la autoevaluación, ya que define la cantidad de trabajo que se debe realizar.

Proactividad: respuesta constante y acoge a las personas que consideran importante el proceso.

Interés: por realizar la tarea; contrario a indiferencia, pereza y desinterés.

Compromiso: nivel de importancia del proceso para las personas, que afecta la proactividad de las personas —conciencia de la importancia—.

Sobrecarga laboral: diferencia entre la carga normal de trabajo y la carga adicional por falta de compromiso.

Carga normal de trabajo: corresponde a 40 horas de trabajo semanal.

Carga registro calificado: tiempo que se asigna para completar el proceso.

Reactivo: respuesta que depende del tiempo que falta para la entrega del documento y acoge a las personas que consideran que el proceso solo es un requisito.

Diferencia entre proactivos y reactivos: es la diferencia entre las personas proactivas y reactivas, que termina afectando la sinergia del grupo.

Completitud del documento: nivel de finalización del documento.

Tiempo para entregar el documento: tiempo faltante para realizar entrega del documento.

Conocimiento del proceso: porcentaje de comprensión del proceso de autoevaluación con fines del registro calificado.

Sinergia de grupo: capacidad de concordancia del grupo para la elaboración del documento, que afecta la productividad.

Acceso a la información: reduce o aumenta la productividad.

Resultado de autoevaluación: cantidad de mejoras a realizar según último registro calificado.

Tiempo disponible de la ODI: que afecta el conocimiento de los procesos y la cantidad de control que puede ejercer para afectar las demás variables.

Control ejercido por la ODI: afecta la reactividad (+) y el compromiso (-) de las personas.

Percepción de la importancia del proceso de registro calificado: afectada por el conocimiento del proceso y afecta el compromiso.

Las relaciones que se generan entre las variables son complejas, ya que son numerosas y generan diferentes ciclos de realimentación de balance y refuerzo y múltiples subsistemas. El todo de este sistema es más que la suma de sus partes.

El diagrama de ciclos causales que se presenta en la siguiente figura relaciona 11 ciclos principales, de los cuales 6 son de refuerzo y 5 son de balance.

Diagrama de Ciclos Causales – Proceso de Renovación del Registro Calificado
Figura 1
Diagrama de Ciclos Causales – Proceso de Renovación del Registro Calificado

Diagrama de Ciclos Causales – Proceso de Renovación del Registro Calificado.

elaboración propia.

Dada la cantidad de ciclos que se hacen evidentes en la figura 1, se explicará a manera de ejemplo el comportamiento causal de dos ciclos, uno de balance y el otro de refuerzo. Dentro de los ciclos de balance, en la figura 2, el B5 describe la relación entre la proactividad y carga adicional de trabajo relacionada al registro calificado. A mayor proactividad, más carga en el proceso de registro calificado, lo que aumenta la sobrecarga laboral disminuyendo la proactividad.

Ciclo de balance entre proactividad, sobrecarga laboral y carga registro calificado.
Figura 2
Ciclo de balance entre proactividad, sobrecarga laboral y carga registro calificado.

Ciclo de balance entre proactividad, sobrecarga laboral y carga registro calificado.

elaboración propia.

En la figura 3 se observa el ciclo de refuerzo de la proactividad R3, que describe la relación de la completitud del documento maestro y la influencia de variables de reactividad y proactividad de los actores. Este muestra cómo la proactividad afecta la completitud del documento a la vez que ejerce una reactividad por parte de los actores e induce a una sobrecarga laboral.

Ciclo de balance entre proactividad, sobrecarga laboral y carga registro calificado
Figura 3
Ciclo de balance entre proactividad, sobrecarga laboral y carga registro calificado

Ciclo de balance entre proactividad, sobrecarga laboral y carga registro calificado

elaboración propia.

Los demás comportamientos se resumen a continuación:

B1: describe el comportamiento de la reactividad de los actores para lograr la completitud del documento.

B2: relaciona la completitud del documento y la relación del gap entre proactividad y reactividad de los actores.

B3: describe la relación de la completitud del documento maestro y la influencia de variables de reactividad y proactividad de los actores influenciado por el control ejercido por la ODI.

B4: describe la relación de la completitud del documento maestro y la influencia del gap entre variables de reactividad y proactividad de los actores.

R1: relaciona el compromiso y la sobrecarga dada por el registro calificado.

R2: muestra cómo el control ejercido por la ODI afecta la reactividad de los actores y su influencia en la completitud del documento.

R4: relaciona la completitud del documento y la relación del gap entre proactividad y reactividad de los actores al tener la influencia del control de la ODI.

R5: relaciona la completitud del documento y la relación de la reactividad de los actores al tener la influencia del control de la ODI.

R6: describe la relación del compromiso de los actores y su influencia en la completitud del documento maestro

Es así que, al realizar el análisis cualitativo de los resultados, tanto de las encuestas como de las entrevistas realizadas, se identificaron las necesidades de los stakeholders, es decir, se determinaron las especificaciones del modelo de autoevaluación deseado por los stakeholders, que son: desarrollo académico, pertinencia y coherencia, organización y gestión de recursos y proceso de autoevaluación eficiente.

La especificación sobre proceso de autoevaluación eficiente comprende desde la claridad, la importancia, el conocimiento y productividad del proceso, dado que el 82% de los stakeholders manifestaron que el modelo de autoevaluación “quita tiempo” y es “una carga adicional”.

Igualmente, con el parámetro proceso de autoevaluación eficiente se da respuesta sobre la percepción de “las reuniones son largas y no son productivas”, ya que se realizará la gestión pertinente para que estas reuniones no sean tediosas y se optimice al máximo el tiempo. Así mismo, la participación promoverá y facilitará el conocimiento de los procesos, dando apertura a nuevas creaciones e intervenciones innovadoras por los stakeholders.

Fase 2. Especificaciones.

El criterio de selección de las IES para la elaboración del benchmarking (cuadro 1) sobre los modelos de autoevaluación fue la vigencia en número de años de acreditación institucional, es decir, de ocho o más años, dado que la acreditación institucional comprende a la institucion como un todo y es complementaria con la acreditacion de programas (Consejo Nacional de Educación Superior [CESU], 2014). De acuerdo con lo anterior, en el cuadro 1, Matriz 1, benchmarking de los modelos de autoevaluación, se relacionan las fortalezas y oportunidades de mejora que fueron construidas a partir del análisis de los modelos de autoevaluacion con fines de acreditacion institucional o su respectiva renovación y con las resoluciones otorgadas por el MEN.

En la primera columna se encuentra el modelo de autoevaluación de la IES seleccionada; en la segunda, el número de años de la acreditación institucional otorgada por el CNA; seguido a ello, se muestran las fortalezas; luego, las oportunidades de mejora; y por último, la fuente. A continuación, se muestra un ejemplo de esto:

Cuadro 1
Universidad de Los Andes Sí (10 años) El modelo de operación tiene un enfoque basado en procesos, entendiéndolos como un conjunto de actividades que se realizan de manera repetitiva y que están lógicamente relacionadas para transformar unas entradas en salidas con valor agregado. Este enfoque permite a la institución definir la cadena de valor como una representación general de los macro procesos —misionales, estratégicos y de apoyo— que en su interacción maximizan la misión de la Institución, garantizan su sostenibilidad y ayudan al reconocimiento de la sociedad en general. Fortalecer la formación y el acompañamiento pedagógico a los profesores, en correspondencia con los planteamientos de la misión y la formación integral que busca la universidad. Lograr una mayor participación de la comunidad en los procesos de aseguramiento de la calidad. Fortalecer el plan de socialización de los procesos de aseguramiento de la calidad. Resolución 00582 de 2015 https://goo.gl/4jQWWj

Matriz 1, benchmarking de los modelos de autoevaluación

elaboración propia.Cuadro 1 Matriz 1, benchmarking de los modelos de autoevaluación

Luego de realizar el benchmarking, se identificaron dos especificaciones más: desarrollo institucional integrado y evaluación de la calidad académica.

Con las especificaciones de los stakeholders y las del producto del benchmarking mencionadas anteriormente, se elaboró un segundo benchmarking mediante la matriz 2 de correlación entre las especificaciones y los modelos de autoevaluación con fines de acreditación institucional, acreditación de pregrado y posgrado y renovación del registro calificado. De esta manera, se integraron 4 especificaciones más para dar respuesta a todos los modelos exigidos por la legislación colombiana.

Tal como se muestra en el cuadro 2, Matriz 2, correlación entre las especificaciones y los modelos de autoevaluación exigidos por el CNA y el MEN, en la primera columna se muestran las especificaciones obtenidas de las necesidades de los stakeholders y el benchmarking de los modelos de autoevaluación. En la segunda, tercera, cuarta y quinta columna, se encuentran los factores o condiciones de cada modelo de autoevaluación en su orden establecido por el CNA o el MEN. Los factores Estudiantes, Visibilidad nacional e internacional e Investigación, generación de conocimiento y producción artística, corresponden a especificaciones que fueron incluidas sin análisis porque son exigencias del ministerio.

Cuadro 2
Especificaciones Acreditación institucional Acreditación de pregrado Acreditación de posgrado Renovación de registro calificado
Desarrollo institucional integrado 1. Misión y proyecto institucional 1. Misión y proyecto institucional 1. Cumplimiento de los objetivos del programa y coherencia con la visión y misión de la universidad 1. Denominación
Evaluación de la calidad académica 2. Estudiantes 2. Estudiantes 2. Estudiantes 2. Justificación
Desarrollo académico 3. Profesores 3. Profesores 3. Profesores-investigadores 3. Contenidos curriculares
Pertinencia y coherencia 4. Procesos académicos 4. Procesos académicos 4. Procesos académicos y lineamientos curriculares 4. Organización de las actividades académicas
Proceso de autoevaluación eficiente 5. Visibilidad nacional e internacional 5. Visibilidad nacional e internacional 5. Investigación, generación de conocimientoy producción artística 5. Investigación

Matriz 2, correlación entre las especificaciones y los modelos de autoevaluación exigidos por el CNA y el MEN

elaboración propia.Cuadro 2 Matriz 2, correlación entre las especificaciones y los modelos de autoevaluación exigidos por el CNA y el MEN

Finalmente, de la matriz 2 se obtuvo el primer concepto de modelo de autoevaluación, el cual consiste en las especificaciones seleccionadas que ahora serán los factores del primer concepto del modelo. Estos son:

Cuadro 3
1 Desarrollo académico Stakeholders
2 Pertinencia y coherencia Stakeholders
3 Organización y gestión de recursos Stakeholders
4 Proceso de autoevaluación eficiente Stakeholders
5 Desarrollo institucional integrado Benchmarking de modelos de autoevaluación (cuadro 2)
6 Evaluación de la calidad académica Benchmarking de modelos de autoevaluación (cuadro 2)
7 Estudiantes Exigencia de los modelos de autoevaluación del CNA y MEN (cuadro 4)
8 Visibilidad nacional e internacional Exigencia de los modelos de autoevaluación del CNA y MEN (cuadro 4)
9 Investigación y creación artística Exigencia de los modelos de autoevaluación del CNA y MEN (cuadro 4)
10 Egresados e impacto sobre el medio Exigencia de los modelos de autoevaluación del CNA y MEN (cuadro 4)

Especificaciones para el modelo y fuente

elaboración propia.Cuadro 3 Especificaciones para el modelo y fuente

Para generar el segundo concepto de modelo, se empleó la matriz 2 (cuadro 2), y se le incluyó un referente más como sexta columna. Este es el de la Organización Internacional de Normalización NTC-ISO 9001:2015. Es así que los factores que se encuentran en esta norma pero que no están incluidos en las especificaciones seleccionadas fueron adicionados. Estos se representan en la última columna, a continuación, se muestra un ejemplo de la matriz 3 que indica la correlación entre las especificaciones, los modelos de autoevaluación exigidos por el CNA y el MEN y la NTC-ISO 9001:2015.

Cuadro 4
Especificaciones Acreditación institucional Acreditación de pregrado Acreditación de posgrado Renovación de registro calificado Norma ISO 9001:2015
Desarrollo institucional integrado 1. Misión y proyecto institucional 1. Misión y proyecto institucional 1. Cumplimiento de los objetivos del programa y coherencia con la visión y misión de la universidad 1. Denominación 1. Objeto y campo de aplicación
Evaluación de la calidad académica 2. Estudiantes 2. Estudiantes 2. Estudiantes 2. Justificación 2. Referencias normativas.

Matriz 3 Correlación entre exigencias por el CNA, MEN y

NTC-ISO 9001:2015

elaboración propiaCuadro 4 Matriz 3 Correlación entre exigencias por el CNA, MEN y

NTC-ISO 9001:2015

Finalmente, de la matriz 3 se obtuvo el segundo concepto de modelo de autoevaluación, el cual contiene las especificaciones seleccionadas por los stakeholders, del benchmarking de modelos de autoevaluación, exigencias de los modelos de autoevaluación y del benchmarking de los modelos de autoevaluación y la norma ISO 9001:2015, que ahora serán los factores del segundo concepto del modelo. Estos son:

Cuadro 5
1 Desarrollo académico Stakeholders
2 Pertinencia y coherencia Stakeholders
3 Organización y gestión de recursos Stakeholders
4 Proceso de autoevaluación eficiente Stakeholders
5 Desarrollo institucional integrado Benchmarking de modelos de autoevaluación (Cuadro 2)
6 Evaluación de la calidad académica Benchmarking de modelos de autoevaluación (Cuadro 2)
7 Estudiantes Exigencia de los modelos de autoevaluación del CNA y MEN (Cuadro 4)
8 Visibilidad nacional e internacional Exigencia de los modelos de autoevaluación del CNA y MEN (Cuadro 4)
9 Investigación y creación artística Exigencia de los modelos de autoevaluación del CNA y MEN (Cuadro 4)
10 Egresados e impacto sobre el medio Exigencia de los modelos de autoevaluación del CNA y MEN (Cuadro 4)
11 Objeto y campo de aplicación Matriz 3 Correlación entre las especificaciones, los modelos de autoevaluación exigidos por el CNA y el MEN y la NTC-ISO 9001:2015 (Cuadro 6)
12 Referencias normativas. Matriz 3 Correlación entre las especificaciones, los modelos de autoevaluación exigidos por el CNA y el MEN y la NTC-ISO 9001:2015 (Cuadro 6)
13 Términos y definiciones. Matriz 3 Correlación entre las especificaciones, los modelos de autoevaluación exigidos por el CNA y el MEN y la NTC-ISO 9001:2015 (Cuadro 6)
14 Liderazgo Matriz 3 Correlación entre las especificaciones, los modelos de autoevaluación exigidos por el CNA y el MEN y la NTC-ISO 9001:2015 (Cuadro 6)

Especificaciones para el modelo y fuente

elaboración propiaCuadro 5 Especificaciones para el modelo y fuente

Fase 3. Diseño conceptual.

En la tercera fase, diseño conceptual, se generaron los dos conceptos de modelos de autoevaluación institucional: uno producto del cuadro 2 y el otro incluyéndole a dicha matriz el referente de la Norma ISO 9001:2015. El primer concepto de modelo contiene 10 factores (cuadro 3) y el segundo cuenta con 14 factores (cuadro 5).

Teniendo en cuenta que la autoorganización hace referencia a la emergencia de comportamientos colectivos a partir de la interacción adaptativa entre las partes (Bohórquez, 2017), el modelo de autoevaluación se fundamenta conceptualmente en principios integrados, los cuales son el componente filosófico; en factores, los cuales hacen referencia al conjunto de elementos organizados de manera sistémica y particulares de las IES que permiten la toma de decisiones asertivas; y además en lineamientos o indicadores, que describen los aspectos cualitativos y cuantitativos de los factores donde se evidencian las fortalezas y oportunidades de mejora (Consorcio de Universidades, 2005).

En este sentido, los principios que se tienen en cuenta para el modelo son aquellos que rigen el Sistema Nacional de Acreditación en Colombia, tal como lo muestra el Acuerdo 03 del CESU (2014), esto son: universalidad, integridad, integralidad, equidad, idoneidad, responsabilidad, coherencia, transparencia, pertinencia, eficacia, eficiencia, sostenibilidad, visibilidad y desarrollo sostenible. Estos principios serán aplicados al modelo que resulte mejor evaluado mediante el concept scoring de Eppinger y Ulrich (2012).

El concept scoring es entendido por Eppinger y Ulrich como la selección de un producto a través de un proceso de decisión, en el que el equipo de diseño selecciona uno o unos pocos conceptos de producto para un mayor desarrollo (2012), para lo cual se diseña una matriz de selección —basada en los criterios de selección—, se califican, se clasifican, se combinan y se mejoran los conceptos. Como criterios de selección se abordará el liderazgo, ya que sin un buen liderazgo no es posible el cambio de cultura que requiere la calidad total (Heller, 2004). También, se tendrán como referencia los criterios académico —estudiantes, profesores, programas, egresados e investigación— y estructural —gobierno, organización, gestión, finanzas y recursos—, definidos por Velandia como dimensiones para agrupar los factores que utiliza el Consejo para la Acreditación de la Educación Superior (2011).

A continuación, se muestra la selección del modelo de autoevaluación mediante el concept scoring:

Tabla 1
Parámetros Conceptos
Puntuación Consorcio Concepto 1 sin ISO Concepto 2 con ISO
Clasificación Puntuación ponderada Clasificación Puntuación ponderada Clasificación Puntuación ponderada
Académico 40% 3 1,2 4 1,6 4 1,6
Estructural 35% 3 1,05 4 1,4 4 1,4
Liderazgo 25% 3 0,75 3 0,75 5 1,25
Total 3 3,75 4,25
Ranking 3 2 1

Selección de los conceptos de modelo de autoevaluación comparado con el modelo del Consorcio de Universidades Peruanas

elaboración propia.Tabla 1 Selección de los conceptos de modelo de autoevaluación comparado con el modelo del Consorcio de Universidades Peruanas

En la primera columna se relacionan los criterios de selección definidos anteriormente; en la segunda columna, la puntuación para cada parámetro, teniendo como referentes los factores determinados por el Consorcio de Universidades Peruanas. Este modelo fue seleccionado como referente, dado que las universidades que participaron en dicho consorcio aparecen en el ranking QS y ello muestra la calidad de las universidades.

La segunda columna tiene asignado unos valores porcentuales y en la columna de clasificación de cada concepto de modelo se realizó una calificación usando una escala de 1-5, tal como lo indican Eppinger y Ulrich (2012), que significa: 1: mucho peor que la referencia; 2: peor que la referencia; 3: igual que la referencia; 4: mejor que la referencia y 5: mucho mejor que la referencia. De esto se observa que los dos conceptos de modelo son mejores que el modelo tomado como referencia, el modelo del Consorcio de las Universidades, dado que surgieron a partir de las necesidades de los stakeholders.

Es importante indicar que para cada factor se realizará la verificación de su existencia, el mecanismo de divulgación, adecuación o desempeño funcional dentro del marco filosófico de los principios definidos por el CESU. En cuanto a la construcción de los lineamientos o indicadores para cada característica, a continuación, se muestran los criterios que de acuerdo con el Consorcio de Universidades (2005) deben ser tenidos en cuenta para su elaboración:

Documental: sea de índole declarativa —misión, programa, propósitos declarados, gestión, etc.—, o física —infraestructura, personal, estudiantes, etc.—.

Normalizado y disponible: existencia de reglamentos o procedimientos que garanticen el alcance de los documentales.

Adecuados: usar los recursos de manera eficaz, eficiente y dimensionados de acuerdo con los fines para los que fueron creados.

Satisfacción en el usuario: sin importar que los usuarios sean internos como externos, se deberá evaluar el grado de satisfacción de los mismos.

El alcance del modelo no abarca la construcción de los lineamientos ni de los indicadores, dado que no se realizará la implementación del modelo.

Con base en las necesidades de los stakeholders y del benchmarking de los modelos de autoevaluación de universidades referentes, de los modelos con los parámetros y la selección del modelo mediante el concept scoring de Eppinger y Ulrich (2012), se concluye que el modelo integrado debe abordar los siguientes factores y principios:

Cuadro 6
1 Desarrollo académico X X X X X X X X
2 Pertinencia y coherencia X X X X X X X X
3 Organización y gestión de recursos X X X X X X
4 Proceso de autoevaluación eficiente X X X X X X X X X X X X X X
5 Desarrollo institucional integrado X X X X X X X X
6 Evaluación de la calidad académica X X X X X
7 Estudiantes X X X X X X X X X X X X X X
8 Visibilidad nacional e internacional X X X X X X
9 Investigación y creación artística X X X X X X X
10 Egresados e impacto sobre el medio X X X X X X
11 Objeto y campo de aplicación X X X X X X
12 Referencias normativas. X X X X X
13 Términos y definiciones. X X X X
14 Liderazgo X X X X X X X X X X X X X X

Correlación de factores y principios del modelo integrado

elaboración propia.Cuadro 6 Correlación de factores y principios del modelo integrado

Discusión

El modelo desarrollado tiene beneficios como la optimización de los recursos en el proceso de autoevaluación, dado que evita la duplicidad de tareas en cuanto a la aplicación de instrumentos, documentación y obtención de información clara y oportuna para los diferentes fines y el proceso respectivo del programa académico. Por tanto, permite mayor eficiencia en el uso de estos recursos y en el cumplimiento de los objetivos del proceso mencionado, característicos de un modelo de gestión integral (Hernández et al., 2013).

Además, permite un enfoque con mayor satisfacción a los stakeholders, lo cual responde a las tendencias del sector de la educación superior en cuanto a la demanda externa que exige más recursos y eficiencia. Por tanto, identifica, planifica y controla acciones para mejorar el proceso de autoevaluación que se relaciona de manera directa con los stakeholders.

También, disminuye las no conformidades con el proceso de autoevaluación, es decir, se mejoraría la percepción de los stakeholders frente a este proceso, ya que se establece un procedimiento formal en el que se detallan todas las actividades de este y por tanto se tendría claridad del mismo, respondiendo así a sus necesidades. De igual manera, mejora el posicionamiento de la IES, en este caso de la Escuela Colombiana de Ingeniería Julio Garavito, frente a sus competidores y a la atracción de nuevos estudiantes.

En esta misma línea, facilita la creación de alianzas y convenios con empresas nacionales e internacionales, bien sean de manufactura o de servicios, ya que ISO 9001:2015 es una certificación universal sobre gestión total de la calidad presente en más de 25 países. En consecuencia, se tendría una mayor visibilidad de la gestión de la institución, lo cual permite agiliza su proceso de toma de decisiones.

Por último, el modelo permite una mayor consistencia, porque tiene en cuenta los diferentes fines de la autoevaluación y además contempla la Norma ISO 9001:2015, lo cual lo hace más robusto frente a la estandarización y la homogenización en el concepto de calidad, siendo un lenguaje universal.

Conclusiones

La presente investigación desarrolla un modelo de autoevaluación que le permite a una IES, particularmente a la Escuela Colombiana de Ingeniería Julio Garavito, abordar los procesos de autorregulación, de registro calificado, acreditación institucional, de programas académicos y sus respectivas renovaciones, además de incluir los requisitos de la NTC-ISO 9001:2015.

De ahí que el componente innovador de este trabajo de investigación es que el desarrollo del modelo es el resultado de la adaptación de la metodología de desarrollo de producto de Schnarch, específicamente en el sector de educación superior. Así como también, la implementación de la herramienta de dinámica de sistemas como instrumento para conocer el comportamiento de los stakeholders.

Asimismo, el estudio permitió una caracterización y diagnóstico del proceso de autoevaluación en los stakeholders a través de la metodología de dinámica de sistemas, quienes lograron manifestar sus necesidades institucionales, que luego fueron denominadas como especificaciones para el desarrollo del modelo.

Por otra parte, el benchmarking realizado en los modelos de autoevaluación de universidades referentes nacionales permitió la identificación de dos especificaciones más para enriquecer los factores del modelo de autoevaluación institucional.

También, se identificaron los factores clave que se determinaron en la integración de los lineamientos de autoevaluación con sus diferentes fines, que son: desarrollo académico; pertinencia y coherencia; organización y gestión de recursos; proceso de autoevaluación eficiente; desarrollo institucional integrado; evaluación de la calidad académica; estudiantes; visibilidad nacional e internacional; investigación y creación artística; y egresados e impacto sobre el medio.

Por último, se generaron dos conceptos de modelo a partir de las especificaciones de los stakeholders: uno incluyendo la NTC-ISO 9001:2015 y el otro excluyendo los requisitos de dicha norma. El concepto del modelo fue seleccionado a través de la metodología de desarrollo de producto de Eppinger y Ulrich (2012). De esto se encontró que el mejor modelo fue aquel que incluía la NTC-ISO 9001:2015.

Recomendaciones

Se sugiere que la implementación de este modelo se realice de manera sencilla, es decir, se elaboren unos lineamientos factibles, lo cual permita la interacción entre los stakeholders y el proceso de autoevaluación, dado que se identifica en ellos la necesidad de que el modelo sea simple.

También se pudo observar que las IES sin darse cuenta están aplicando el modelo de gestión de ISO 9001 en sus procesos de aseguramiento de la calidad, sin embargo, al no ser una estrategia de ellas para su mejoramiento, no le encuentran la relevancia y los beneficios que podría desencadenar todo ello. Por tanto, se recomienda que las IES cambien el concepto sobre la ISO 9001 y la incorporen dentro de sus sistemas de aseguramiento de la calidad.

En esa misma línea, se deben considerar los sistemas de gestión como una base estratégica para fortalecer sus sistemas de aseguramiento de la calidad y de esta manera garantizar su mejoramiento continuo y establecer ventajas competitivas.

Por otra parte, el proceso de autoevaluación no se debe mirar como un proceso aislado del desarrollo de las funciones de los stakeholders, sino, por el contrario, como su día a día, lo cual les permitiría crear constantemente estrategias innovadoras que faciliten el desarrollo del proceso y su culminación con éxito.

Por lo anterior, se hace relevante crear un plan de capacitación y formación en la importancia del proceso de autoevaluación para la institución y el programa, para lograr en ellos apropiación, dominio y una cultura de mejoramiento diaria.

Referencias

Arango, G. (2004). La educación superior en Colombia. Análisis y estrategia para su desarrollo. Bogotá: Editorial Universidad Nacional de Colombia.

Referencias

Becket, N., & Brookes, M. (2012). Quality Management Practice in Higher Education –What Quality Are We Actually Enchancing?. Journal of Hospitality, Leisure, Sport and Tourism Education, 40-54. Recuperado de http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.571.7060&rep=rep1&type=pdf

Referencias

Bohórquez, L. (2017). Diseño de un modelo de auto-organización para la solución de las crisis en las organizaciones empresariales. Entre Ciencia e Ingeniería, 11, 14-21. http://dx.doi.org/10.31908/19098367.3269

Referencias

Brent, R. (2007). Excellence in Higher Education Guide: An Integrated Approach to Assessment, Planning, and Improvement in Colleges and Universities. Estados Unidos: Nacubo.

Cardona, S., Jaramillo, S., & Navarro, Y. (2016). Evaluación de competencias con apoyo de un sistema de gestión de aprendizaje. Praxis & Saber, 7(14), 193-218. https://doi.org/10.19053/22160159.5223

Castro-Silva, H-F., & Rodríguez, F. (2017). Incidencia de la certificación de la norma ISO 9001 en los resultados empresariales. Un caso colombiano. Entre Ciencia e Ingeniería, 11, 18-25. http://dx.doi.org/10.31908/19098367.3545

CESU - Consejo Nacional de Educación Superior. (16 de diciembre, 2014). Acuerdo 03 de 2014 por el cual se aprueban los Lineamientos para la Acreditación Institucional. Bogotá, Colombia.

Consorcio de Universidades. (2005). Gestión de la Calidad para Instituciones de Educación Superior, Procesos de Autoevaluación y Acreditación. Perú: Consorcio de Universidades.

Eppinger, S., & Ulrich, K. (2012). Diseño y desarrollo de productos. México: McGraw Hill Education.

Hernández, C., & Mosquera, J. (2016). Descripción de los modelos actuales de gestión gerencial, en las grandes empresas industriales de Pereira y Dosquebradas en el contexto actual de la economía periodo 2013-2014. Scientia et Technica, 21(1), 122-127. Recuperado de http://revistas.utp.edu.co/index.php/revistaciencia/article/viewFile/9891/9331

Hernández, G., Arcos, J., & Sevilla, J. (2013). Gestión de la calidad bajo la Norma ISO 9001 en instituciones públicas de educación superior en México. Calidad en la educación, (39), 81-115. https://doi.org/10.4067/S0718-45652013000200004

López, D., & Mejía, J. (2016). E-learning Quality Model for Higher Education Institutions in Colombia. Formación universitaria, 9(2), 59-72. https://dx.doi.org/10.4067/S0718-50062016000200007

Ministerio de Educación Nacional. (2016). ¿Qué es el PNDE?. Plan Decenal de Educación. Recuperado de http://www.plandecenal.edu.co/cms/index.php/que-es-el-pnde

Moliner, M. (1992). Diccionario de uso de español. Madrid: Gredos.

Parada, L. (2016). Sistema de evaluación docente, instituciones de educación superior tecnológica: lineamientos de calidad. Praxis & Saber, 7(13), 177-198. https://doi.org/10.19053/22160159.4171

Río del, L. (2008). Cómo implantar y certificar un sistema de gestión de la calidad en la Universidad. Revista de Investigación en Educación, (5), 5-11.

Rosas, J., & Sánchez, A. (2016). La evaluación de las políticas públicas en Jalisco Una aproximación desde la metaevaluación. Política y Cultura, (47), 6-10.

Schnarch, A. (2016). Desarrollo de Nuevos Productos: Creatividad, innovación y marketing. México: McGrawHill.

Toro, A., & Peláez, L. (enero-junio, 2018). Validación de un modelo para el aseguramiento de la calidad del software en mipymes que desarrollan software en el Eje Cafetero. Entre Ciencia e Ingeniería, 12(23), 84-92. http://dx.doi.org/10.31908/19098367.3707

Uribe, A. (2014). Percepción del enfoque gerencial y del modelo de acreditación por alta calidad aplicado en universidades colombianas. Cuadernos de Investigación (Universidad del Valle), 30(51), 49-56. https://doi.org/10.25100/cdea.v30i51.42

Vargas, A. (2004). La evaluación educativa: concepto, períodos y modelos. Costa Rica: Sistema de Información Ciéntifica.

Velandia, C. (2011). Guía para el Desarrollo de Buenas Prácticas Universitarias. Bogotá: Ediciones Uniandes

Vera, A., Castiblanco, I., & Cruz, J. (14 de septiembre, 2017). Análisis de necesidades y benchmarking para el desarrollo de un modelo integral de autoevaluación para una Institución de Educación Superior conforme con la legislación colombiana y la NTC-ISO 9001:2015. Artículo presentado en el 1er Congreso Internacional de Educaciones, Pedagogías y Didácticas. Tunja, Colombia.

Vicerrectoría Departamento de Planeación Académica y Aseguramiento de la Calidad. (2010). Modelo de autoevaluación de la Universidad del Rosario con miras a la acreditación y reacreditación. Guía metodológica. Bogotá: Universidad del Rosario.

Villagómez, E. (2015). Elaboración del plan de sistema de gestión de calidad bajo la norma ISO 9001:2008 para la gestión administrativa y académica en la Escuela de Ingeniería Automotriz de la Espoch con fines de acreditación (Tesis). Escuela Superior Politécnica de Chimborazo, Riobamba, Ecuador.

HTML generado a partir de XML-JATS4R por