Métodos para la evaluación de riesgos cuantitativa y cualitativa

Los métodos de evaluación de expertos, en muchos casos, juegan un papel decisivo en la toma de decisiones de gestión importantes.

Métodos para obtener evaluaciones cuantitativas de expertos

1. Evaluación cuantitativa directa

La evaluación cuantitativa directa se utiliza tanto en el caso en que es necesario determinar el valor de un indicador medido cuantitativamente, como en el caso en el que es necesario evaluar el grado de preferencia comparativa de varios objetos.

Si al experto le resulta difícil indicar un valor específico del indicador, puede indicar el rango en el que se encuentra el valor del indicador estimado.

En el segundo caso, cuando la preferencia comparativa de objetos es evaluada por uno u otro indicador, la valoración cuantitativa indicada por el experto determina el grado de su preferencia comparativa.

Es necesario acordar de antemano que, digamos, un valor más alto de la estimación corresponde a una alternativa más preferible. A veces es más conveniente realizar una evaluación cuantitativa de la preferencia comparativa de objetos en puntos utilizando escalas de puntos especialmente desarrolladas.

2. Método del punto medio

Este método se puede utilizar para la evaluación experta de los valores numéricos de los indicadores que son de naturaleza cuantitativa.

3. El método de Churchman: Akof

El método de Churchman-Akof se utiliza para cuantificar la preferencia comparativa opciones alternativas y permite realizar ajustes a las evaluaciones dadas por expertos.

Si a es menos preferible que la suma de las alternativas restantes, entonces se compara con la suma de las alternativas restantes, excepto por la última.

Si la opción alternativa a, en algún momento resultó ser preferible a la suma de las opciones alternativas restantes y esta relación se confirma para estimaciones, entonces ax se excluye de otras consideraciones.

Este proceso continúa hasta que todas las alternativas se hayan visto secuencialmente.

En aplicación práctica en el caso de un número suficientemente grande de alternativas comparadas, se pueden hacer algunos ajustes al método para reducir su intensidad de trabajo.

Entonces, por ejemplo, la suma del mayor número de opciones alternativas se puede determinar inmediatamente descartando menos de opciones preferidas, que es menor que Sí,), etc.

4. Método de lotería

De acuerdo con este método, para cualquier triple de opciones alternativas aх, a2, a3, ordenadas en orden decreciente de preferencia, el experto indica dicha probabilidad p, en la que la opción alternativa a es equivalente a una lotería, en la que la opción alternativa ax cumple la probabilidad p, y la opción alternativa ab - con probabilidad 1 - p.

Métodos para obtener evaluaciones de expertos de alta calidad.

en algunos casos, estas evaluaciones son simplemente injustificadas y no permiten obtener información pericial suficientemente fiable.

En estos casos, a menudo está mucho más justificado utilizar los métodos de evaluación cualitativa de los objetos de especialización.

También hay situaciones en las que la naturaleza de la información pericial es tal que las evaluaciones cuantitativas en el sentido habitual son prácticamente imposibles.

1. Clasificación de expertos

Es aconsejable utilizar este método cuando sea necesario determinar la pertenencia de las alternativas evaluadas a las clases, categorías, niveles, variedades, etc. establecidas y aceptadas para su uso (en adelante, clases).

También se puede utilizar cuando las clases específicas a las que se deben asignar los objetos evaluados no están predeterminadas. El número de clases en las que se dividen los objetos evaluados tampoco puede estar predeterminado.

Solo se puede instalar después de completar el procedimiento de clasificación.

2. Método de comparaciones por pares

El método de comparación pareada es uno de los métodos más comunes para evaluar la preferencia comparativa de alternativas.

En la práctica de utilizar el método de comparaciones por pares, a menudo uno tiene que lidiar con evaluaciones inconsistentes e incluso contradictorias de un experto.

En estos casos, es necesario realizar un análisis especial de los resultados del examen.

Tenga en cuenta también que con un número suficientemente grande de alternativas evaluadas, el procedimiento de comparación por pares de todos los pares posibles de ellas se vuelve laborioso para un experto. En este caso, es aconsejable utilizar las modificaciones adecuadas del método de comparación pareada.

3. Clasificación de alternativas

Un procedimiento bastante común también es la clasificación directa por parte de un experto según la preferencia de las alternativas evaluadas.

En este método, al experto se le presentan las opciones alternativas seleccionadas para la evaluación comparativa, pero preferiblemente no más de 20-30 para ordenarlas según su preferencia.

Si hay más opciones alternativas, entonces es recomendable utilizar las modificaciones apropiadas del método de clasificación.

4. Método de vectores de preferencias

Este método se utiliza con más frecuencia cuando es necesario obtener un ranking colectivo de expertos. Al experto se le presenta el conjunto completo de alternativas evaluadas y se le pide que indique para cada alternativa cuántas, en su opinión, otras alternativas son superiores a la dada.

Esta información se presenta en forma de vector, cuyo primer componente es el número de alternativas que superan al primero, el segundo componente es el número de alternativas que son superiores al segundo, y así sucesivamente.

El método de los vectores de preferencia es relativamente fácil y se puede utilizar teniendo en cuenta la naturaleza del examen.

Este método puede aplicarse en caso de que el experto tenga dificultades para utilizar otros métodos para evaluar la preferencia comparativa de alternativas.

En un examen colectivo realizado mediante el método de vectores de preferencia, es aconsejable calcular el ranking colectivo resultante, reflejando el punto de vista colectivo de todos los expertos.

5. Curvas expertas discretas

Si el objetivo es desarrollar pronósticos o analizar la dinámica de cambios en los indicadores que caracterizan el objeto de desarrollo y toma de decisiones de gestión, entonces es recomendable utilizar curvas discretas de experto.

Al construir una curva experta discreta, se determina un conjunto de puntos característicos en los que se observa o se espera un cambio en la tendencia de los valores del indicador del parámetro en consideración, así como los valores del indicador en los puntos característicos.

En las áreas entre los puntos característicos, se supone que los valores del indicador cambian linealmente, es decir, dos puntos característicos adyacentes de la curva pueden estar conectados por segmentos de línea recta.

Si existe una razón suficientemente fuerte para determinar cambios no lineales en los valores del indicador en las secciones de la curva entre puntos característicos adyacentes, tiene sentido pasar de curvas expertas discretas a curvas expertas.

Al construir curvas expertas, los segmentos de línea recta se pueden reemplazar con segmentos de curvas no lineales o curvas construidas directamente por expertos.

Sin embargo, tenga en cuenta que no siempre tenemos información que nos permita juzgar de manera confiable el comportamiento de la curva en las secciones entre los puntos característicos.

Además, el procesamiento de los resultados de las evaluaciones de expertos, y en particular la determinación de la evaluación de expertos colectiva resultante, es más confiable para las curvas de expertos discretas.

El uso de curvas expertas permite representar de manera más clara y confiable varios escenarios del desarrollo de la situación, lo que a menudo es necesario al desarrollar pronósticos.

Las curvas expertas se pueden utilizar de forma eficaz tanto en el análisis de la situación de toma de decisiones como directamente en el desarrollo y adopción de decisiones de gestión.

Los conceptos de métodos cuantitativos y cualitativos en psicología.

Definición de métodos como formas de cognición, S.L. Rubinstein señaló que la metodología debe ser consciente y no convertirse en una forma impuesta mecánicamente al contenido específico de la ciencia. Consideremos la cuestión de cuán conscientes son las formas de cognición en psicología y cómo los investigadores entienden y definen los métodos cuantitativos y cualitativos.

Como la principal métodos psicológicos S.L. Rubinstein en "Fundamentos de la psicología general" nombra observación, experimento, métodos de estudio de los productos de la actividad. No hay lugar en esta lista para los métodos cuantitativos.

En los 70 en Psicología rusa la segunda clasificación de métodos de investigación psicológica, creada por B.G. Ananyev.

Distingue los siguientes grupos de métodos:

Organizativo;
Empírico;
Métodos de procesamiento de datos;
Métodos interpretativos.

Los métodos cuantitativos y cualitativos se clasificaron como métodos de procesamiento de datos. Él define los métodos cuantitativos como métodos matemáticos y estadísticos de procesar información psicológica, y los métodos cualitativos son una descripción de aquellos casos que reflejan más completamente los tipos y variantes de los fenómenos mentales y son una excepción a las reglas generales.

B.G. Ananyev fue criticado por el representante de la escuela de Yaroslavl V.N. Druzhinin, proponiendo su propia clasificación.

Por analogía con otras ciencias, distingue tres clases de métodos en psicología:

Empírico;
Teórico;
Interpretativo.

Los métodos cualitativos y cuantitativos tampoco se especifican por separado en la clasificación, pero se supone que se colocan en la sección de métodos empíricos, que difiere de la clasificación de B.G. Ananyeva. Complementó significativamente la clasificación de B.G. Ananyeva, representante de la escuela de psicólogos de Leningrado V.V. Nikandrov. Clasifica los métodos cuantitativos y cualitativos como métodos no empíricos de acuerdo con el criterio de "etapas del proceso psicológico". Por métodos ab initio el autor entiende “los métodos de investigación científica del trabajo psicológico fuera del contacto entre el investigador y el individuo.

Además de las diferencias conservadas en las clasificaciones de S.L. Rubinstein y B.G. Ananyev, existen discrepancias terminológicas en la comprensión de los conceptos cuantitativos y métodos cualitativos.

No dado definición precisa estos métodos en las obras de V.V. Nikandrov. Define los métodos cualitativos funcionalmente, desde el punto de vista del resultado, y los llama:

Clasificación;
Tipología;
Sistematización;
Periodización;
Casuística psicológica.

Reemplaza el método cuantitativo con la definición de procesamiento cuantitativo, que está dirigido principalmente al estudio formal y externo del objeto. Como sinónimos V.V. Nikandrov utiliza expresiones como métodos cuantitativos, procesamiento cuantitativo e investigación cuantitativa. El autor se refiere a los principales métodos cuantitativos como métodos de procesamiento primario y secundario.

Así, el problema de la inexactitud terminológica es bastante relevante y adquiere un nuevo significado cuando los investigadores se esfuerzan por remitir los métodos cuantitativos a las nuevas secciones científicas "Psicometría" y "Psicología Matemática".

Razones de las discrepancias terminológicas

Puede ser llamado toda la linea razones por las cuales no existe una definición estricta de métodos cuantitativos y cualitativos en psicología:

Los métodos cuantitativos en el marco de la tradición rusa no han recibido una definición y clasificación inequívocamente estrictas, y esto habla de pluralismo metodológico;
Los métodos cuantitativos y cualitativos en la tradición de la escuela de Leningrado se consideran una etapa de investigación no empírica. La escuela de Moscú interpreta estos métodos como empíricos y los eleva a la categoría de enfoque metodológico;
En la confusión terminológica de los conceptos de cuantitativo, formal, cuantitativo, matemático y estadístico, existe un convencionalismo que se ha desarrollado en una sociedad psicológica en cuanto a la definición de estos métodos cuantitativos y cualitativos;
Tomando prestado de la tradición estadounidense de dividir todos los métodos en métodos cuantitativos y cualitativos. Los métodos cuantitativos, o más bien la investigación, implican la expresión y medición de resultados en términos cuantitativos. Los métodos cualitativos se consideran investigación "humanitaria";
La determinación del lugar inequívoco y la proporción de métodos cuantitativos y cualitativos, muy probablemente, conduce al hecho de que los métodos cuantitativos están sujetos a métodos cualitativos;
La teoría moderna del método se aleja de la clasificación de métodos sobre una sola base y una definición estricta del procedimiento del método. Los metodólogos distinguen tres áreas en teoría:
1. Mejora del modelo empírico tradicional;
2. Críticas al modelo empírico cuantitativo;
3. Análisis y prueba de modelos de investigación alternativos.
Las diferentes direcciones en el desarrollo de la teoría del método revelan la tendencia de los investigadores a gravitar hacia los métodos cualitativos.

Métodos cuantitativos

Objetivo psicología práctica no se trata de establecer patrones, sino de comprender y describir problemas, por lo que utiliza métodos tanto cualitativos como cuantitativos.

Los métodos cuantitativos son técnicas para procesar información digital, porque son de naturaleza matemática. Los métodos cuantitativos como la observación categorizada, las pruebas, el análisis de documentos e incluso la experimentación proporcionan información para ayudar a diagnosticar un problema. La efectividad del trabajo se determina en la etapa final. La mayor parte del trabajo (conversaciones, capacitaciones, juegos, discusiones) se lleva a cabo utilizando métodos de calidad. Desde Métodos cuantitativos las pruebas son las más populares.

Los métodos cuantitativos se utilizan ampliamente en investigación científica y en ciencias sociales, por ejemplo, al comprobar hipótesis estadísticas... Se utilizan métodos cuantitativos para procesar los resultados de las encuestas de opinión pública masivas. Para crear pruebas, los psicólogos utilizan el aparato de la estadística matemática.

Métodos análisis cuantitativo se dividen en dos grupos:

Métodos de descripción estadística. Por regla general, están destinados a obtener características cuantitativas;
Métodos de inferencia estadística. Permiten aplicar correctamente los resultados obtenidos a todo el fenómeno, para sacar una conclusión general.

Con la ayuda de métodos cuantitativos, se identifican tendencias estables y se construyen sus explicaciones.

Las desventajas del método de control cuantitativo están asociadas con sus limitaciones. Estos métodos de evaluación del conocimiento en el campo de la enseñanza de la psicología pueden usarse solo para control intermedio, verificar el conocimiento de terminología, libro de texto investigación experimental o conceptos teóricos.

Métodos cualitativos

Mayor interés y popularidad, los métodos de alta calidad se adquieren solo en Últimamente, que se relaciona con las solicitudes de práctica. En psicología aplicada, el ámbito de aplicación de los métodos cualitativos es muy amplio:

La psicología social lleva a cabo la experiencia humanitaria programas sociales- Reforma de las pensiones, reforma de la educación, atención de la salud, utilizando métodos de calidad;
Psicología política. Los métodos cualitativos son necesarios aquí para construir una adecuada y efectiva campaña electoral, la formación de una imagen positiva de los políticos, los partidos, todo el sistema controlado por el gobierno... Aquí no solo serán importantes los indicadores cuantitativos de la calificación de confianza, sino también las razones de esta calificación, las formas de cambiarla, etc.
Utilizando métodos cualitativos, la psicología de la comunicación de masas examina el grado de confianza en uno u otro medio impreso, periodistas específicos, programas.

El papel crucial en el desarrollo de métodos cualitativos en psicología fue, por lo tanto, jugado por la necesidad de diálogo. ciencia psicológica con varios campos de práctica.

Los métodos cualitativos se guían por el análisis de la información, que se presenta principalmente en forma verbal, por lo que se hace necesario comprimir esta información verbal, es decir, Consígalo en una forma más compacta. En este caso, la codificación aparece como la principal técnica de compresión.

La codificación implica la asignación de segmentos semánticos del texto, su categorización y reorganización.

Ejemplos de compresión de información son diagramas, tablas, diagramas. Por tanto, la codificación y visualización de la información son las principales técnicas de análisis cualitativo.

Las evaluaciones cuantitativas, por ejemplo, las cualidades comerciales y organizativas de un empleado, se realizan, por regla general, utilizando evaluaciones de expertos. Al mismo tiempo, para las características de un candidato para un puesto, primero se establecen 6-7 criterios (teniendo en cuenta las características específicas de la producción y las condiciones de trabajo). Por ejemplo:

1. capacidad para organizar y planificar el trabajo;

2. competencia profesional;

3. conciencia de responsabilidad por el trabajo realizado;

4. habilidades de contacto y comunicación;

5. capacidad de innovar;

6. trabajo duro y eficiencia.

Para cada uno de estos criterios, basado en el estudio de las actividades de los candidatos para el puesto, se da una evaluación adecuada de acuerdo con una escala seleccionada, por ejemplo, de cinco puntos (excelente - 5; bueno - 4; satisfactorio - 3; insatisfactorio). - 2; pobre - 1).

Los puntajes de los criterios generalmente se clasifican de acuerdo con un valor cuantitativo creciente. Por ejemplo, cuando se evalúa según el criterio "capacidad para organizar y planificar el trabajo":

"1" - empleado y gerente claramente desorganizados;

"2" - no sabe cómo organizar y planificar su trabajo y el trabajo de sus subordinados;

"3" - sabe cómo organizar proceso laboral pero no siempre planifica bien el trabajo;

"4" - sabe cómo organizar y planificar bien su trabajo y el trabajo de sus subordinados;

"5": sabe cómo crear y mantener un orden claro en el trabajo basado en una planificación eficaz.

En términos de su importancia en la evaluación general de un candidato para un puesto específico, ciertas cualidades siempre tienen diferentes Gravedad específica, que es establecido por un experto. Por ejemplo, de acuerdo con los seis criterios mencionados anteriormente, se pueden tomar ciertos valores.

Para determinar la evaluación general de las cualidades empresariales y organizativas de un candidato a un puesto directivo, se elabora una hoja de evaluación especial.

Naturalmente, cuanto más alta sea la valoración general de cada grupo de cualidades, más digno será el candidato para ocupar un puesto en el aparato de gestión. La puntuación más alta posible es 5 y la más baja es 1.

La educación, la experiencia laboral y la edad del empleado deben tenerse en cuenta al evaluar las cualidades comerciales. El hecho es que la educación es una de las principales características cualitativas para determinar el nivel de calificaciones de un empleado, la experiencia laboral es una medida cuantitativa de la experiencia y la edad está interrelacionada con la experiencia laboral.

Los datos sobre la educación del candidato, su experiencia y edad se tienen en cuenta calculando el coeficiente de perspectivas profesionales de acuerdo con la fórmula:

K = Oy.obr. (1 + C / 4 + B / 18), donde

Ou.obr. - una evaluación del nivel de educación, que generalmente se acepta (es

0,15 para personas con educación secundaria incompleta;

0,60 - para personas con educación secundaria;

0,75 - para personas con secundaria técnica e incompleta educación más alta;

1,00 - para personas con educación superior en su especialidad;

С - experiencia laboral en la especialidad. De acuerdo con las recomendaciones del Instituto de Investigaciones del Trabajo, se divide por 4 (debido a que, como se ha establecido, el tiempo de servicio tiene un efecto 4 veces menor en la productividad laboral que la educación);

B - edad. De acuerdo con las recomendaciones del Instituto de Investigaciones del Trabajo, se divide por 18 (se encontró que la influencia de la edad en la productividad laboral es 18 veces menor que la influencia de la educación). Al mismo tiempo, el límite superior de edad para los hombres es de 55 años y para las mujeres, 50.

En la etapa de determinación de la evaluación general del candidato para el puesto, el valor del coeficiente de perspectivas profesionales se resume con la evaluación general de las cualidades empresariales y organizativas. Es bastante obvio que se da preferencia al candidato que finalmente recibirá la puntuación más alta, además, también es necesario tener en cuenta de la misma forma las puntuaciones obtenidas para los grupos de cualidades personales.

La validación de la práctica es innegablemente fundamental para la evaluación de cualquier trabajador gerencial. En este sentido, se recomienda testear y reconocer con atención y paciencia entre ellos a los verdaderos organizadores, conjugando el interés por el tema con la capacidad de establecer un trabajo conjunto de un equipo de personas. Para ello, cuando se trabaja con una reserva de personal para ascenso, se practica ampliamente involucrarlos en el desempeño temporal de las funciones de un gerente durante su ausencia, pasantía y otras formas y métodos de verificación práctica. Sin embargo, incluso en tales casos, los resultados del trabajo requieren evaluaciones objetivas.

Varias organizaciones rusas han acumulado una experiencia positiva en la evaluación del personal directivo. La esencia de uno de los más probados y suficientes métodos efectivos es utilizar las calificaciones, la experiencia y la intuición de los especialistas más competentes en su campo de trabajo: los expertos. Las condiciones más importantes para la aplicación de este método es asegurar el anonimato de las valoraciones dadas por los expertos y la validez de la selección de la composición de las comisiones de expertos.

Si el anonimato se logra a través de un cuestionario o prueba especial, entonces la validez de la selección de la composición de los expertos consiste en su evaluación preliminar exhaustiva, así como en la formación metodológicamente competente y útil de métodos cuantitativos y composición cualitativa... Por ejemplo, los principales requisitos para un experto son su competencia en la gestión de la producción, la moralidad, un conocimiento profundo y una capacidad reconocida para resolver problemas especiales de acuerdo con determinadas funciones.

Uno de los requisitos es estar bien versado en uno de los campos especiales de actividad relacionados, por ejemplo, para un tecnólogo en economía, para un economista en tecnología, un gerente de línea en asuntos legales, etc. El requisito tradicional para la formación de un grupo de expertos es su capacidad para realizar un examen teniendo en cuenta los diversos aspectos de la actividad del empleado evaluado.

El principal peligro en la selección de la composición de expertos es la sobreestimación de la proporción de cualquier subgrupo de expertos que, obviamente, están cerca en su opinión. Este peligro radica no solo en la unilateralidad de la evaluación, sino también en el hecho de que al procesar las opiniones de los expertos, todas las demás evaluaciones perderán su importancia. Por la misma razón, no es deseable incluir en el grupo de expertos a especialistas cuya autoridad difiera marcadamente de la autoridad promedio de los miembros de la comisión.

Utilizado por grupos de expertos de dos formas: individualmente o en grupo. Individual, más común y método efectivo, radica en que cada experto da una valoración de forma anónima e independiente de los demás, y luego estas valoraciones se generalizan. El método grupal se basa en el trabajo conjunto de expertos y en la obtención de una valoración resumida de todo el grupo en su conjunto. Con este método, el acuerdo evaluaciones individuales combinado con la familiarización consecutiva de cada experto con las evaluaciones de los demás. Es posible cumplir con el requisito de anonimato con este método, pero con la "tecnología del papel" ya surgen dificultades.

La experiencia del grupo incluye los siguientes pasos obligatorios:

Desarrollo de un programa (elección de una forma de juicio grupal con una lista de opciones o evaluaciones), recomendaciones, soluciones; desarrollo de principios y métodos para obtener juicios grupales;

Elegir una técnica de encuesta o formas de identificar opiniones individuales;

Formación de un grupo de expertos;

Realización de una encuesta de expertos;

Procesamiento de resultados (obtención de un juicio grupal);

Análisis de los resultados.

El resultado del trabajo de los expertos se refleja en un documento, cuyas versiones pueden ser recomendaciones, valoraciones generalizadas, decisiones. La opción más obvia para formalizar un examen es una decisión. La más común son las recomendaciones, pero con indicios de ciertos indicios de una solución futura.

La selección, coordinación y aprobación de las comisiones de expertos suele llevarlas a cabo el jefe del departamento de personal y el jefe de la organización (organización). El responsable del departamento de recursos humanos presenta la metodología de evaluación a los expertos con la ayuda de un consultor científico, que por primera vez supervisa prácticamente todo el trabajo. A nivel organizativo, las comisiones de expertos (una comisión para evaluar a los jefes del aparato de gestión, una comisión para evaluar a los jefes de línea de las unidades de producción, una comisión para evaluar a los especialistas en el aparato de gestión) suelen incluir de 3 a 5, pero no más de 7 personas. En este caso, el número de expertos debe incluir tanto al evaluado como a su líder.

Un cuestionario para evaluar a un gerente o un especialista, una tarjeta de experto para un certificado, un formulario para los resultados de una encuesta de expertos para un certificado, así como un formulario para calcular la calificación final para un certificado: estos son documentos obligatorios casi cualquier técnica, independientemente del método de cálculo (manualmente o usando una computadora).

La principal herramienta de evaluación es el cuestionario, que es un cuestionario especialmente diseñado que incluye una lista de ciertas cualidades y opciones de respuesta. Al mismo tiempo, la lista de cualidades que debe poseer un especialista depende del alcance de su actividad y del puesto que ocupa. Entonces selección correcta Se recomienda que una comisión de expertos específica de la organización establezca sus cualidades, su lista para cada puesto específico, así como las puntuaciones. éste es uno de condiciones esenciales valoración objetiva del empleado.

Después de discutir los resultados, cada comisión de expertos aprueba no solo la lista de cualidades para su inclusión en el cuestionario, sino que también determina una evaluación cuantitativa de cada calidad en puntos. Por ejemplo, se recomiendan diez cualidades en el cuestionario, y todas se califican en un sistema de calificación de diez puntos (ver Tabla 1).

Tabla 1.

Estas cualidades se ubican en el cuestionario en un rango clasificado, de más a menos significativas. De acuerdo con esto, el primer grado se otorga a la persona que se certifica. Caracteriza el grado de importancia de la calidad. La segunda evaluación es una evaluación del grado de manifestación de las mismas cualidades de la persona que se evalúa de acuerdo con cuatro opciones de respuesta. Al mismo tiempo, el experto debe establecer con qué frecuencia se manifiesta la calidad determinada en la persona certificada según la siguiente escala de puntos:

1. si siempre - 1,5 puntos;

2. si en la mayoría de los casos - 1 punto;

3. si algunas veces - 0.5 puntos;

4. si casi nunca - 0 puntos.

En la primera evaluación, se coloca un signo "+" en la columna contra la calidad y su evaluación en puntos. En la segunda valoración se coloca un signo "+" en la columna correspondiente a la opinión del experto.

El procesamiento de los resultados de la evaluación del certificado se lleva a cabo completando un formulario especial: "Formulario de los resultados de la encuesta de expertos sobre el certificado". Para ello, los signos "+" de los cuestionarios, puestos por los expertos, se transfieren con el signo "V" a este formulario. En otro formulario ("Formulario para calcular la nota media de los acreditados") para cada calidad se calcula puntuación media según la fórmula:

Donde Зср es la puntuación media de la evaluación de la calidad según el grado de su importancia funcional;

З10 ... 31 - la evaluación de un experto del grado de importancia de la calidad en una escala de diez puntos;

N10 ... n1 - el número de expertos que asignaron una evaluación a la calidad de acuerdo con el grado de importancia (en puntos);

A su vez, de la misma forma, para cada una de las cualidades, se calcula la puntuación media del grado de manifestación de esta cualidad para la persona que se certifica según la fórmula:

Donde Psr es la valoración media del grado de manifestación de cualidades en la persona que se certifica;

P1.5 ... P0.5 - el grado de manifestación de cualidades en la persona que se certifica de acuerdo con la evaluación de los expertos;

N1.5 ... n0.5 - el número de expertos que atribuyeron la calidad al grado de su manifestación en una persona certificada en un grado particular;

N es el número total de expertos.

Luego, para cada calidad, se determina una puntuación media ponderada mediante la fórmula:

K = Zsr * Psr, donde K es calidad.

El estándar se calcula de la siguiente manera: la suma de puntos para las 10 cualidades (10 + 9 + 8 + 7 + 6 + 5 + 4 + 3 + 2 + 1 = 57) se multiplica por 1.5 (coeficiente del grado de manifestación de calidad, si siempre aparece), o por 1.0 (si aparece en la mayoría de los casos), o por 0.5 (si la calidad está presente a veces). Como resultado, obtenemos los siguientes resultados:

1) 57 x 1,5 = 85,5;

2) 57 x 1,0 = 57,0;

3) 57 X 0,5 = 28,5.

Así, en el primer caso, si la valoración del empleado supera los 85 puntos, se llega a una conclusión sobre su incremento o inclusión en la reserva para ascenso. En el segundo caso, si la valoración es de 57 a 85 puntos, se llega a una conclusión sobre la idoneidad del puesto ocupado. En el tercer caso, si la puntuación es inferior a 28 puntos, se registra la conclusión de que el empleado no se corresponde con el puesto que ocupa. Al mismo tiempo, también es muy valioso el hecho de que un análisis detallado de las evaluaciones de los expertos sobre las cualidades pueda ayudar a determinar para cada empleado direcciones específicas para mejorar sus actividades.

Los criterios utilizados en la formación del sistema de evaluación deben ser medibles, es decir, debe ser posible evaluar cualquier objeto de experiencia considerado para cada uno de los criterios.

En los casos en los que el criterio que caracteriza a un objeto no puede medirse objetivamente, estamos hablando de criterios subjetivos, teniendo en cuenta, en primer lugar, que no existen criterios objetivos para evaluar objetos de acuerdo con tales criterios y es necesario desarrollar verbales especiales - escalas numéricas.

Naturalmente, criterios como "volumen de producción", "costo de producción", "período de recuperación" pueden clasificarse como objetivos. Al mismo tiempo, criterios como el "fondo de comercio" asociado a la valoración de la propiedad intelectual, la "imagen de la empresa", la "trascendencia social del proyecto" y otros, sólo pueden medirse subjetivamente.

Muchos de los criterios objetivos relacionados con períodos futuros a menudo solo pueden evaluarse subjetivamente. Entonces, por ejemplo, los volúmenes de producción esperados que serán posibles después de la implementación del proyecto, el precio esperado de una unidad de producción, etc., a menudo dependen en gran medida de las evaluaciones de los expertos, que son subjetivos en el sentido estricto de la palabra.

Por lo tanto, la profesionalidad es tan necesaria en la organización y conducción del proceso de evaluación, análisis y procesamiento de los resultados de las evaluaciones de expertos utilizados en el desarrollo y adopción de decisiones de gestión.

Pero el primer paso en el proceso de evaluación de expertos es la formación de un sistema de evaluación adecuado.

Hemos discutido algunos de los requisitos para un conjunto de criterios incluidos en el sistema de evaluación.

La formación práctica de la lista de criterios también es en gran medida un procedimiento experto. Estos pueden ser exámenes de 2-3 rondas, cuando los expertos especifican una lista de criterios formulada preliminarmente.

Al formar un conjunto de criterios, se debe prestar atención a puntos tales como una comprensión clara del significado de cada uno de los criterios por parte de los tomadores de decisiones y los expertos.

En ocasiones, la agregación de criterios resulta útil. Esto se puede lograr tanto reduciendo la redundancia de criterios, especialmente en el caso de una duplicación parcial de criterios, como reduciendo en general el número de criterios, lo cual es importante para reducir la complejidad del trabajo con el sistema de evaluación.

2. 3. Evaluaciones cuantitativas y cualitativas de expertos

Detengámonos ahora en los principales métodos de medición de expertos, métodos para obtener evaluaciones de expertos, que en muchos casos desempeñan un papel decisivo en la toma de decisiones de gestión importantes.

Métodos de obtenciónevaluaciones cuantitativas de expertos

1. Evaluación cuantitativa directa

En el primer caso, cada uno de los expertos indica directamente el valor del indicador para el objeto evaluado. Este puede ser un valor numérico específico del indicador para el objeto evaluado, por ejemplo, el costo de un apartamento residencial; el precio de una unidad de producción al que puede tener una demanda competitiva; tamaño estimado del mercado; volumen de producción óptimo, etc.

Si al experto le resulta difícil indicar un valor específico del indicador, puede indicar el rango en el que se encuentra el valor del indicador estimado.

Es necesario acordar de antemano que, digamos, un valor más alto de la estimación corresponde a una alternativa más preferible. A veces es más conveniente cuantificar la preferencia comparativa de objetos en puntos utilizando escalas de puntos especialmente diseñadas.

2. Método del punto medio

El método se utiliza cuando hay muchas alternativas. Si por f (a1) denotamos la estimación de la primera variante alternativa del valor del indicador con respecto al cual se determina la preferencia comparativa de objetos, por f (a2) - la estimación de la segunda variante alternativa, entonces se le pide al experto que seleccione la tercera variante alternativa a3, cuya estimación f (a3) se encuentra en el medio entre f (a1) yf (a2) y es igual a f (a1) + f (a2) / 2.

En este caso, es aconsejable elegir las alternativas menos y más preferidas como primera y segunda alternativa.

Seguidamente, el experto indica la alternativa a4, cuyo valor f (a4) se ubica en el medio entre f (a1) yf (a3), y la alternativa a5, cuyo valor f (a5) se ubica en el medio entre los valores de f (a1) yf (a4) ...

El procedimiento finaliza cuando se determina la preferencia comparativa de todas las alternativas involucradas en el examen.

3. El método de Churchman: Akof

El método de Churchman-Akof se utiliza para cuantificar la preferencia comparativa de alternativas y permite realizar ajustes en las valoraciones dadas por los expertos.

El método asume que las evaluaciones de alternativas son números no negativos que si la alternativa a1 es preferible a la alternativa a2, entonces f (a1) es mayor que f (a2), y la estimación de la implementación simultánea de las alternativas a1 y a2 es f (a1) + f (a2)).

Todas las alternativas se clasifican según su preferencia, y el experto asigna estimaciones cuantitativas a cada una de ellas, por regla general, en fracciones de una unidad.

4. Método de lotería

De acuerdo con este método, para cualquier triple de las opciones alternativas a1, a2, a3, ordenadas en orden decreciente de preferencia, el experto indica una probabilidad p en la que la alternativa a2 es equivalente a una lotería, en la que la alternativa a1 se encuentra con la probabilidad p, y alternativa a3 - con probabilidad 1 - p.

Métodos de obtenciónevaluaciones de expertos en calidad

A veces, la especificidad de los objetos de la evaluación de expertos es tal que a los expertos les resulta difícil dar estimaciones cuantitativas de los valores de los indicadores estimados o del objeto en su conjunto, y en algunos casos tales evaluaciones son simplemente injustificadas y no permiten obtener información experta suficientemente fiable.

1. Clasificación de expertos

Juicio de expertos y métodos de medición.

La evaluación de expertos es una medida cuantitativa y / o cualitativa del indicador correspondiente.

Métodos para obtener evaluaciones cuantitativas de expertos

Cuantificación directa

El experto indica un valor numérico específico o rango del parámetro requerido.

Método de punto medio.

Se utiliza con una gran cantidad de alternativas.

Primero se seleccionan las alternativas más (A) y menos (I) preferidas. Además, una opción intermedia, M, cuya estimación divide el segmento A - Z por la mitad.

Métodos para obtener evaluaciones de expertos de alta calidad.

Clasificación de expertos (determinación de pertenencia a un grupo, variedad, categoría - variedad de té)

La clasificación de alternativas es el orden de las alternativas comparadas según el grado de preferencia por una determinada característica.

El método de curvas expertas se utiliza para obtener pronósticos basados en el análisis de la dinámica de los indicadores que caracterizan el objeto del experimento (gráfico, extrapolación). Para evitar errores en la extrapolación, con base en la opinión generalizada de expertos, el gráfico identifica los puntos en los que se debe esperar un cambio en la tendencia del indicador.

Las herramientas de los métodos anteriores son escalas cualitativas y cuantitativas.

19. Métodos para evaluar las cualidades de los expertos y la formación de comisiones de expertos.

Método de corte.

El procedimiento es similar a una audiencia judicial. Algunos de los expertos están acusados, algunos están defendiendo, algunos son el jurado que dicta el veredicto final. Las evaluaciones de los expertos son subjetivas, por lo tanto, la cuestión clave es la selección de expertos.

Evaluación de las cualidades de un experto.

Experto- un especialista, profesional, cuyas valoraciones y juicios el decisor considera útiles para tener en cuenta en el proceso de toma de decisiones.

La formación de la composición de la comisión de expertos depende de:

La situación específica de tomar una decisión;

Oportunidades de los organizadores del examen para atraer especialistas altamente calificados para el trabajo;

Oportunidades para que los especialistas participen en los trabajos de la comisión de expertos.

No existe una metodología uniforme generalmente aceptada para evaluar las cualidades de un experto.

Puedes confiar en:

Conocimientos profesionales;

Experiencia y eficiencia de actividades en la composición de comisiones de expertos.

Métodos para evaluar las cualidades de un experto:

A priori- no utilice información sobre los resultados de la participación del experto en exámenes anteriores (autoevaluación, evaluación mutua, el método de la lista de expertos, el método documental (cuestionario)).

Posteriormente- utilizar información sobre los resultados de la participación del experto en exámenes anteriores (el método de comparaciones pareadas de objetos más preferible para este experto, el método de desviación de la evaluación de grupo resultante).

Prueba- Implica una prueba especial.

La prueba debe estar diseñada especialmente para objetos específicos de evaluación de expertos.

El experto no debe conocer los valores reales de los parámetros estimados (respuestas correctas).

Se debe desarrollar una escala para determinar la precisión de las evaluaciones del evaluador.

La probabilidad de adivinar accidentalmente la estimación correcta debe ser muy pequeña.

El uso de métodos de prueba permite evaluar una cualidad profesional tan importante de un experto como la reproducibilidad de las evaluaciones de los expertos. Se llevan a cabo una serie de pruebas similares y se evalúan los resultados obtenidos. La estabilidad de las estimaciones indica la competencia profesional del experto.