Virtualización en QA Testing

Recientemente tuve que utilizar varias máquinas virtuales para ejecutar pruebas y resulta que la única alternativa que tuve a mano fue la utilización de Virtual PC (Microsoft). Luego de haber finalizado las pruebas, emití un informe resumido donde también explico los problemas que tuve y que solución podría aplicarse para esos problemas.

Los problemas básicamente tuvieron que ver con que más del 35% del tiempo fue utilizado en generación de Upgrades de los sistemas que estuve utilizando, como también procesos de desinstalación, limpiezas de registros y otras cosas tradicionales. Este porcentaje se vio agrabado, ya que al no disponer de un servidor dedicado de máquinas virtuales, fue necesario mover archivos de un PC a otro, cuidando espacios de discos, rendimientos de PC anfitrionas y por supuesto, el preciado tiempo del que dispongo para cumplir mis objetivos.

Dado esta última restricción, tiempo, es que decidí lisa y llanamente, realizar los procesos de instalación / desinstalación / upgrades, etc. utilizando solo dos equipos anfitriones donde correrían 4 máquinas virtuales en total.

Las respuestas a mi informe no se hicieron esperar y ahora estoy en la tarea de una comparación para determinar que tecnología podría ser mejor para aplicar en un entorno de testing dedicado, de manera virtualizada.
Por suerte ya tuve la experiencia de trabajar en entornos especializados, virtuales, para testing y puedo contar al menos como fue con VMWare.

Pero lejos de contar esto, solo quiero destacar que la discusión actual se centra en que hardware es necesario para dar soporte a la virtualización y es así que llegué a observar un lindo cuadro comparativo que hizo un tal “Termik”, usuario del lejendario sitio Softonic.

Termik compara el rendimiento de Virtual PC, VirtualBox y VMware, con “Host”, que es el rendimiento de su sistema operativo. Así se pueden ver de maravilla las diferencias de hacer una misma acción en una máquina virtual y hacerlo directamente en el sistema operativo instalado. De verdad, con opiniones así da gusto.

Comparativa de rendimiento software virtualización

Las pruebas han sido realizadas utilizando como equipo host un portátil Pentium M 1.6 GHz con 752 Mb de RAM.

Las máquinas virtuales han sido Windows XP SP2 Profesional con 320 Mb de RAM y disco duro de expansión dinámica. Para que la comparativa de rendimiento sea más precisa todas las instalaciones han sido nuevas, instalándose como único software: PC Mark 2005, 7-Zip, Direct-X 9 y los drivers exclusivos para virtualización.

PC Mark 2005 es una referencia en la industria para evaluar el rendimiento de un PC, pero en este caso debido a las peculiaridades de una máquina virtual (no admite aceleración gráfica por hardware y el disco duro es virtual) nos hemos ceñido solo en realizar los test de rendimiento CPU y Memoria.

7-Zip es una excelente herramienta de compresión que admite la ultra-compresión, consiguiendo unos ratios de compresión mejores que Zip, Rar y Ace. El método de compresión Ultra necesita de unos altos requerimientos de RAM y de CPU siendo un método formidable para evaluar el rendimiento de una máquina. Podíamos haber utilizado también algún compresor de vídeo, pero con 7-Zip ya nos basta.

El software de virtualización evaluado ha sido Virtual PC 2007, VirtualBox 1.5.2 y VMware 6.02.

Debido a que la velocidad de reloj de las máquinas virtuales se descontrola un poco ante pruebas de estrés el resultado obtenido por PC Mark 2005 no ha sido todo lo preciso que pudiera ser, para el resto de pruebas hemos utilizado un cronómetro externo. La realización de cada una de las pruebas ha sido ejecutada previo reinicio de la máquina virtual y ha sido realizada tres veces, el resultado mostrado es la media de las tres, solo para PC Mark 2005 – CPU hemos necesitado de 12 reinicios (4 x 3).

Puntuación PC Mark 2005 – CPU:

• Host: 2807
• Virtual PC: 2704
• VirtualBox: 2742
• VMware: 2730

Puntuación PC Mark 2005 – RAM:

• Host: 2345
• Virtual PC: 2333
• VirtualBox: 2245
• VMware: 2087

Tiempo empleado en copiar 345 Mb de archivos del Host a la máquina virtual:

• Virtual PC: 2 min. 35 seg.
• VirtualBox: 2 min. 37 seg.
• VMware: 1 min. 24 seg.
Tiempo empleado en comprimir con 7-Zip:

(345 Mb de archivos método Ultra, tamaño de diccionario 16 Mb y de palabra 256)

• Host: 7 min. 21 seg.
• Virtual PC: 8 min. 19 seg.
• VirtualBox: 12 min. 30 seg.
• VMware: 7 min. 52 seg.

Tiempo empleado en iniciar la máquina:

• Host: 40 seg.
• Virtual PC: 41 seg.
• VirtualBox: 14 seg.
• VMware: 42 seg.

Consumo de RAM con la máquina virtual en ejecución:

• Virtual PC: 348 MB
• VirtualBox: 355 MB
• VMware: 397 MB

Tamaño de la instalación:

• Virtual PC: 36 MB
• VirtualBox: 33 MB
• VMware: 733 MB

A lo largo de los últimos años hemos visto como han ido mejorando cada vez más el rendimiento de estas máquinas virtuales, acercándose cada vez más al ordenador que las aloja (host), en el caso de Virtual PC 2007 por ejemplo se ha conseguido triplicar el rendimiento de la versión 2004. En el caso de VMware el rendimiento es de un 93% del host!!! Si nuestro procesador soporta virtualización puede mejorarse aún más.

fuente: Softonic

En lo personal creo que este tópico solo tiene sentido discutirlo y analizarlo, si los problemas por trabajar con equipos anfitriones comunes, son superiores a las soluciones que actualmente podemos brindar.

Por lo pronto voy identificando que para Testing es dramático la pérdida del 50% del tiempo asignado, solo para generación de ambiente.

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s