Solución: Usar la función Convert.
Ejemplo.
Esto sirve para convertir a caracteres lo que se encuentre en un campo.
Dim valor as String valor = System.Convert.ToString(DataGridView1.Rows(fila).Cells(columna).Value)
Para convertir a número.
Dim valor as Integer valor = System.Convert.ToInt32(DataGridView1.Rows(fila).Cells(columna).Value)
Para convertir a boleano.
Dim valor as Boolean valor = System.Convert.ToBoolean(DataGridView1.Rows(fila).Cells(columna).Value)
Lo he probado con campos texto, no he probado como funciona en campos combos o check.
Sirve especialmente cuando se tiene campos en blanco.
Pero para validar campos vacíos cuyo error es DBNull se utiliza lo siguiente.
If DataGridView1.Rows(fila).Cells(columna).Value Is DBNull.Value Then 'Aquí pongo lo que pasaría si el campo está en blanco o nulo End If