Solución: La que encontré por allí, solo que en C# y por pedazos, así que la unifico aquí.
Private Sub DataGridView1_EditingControlShowing(ByVal sender As Object, ByVal e As System.Windows.Forms.DataGridViewEditingControlShowingEventArgs) Handles DataGridView1.EditingControlShowing
'Verifico que la columna sea de texto
If TypeOf e.Control Is TextBox Then
'Indico la columna que deseo cambiar
If DataGridView1.CurrentCell.ColumnIndex = 1 Then
'Pone en mayúsculas la celda del grid
DirectCast(e.Control, TextBox).CharacterCasing = CharacterCasing.Upper
End If
End If
End Sub