Solución: La que encontré por allí, solo que en C# y por pedazos, así que la unifico aquí.
Private Sub DataGridView1_EditingControlShowing(ByVal sender As Object, ByVal e As System.Windows.Forms.DataGridViewEditingControlShowingEventArgs) Handles DataGridView1.EditingControlShowing 'Verifico que la columna sea de texto If TypeOf e.Control Is TextBox Then 'Indico la columna que deseo cambiar If DataGridView1.CurrentCell.ColumnIndex = 1 Then 'Pone en mayúsculas la celda del grid DirectCast(e.Control, TextBox).CharacterCasing = CharacterCasing.Upper End If End If End Sub