¿Cómo puedo convertir de coordenadas del ratón a las coordenadas de píxel de un TransformedBitmap incrustado en una matriz más grande contenedor?

Similar a ¿Cómo puedo convertir de coordenadas del ratón a las coordenadas de píxel de un TransformedBitmap? pero con el añadido de las arrugas que mi Image en realidad está incrustado en una matriz más grande Grid, que tiene un fondo, y me gustaría que el píxel de coordenadas para ser preciso cuando se cierne en las regiones más allá de los límites de la imagen.

Aquí está mi XAML:

    <DockPanel>
        <Label DockPanel.Dock="Bottom" Name="TheLabel" />
        <Grid DockPanel.Dock="Top" Name="TheGrid" Background="Gray" MouseMove="TheGrid_MouseMove">
            <Image Name="TheImage" Stretch="Uniform" RenderOptions.BitmapScalingMode="NearestNeighbor" />
        </Grid>
    </DockPanel>

Y aquí está el código:

        public MainWindow()
        {
            InitializeComponent();

            const int WIDTH = 4;
            const int HEIGHT = 3;
            byte[] pixels = new byte[WIDTH * HEIGHT * 3];
            // top-left corner red, bottom-right corner blue for orientation
            pixels[0] = Colors.Red.B;
            pixels[1] = Colors.Red.G;
            pixels[2] = Colors.Red.R;
            pixels[(WIDTH * (HEIGHT - 1) + (WIDTH - 1)) * 3 + 0] = Colors.Blue.B;
            pixels[(WIDTH * (HEIGHT - 1) + (WIDTH - 1)) * 3 + 1] = Colors.Blue.G;
            pixels[(WIDTH * (HEIGHT - 1) + (WIDTH - 1)) * 3 + 2] = Colors.Blue.R;
            BitmapSource bs = BitmapSource.Create(WIDTH, HEIGHT, 96.0, 96.0, PixelFormats.Bgr24, null, pixels, WIDTH * 3);
            TheImage.Source = new TransformedBitmap(bs, new RotateTransform(90.0));
        }

        private void TheGrid_MouseMove(object sender, MouseEventArgs e)
        {
            Point p = TheGrid.TranslatePoint(e.GetPosition(TheGrid), TheImage);
            if (TheImage.Source is BitmapSource bs)
            {
                p = new Point(p.X * bs.PixelWidth / TheImage.ActualWidth, p.Y * bs.PixelHeight / TheImage.ActualHeight);
                if (TheImage.Source is TransformedBitmap tb)
                {
                    Matrix inverse = tb.Transform.Value;
                    inverse.Invert();
                    inverse.OffsetX = 0.0;
                    inverse.OffsetY = 0.0;
                    p = inverse.Transform(p);
                    int w = tb.Source.PixelWidth;
                    int h = tb.Source.PixelHeight;
                    p = new Point((p.X + w) % w, (p.Y + h) % h);
                }
                TheLabel.Content = p.ToString();
            }
        }

Para la mayor parte, esto funciona bien, pero si pasa el ratón en el gris a la izquierda de la imagen rotada (aproximadamente donde la X es en la imagen de abajo), se obtiene una coordenada y (0.5) que hace que se vea como en la imagen, cuando en realidad se fuera, y la coordenada debe ser superior a la altura de la imagen para reflejar esto.

Esto es importante porque estoy tratando de permitir que el usuario seleccione un retorno de la inversión, y necesito saber cuando la selección está más allá de la imagen límites, aunque todavía quiero que lo permita.