Contenidos
- Instalar PyAutoGUI y Pillow para Python
- Instrucciones en Python que permiten detectar las coordenadas (screenshot realiza una captura de pantalla y locateOnScreen localiza las coordenadas en la captura de la imagen que queramos, en nuestro caso siguiendo.png)
- Script en PowerShell que llama al script de Python (obtenemos las coordenadas en una variable de PowerShell)
- Hacer clic en la posición en donde aparece el texto detectado desde Python
Instalar PyAutoGUI y Pillow para Python
Install PyAutoGUI
|
1 |
pip.exe install pyautogui |
Instalar Pillow
|
1 |
pip install Pillow --upgrade |
Instrucciones en Python que permiten detectar las coordenadas (screenshot realiza una captura de pantalla y locateOnScreen localiza las coordenadas en la captura de la imagen que queramos, en nuestro caso siguiendo.png)
Es muy importante hacer un buen recorte de la imagen que queremos reconocer dentro de la captura de pantalla.
|
1 2 3 4 5 |
import pyautogui import time time.sleep(2) pyautogui.screenshot() print(pyautogui.locateOnScreen("siguiendo.png")) |
Script en PowerShell que llama al script de Python (obtenemos las coordenadas en una variable de PowerShell)
|
1 2 3 4 5 6 7 8 9 |
$codigop = 'import pyautogui import time time.sleep(2) pyautogui.screenshot() print(pyautogui.locateOnScreen("siguiendo.png"))' $codigop | Out-File scriptp.py -Encoding utf8 $posicion = python scriptp.py |
Hacer clic en la posición en donde aparece el texto detectado desde Python
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 |
$codigop = 'import pyautogui import time time.sleep(2) pyautogui.screenshot() print(pyautogui.locateOnScreen("siguiendo.png"))' $codigop | Out-File scriptp.py -Encoding utf8 $posicion = python scriptp.py $posicion = $posicion.replace("Box(","").replace(")","").split(",").trim() $MouseEventSig = @' [DllImport("user32.dll",CharSet=CharSet.Auto, CallingConvention=CallingConvention.StdCall)] public static extern void mouse_event(long dwFlags, long dx, long dy, long cButtons, long dwExtraInfo); '@ $MouseEvent = Add-Type -memberDefinition $MouseEventSig -name "MouseEventWinApi" -passThru Start-Sleep -Seconds 5 [System.Windows.Forms.Cursor]::Position = New-Object System.Drawing.Point(([Int]$posicion[0].replace("left=","")+15),([Int]$posicion[1].replace("top=","")+15)) $MouseEvent::mouse_event(0x00000002, 0, 0, 0, 0) $MouseEvent::mouse_event(0x00000004, 0, 0, 0, 0) |