python如何查找图片按钮的坐标位置

2022-11-30 99阅读 0评论

Python查找图片按钮?=坐标位置

因为业务需求,了解到一些python自动化的内容,其中有似于airtest截图点击的东西。

本来是想使用pyautoGUI来实现获取图片坐标的功能,但是pyautogUI对于小尺寸的图片识别不准确,或者说是识别不到,一番查找之下,发现另一个工具,做了封装如下。

1,使用pyaut

x, y=pyautogui.locateCenterOnScreen("img_path") # 如果查找到值,会返回坐标的元组找不到返回None。上面的写法会报错 print(x, y) pyautogui.click(x,y) # 点击操作 

2,使用aircv

def matchImg(imGobj,confIDence=0.7): 	""" 		imGObj:待查找的图片 		confidence:最低相似度 	""" 	# 截取桌面操作,写入内存中,不必每次都保存实体图片 screenshotIm = screenshot(regiON=None) desktop = np.array(screenshotIm) imobj = ac.imread(imgobj)      return ac.find_template(desktop ,imobj,confidence)   if __name__ == "__main__": imgobj = 'img_path' print(matchImg(imgsrc,imgobj,confidencevalue)) 

返回值含桌面大小,中心点,和待查询图片的四角坐标。否则为None

读取图片区域坐标的方法记录

首先是导入需要使用的

import cv2 import time import win32gui, win32ui, win32con import os

1、然后是获取需要的图片或者无需获取,已有图片。(可通过直接截取图片)

'''1、窗口截图,直接获取当前最前面的全屏幕截图''' def window_capture(filename,w=1920,h=1080): hwnd = 0  # 窗口的编号,0号表示当前活跃窗口 # 根据窗口句柄获取窗口的设备上下文DC(DIvice Context) hwndDC = win32gui.GetWindowDC(hwnd) # 根据窗口的DC获取mfcDC mfcDC = win32ui.CreateDCfromHandle(hwndDC) # mfcDC创建可兼容的DC saveDC = mfcDC.CreateCompatibleDC() # 创建bigMap准备保存图片 saveBitmap = win32ui.CreateBitmap() # 为bitmap开辟空间 saveBitMap.CreateCompatibleBitmap(mfcDC, w, h) # 高度saveDC,将截图保存到saveBitmap中 saveDC.selectobject(saveBitMap) # 截取从左上角(0,0)长宽为(w,h)的图片 saveDC.BitBlt((0, 0), (w, h), mfcDC, (0, 0), win32con.SRCCopy) saveBitMap.SaveBitmapFile(saveDC, filename) return True

2、将获取的图片路径传递给识别图片坐标的函数

g_rectangle = [0, 0, 0, 0] #设置初始值坐标 clicked = False g_startPoint = [0, 0] #设置初始值获取的坐标 def startRoi(path): cv2.namedWindow("IMG_Show", 0)# 创建画布 cv2.resizeWindow("IMG_Show", 1920, 1080)  # 设置长和宽 cv2.setMouseCallback("IMG_Show", onMouse) # 连接鼠标 # 按"Esc"退出 print("如果想要退出窗口,点击按钮 ESC,退出窗口...") while cv2.waitKey(30) != 27: #监听事件 global frame frame = cv2.imread(path,cv2.IMREAD_COLOR)  #读取图片数据 # 画矩形 ''' 由(x_min,x_max)组成,为绘制的边框的左上角; (g_rectangle[0], g_rectangle[1]), (g_rectangle[2], g_rectangle[3]):设置为绘制的边框的左上角和绘制的边框的右下角 (0, 0, 255):指定边框的颜色,由(B,G,R)组成,当为(255,0,0)时为绿色,可以自由设定; 1:线条的粗细值,为正值时代表线条的粗细(以像素为单位) ''' cv2.rectangle(frame, (g_rectangle[0], g_rectangle[1]), (g_rectangle[2], g_rectangle[3]), (0, 0, 255), 2) cv2.imshow("IMG_Show", frame) # cv2.destroyWindow("IMG_Show")  ''' event:当前发生的鼠标事件类型 x和y:发生鼠标事件时鼠标在图像位置的x,y坐标 flags:  cv2_EVENT_FLAG_* (MouseEventFlags)类型的变量 param: 自定义的传递给 setMouseCallback 函数调用参数 ''' # x和y: 发生鼠标事件时鼠标在图像位置的x,y坐标 def onMouse(event, x, y, flags, param): global clicked global g_rectangle global g_startPoint  if event == cv2.EVENT_MOUSEMOVE:  # 滑动 if clicked == True: #当鼠标点击时,打印一下信息 g_rectangle[0] = g_startPoint[0] g_rectangle[1] = g_startPoint[1] #实时获取,对应变化后的x,y坐标 g_rectangle[2] =  x g_rectangle[3] =  y print("坐标:%s" % g_rectangle) # 左键按下事件 if event == cv2.EVENT_LBUTTONDOWN: # 左键点击 #获取鼠标第一时间点击的坐标 g_startPoint[0] = x g_startPoint[1] = y clicked = True # 左键弹起事件 if event == cv2.EVENT_LBUTTONUP:   # 左键放开 print("====================选中框的坐标:===========================") print("矩形框左上角坐标:") print(g_rectangle[0], g_rectangle[1]) print("矩形框右下角坐标:") print(g_rectangle[2], g_rectangle[3]) print("矩形框宽度:") print(g_rectangle[2]-g_rectangle[0]) print("矩形框高度:") print(g_rectangle[3]-g_rectangle[1]) clicked = False

3、通过画布显示,在上面可以进行画框自动识别出图片区域的坐标。(如下图)

python如何查找图片按钮的坐标位置

4、全部代码展示:

''' 读取图片的坐标 ''' import cv2 import time import win32gui, win32ui, win32con import os  '''1、窗口截图''' def window_capture(filename,w=1920,h=1080): hwnd = 0  # 窗口的编号,0号表示当前活跃窗口 # 根据窗口句柄获取窗口的设备上下文DC(Divice Context) hwndDC = win32gui.GetWindowDC(hwnd) # 根据窗口的DC获取mfcDC mfcDC = win32ui.CreateDCFromHandle(hwndDC) # mfcDC创建可兼容的DC saveDC = mfcDC.CreateCompatibleDC() # 创建bigmap准备保存图片 saveBitMap = win32ui.CreateBitmap() # 为bitmap开辟空间 saveBitMap.CreateCompatibleBitmap(mfcDC, w, h) # 高度saveDC,将截图保存到saveBitmap中 saveDC.SelectObject(saveBitMap) # 截取从左上角(0,0)长宽为(w,h)的图片 saveDC.BitBlt((0, 0), (w, h), mfcDC, (0, 0), win32con.SRCCOPY) saveBitMap.SaveBitmapFile(saveDC, filename) return True   g_rectangle = [0, 0, 0, 0] #设置初始值坐标 clicked = False g_startPoint = [0, 0] def startRoi(path): cv2.namedWindow("IMG_Show", 0)# 创建画布 cv2.resizeWindow("IMG_Show", 1920, 1080)  # 设置长和宽 cv2.setMouseCallback("IMG_Show", onMouse) # 连接鼠标 # 按"Esc"退出 print("如果想要退出窗口,点击按钮 ESC,退出窗口...") while cv2.waitKey(30) != 27: #监听事件 global frame frame = cv2.imread(path,cv2.IMREAD_COLOR)  #读取图片数据 # 画矩形 ''' 由(x_min,x_max)组成,为绘制的边框的左上角; (g_rectangle[0], g_rectangle[1]), (g_rectangle[2], g_rectangle[3]):设置为绘制的边框的左上角和绘制的边框的右下角 (0, 0, 255):指定边框的颜色,由(B,G,R)组成,当为(255,0,0)时为绿色,可以自由设定; 1:线条的粗细值,为正值时代表线条的粗细(以像素为单位) ''' cv2.rectangle(frame, (g_rectangle[0], g_rectangle[1]), (g_rectangle[2], g_rectangle[3]), (0, 0, 255), 2) cv2.imshow("IMG_Show", frame) # cv2.destroyWindow("IMG_Show")  ''' event:当前发生的鼠标事件类型 x和y:发生鼠标事件时鼠标在图像位置的x,y坐标 flags:  cv2_EVENT_FLAG_* (MouseEventFlags)类型的变量 param: 自定义的传递给 setMouseCallback 函数调用的参数 ''' # x和y: 发生鼠标事件时鼠标在图像位置的x,y坐标 def onMouse(event, x, y, flags, param): global clicked global g_rectangle global g_startPoint  if event == cv2.EVENT_MOUSEMOVE:  # 滑动 if clicked == True: #当鼠标点击时,打印一下信息 g_rectangle[0] = g_startPoint[0] g_rectangle[1] = g_startPoint[1] #实时获取,对应变化后的x,y坐标 g_rectangle[2] =  x g_rectangle[3] =  y print("坐标:%s" % g_rectangle) # 左键按下事件 if event == cv2.EVENT_LBUTTONDOWN: # 左键点击 #获取鼠标第一时间点击的坐标 g_startPoint[0] = x g_startPoint[1] = y clicked = True # 左键弹起事件 if event == cv2.EVENT_LBUTTONUP:   # 左键放开 print("====================选中框的坐标:===========================") print("矩形框左上角坐标:") print(g_rectangle[0], g_rectangle[1]) print("矩形框右下角坐标:") print(g_rectangle[2], g_rectangle[3]) print("矩形框宽度:") print(g_rectangle[2]-g_rectangle[0]) print("矩形框高度:") print(g_rectangle[3]-g_rectangle[1]) clicked = False  if __name__ == '__main__': path = r"./save_img/jietu.jpg" if not os.path.isdir: os.mkdir(path) ret =  window_capture(filename=path) time.sleep(0.2) if ret == True: startRoi(path) 

以上为个人经验,希望能给大家一个参考,也希望大家多多支持云初冀北。

免责声明
本站提供的资源,都来自网络,版权争议与本站无关,所有内容及软件的文章仅限用于学习和研究目的。不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负,我们不保证内容的长久可用性,通过使用本站内容随之而来的风险与本站无关,您必须在下载后的24个小时之内,从您的电脑/手机中彻底删除上述内容。如果您喜欢该程序,请支持正版软件,购买注册,得到更好的正版服务。侵删请致信E-mail:goliszhou@gmail.com
$

发表评论

表情:
评论列表 (暂无评论,99人围观)

还没有评论,来说两句吧...