Python/자동화
-
Selenium은 웹 브라우저를 자동으로 제어하여 웹페이지를 테스트하고 조작할 수 있게 해주는 프레임워크입니다. 특히 웹 개발자와 QA 엔지니어에게 매우 인기 있는 도구 중 하나입니다. Selenium의 주요 특징: 다양한 언어 지원: Java, Python, C#, Ruby, JavaScript 등 다양한 프로그래밍 언어에서 사용할 수 있습니다. 브라우저 호환성: 대부분의 주요 웹 브라우저(Chrome, Firefox, Safari, Edge 등)와 호환됩니다. 또한 각 브라우저마다의 WebDriver를 제공하여 해당 브라우저를 자동으로 제어할 수 있습니다. 다양한 플랫폼 지원: Windows, macOS, Linux 등 다양한 운영 체제에서 사용할 수 있습니다. 다양한 웹 테스팅 기능: 웹페이지의 요..
[파이썬 웹크롤링 기초] selenium 소개 및 사용법 1탄Selenium은 웹 브라우저를 자동으로 제어하여 웹페이지를 테스트하고 조작할 수 있게 해주는 프레임워크입니다. 특히 웹 개발자와 QA 엔지니어에게 매우 인기 있는 도구 중 하나입니다. Selenium의 주요 특징: 다양한 언어 지원: Java, Python, C#, Ruby, JavaScript 등 다양한 프로그래밍 언어에서 사용할 수 있습니다. 브라우저 호환성: 대부분의 주요 웹 브라우저(Chrome, Firefox, Safari, Edge 등)와 호환됩니다. 또한 각 브라우저마다의 WebDriver를 제공하여 해당 브라우저를 자동으로 제어할 수 있습니다. 다양한 플랫폼 지원: Windows, macOS, Linux 등 다양한 운영 체제에서 사용할 수 있습니다. 다양한 웹 테스팅 기능: 웹페이지의 요..
2024.03.23 -
파이썬으로 네이버에 검색된 최신 뉴스를 크롤링 해봅시다. 여러분은 매일 확인하는 뉴스가 있나요? 특히 검색해서 확인하는 키워드가 있다면 이번 포스팅은 정말 큰 도움이 될것입니다. 코드부터 바로 볼게요! from selenium import webdriver from selenium.webdriver.common.keys import Keys from selenium.webdriver.common.by import By import time # step1. 검색할 키워드 입력 query = input('검색 키워드 입력:') time.sleep(5) # step2. 크롬드라이버로 원하는 url 접속 url = 'https://www.naver.com' driver = webdriver.Chrome() dr..
(파이썬 웹크롤링) 네이버 뉴스 크롤링파이썬으로 네이버에 검색된 최신 뉴스를 크롤링 해봅시다. 여러분은 매일 확인하는 뉴스가 있나요? 특히 검색해서 확인하는 키워드가 있다면 이번 포스팅은 정말 큰 도움이 될것입니다. 코드부터 바로 볼게요! from selenium import webdriver from selenium.webdriver.common.keys import Keys from selenium.webdriver.common.by import By import time # step1. 검색할 키워드 입력 query = input('검색 키워드 입력:') time.sleep(5) # step2. 크롬드라이버로 원하는 url 접속 url = 'https://www.naver.com' driver = webdriver.Chrome() dr..
2024.03.21 -
자신의 이미지를 업로드하여 url로 만들고 타인과 쉽게 공유할 수 있는 사이트가 있습니다. 근데 다른 사람들은 어떤 사진들을 올리는지 궁금하기도 합니다 ㅋㅋ 하나하나 검색해 보지 말고 한번 크롤링 해봅시다. 단순한 호기심에 파이썬 자동화 스크립트를 만들어봤는데 이미지 수집이 잘 되더군요. 여러분도 너무 코딩으로 정직한 프로그램만 만들지 만들고 한 번씩 이런 이상한 호기심도 채워보고 즐겨보시는 걸 권장 드립니다. https://image.kilho.net/ 이미지창고 이미지 파일을 서버에 업로드하고 공유하세요. 특징 회원가입 필요 없이 공유할 이미지를 올리시면 됩니다. 완전 공짜로 사용하실 수 있습니다. 생성된 단축주소를 이용해 주변 친구들에게 쉽 image.kilho.net 위의 사이트에 들어가면 공유할..
(파이썬 웹크롤링) 이미지 창고의 이미지들을 크롤링 해보자!(feat.길호넷)자신의 이미지를 업로드하여 url로 만들고 타인과 쉽게 공유할 수 있는 사이트가 있습니다. 근데 다른 사람들은 어떤 사진들을 올리는지 궁금하기도 합니다 ㅋㅋ 하나하나 검색해 보지 말고 한번 크롤링 해봅시다. 단순한 호기심에 파이썬 자동화 스크립트를 만들어봤는데 이미지 수집이 잘 되더군요. 여러분도 너무 코딩으로 정직한 프로그램만 만들지 만들고 한 번씩 이런 이상한 호기심도 채워보고 즐겨보시는 걸 권장 드립니다. https://image.kilho.net/ 이미지창고 이미지 파일을 서버에 업로드하고 공유하세요. 특징 회원가입 필요 없이 공유할 이미지를 올리시면 됩니다. 완전 공짜로 사용하실 수 있습니다. 생성된 단축주소를 이용해 주변 친구들에게 쉽 image.kilho.net 위의 사이트에 들어가면 공유할..
2024.03.21 -
파이썬으로 자동화할때 죽지않고 계속 일정 간격으로 명령어를 실행하는 스크립트가 필요할때가 있다. 답은 daemon을 사용하면 된다. 코드부터 보자 import socket import subprocess import time import os import sys import daemon from daemon import pidfile from daemon import runner import argparse def runPortChecker(): while True: time.sleep(5) sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM) result = sock.connect_ex(('127.0.0.1', 8000)) # ip, port if res..
python 죽지않는 daemon 스크립트 짜기파이썬으로 자동화할때 죽지않고 계속 일정 간격으로 명령어를 실행하는 스크립트가 필요할때가 있다. 답은 daemon을 사용하면 된다. 코드부터 보자 import socket import subprocess import time import os import sys import daemon from daemon import pidfile from daemon import runner import argparse def runPortChecker(): while True: time.sleep(5) sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM) result = sock.connect_ex(('127.0.0.1', 8000)) # ip, port if res..
2024.03.07 -
웹 브라우저에서 컴퓨터를 켰을때나 특정 일을 반복할때 유용한 자동화 테크닉이다. 코드부터 보자 우선 열려 있는 브라우저를 찾아야한다 아래는 크롬 브라우저를 찾는 함수다. # Chrome 브라우저 창을 찾는 함수 def findChromeWindow(): try: # xdotool 명령어 실행하여 Chrome 브라우저 창의 ID 가져오기 cmd = "xdotool search --onlyvisible --class Chrome" chromeWindowId = os.popen(cmd).read().strip() print('chromeWindowId', chromeWindowId) return chromeWindowId except Exception as e: print(f"오류 발생: {e}") retur..
python으로 xdotool을 사용해서 크롬 브라우저를 찾아 특정 포인트를 클릭해보자웹 브라우저에서 컴퓨터를 켰을때나 특정 일을 반복할때 유용한 자동화 테크닉이다. 코드부터 보자 우선 열려 있는 브라우저를 찾아야한다 아래는 크롬 브라우저를 찾는 함수다. # Chrome 브라우저 창을 찾는 함수 def findChromeWindow(): try: # xdotool 명령어 실행하여 Chrome 브라우저 창의 ID 가져오기 cmd = "xdotool search --onlyvisible --class Chrome" chromeWindowId = os.popen(cmd).read().strip() print('chromeWindowId', chromeWindowId) return chromeWindowId except Exception as e: print(f"오류 발생: {e}") retur..
2024.03.07 -
특정 폴더를 제외한 모든 폴더를 삭제하는 Python 코드 입니다. 아래 코드는 특정 폴더를 지정하고 그 폴더를 제외한 모든 폴더를 삭제하는 예제입니다. import os import shutil def delete_all_folders_except(folder_to_keep, base_folder): for root, dirs, files in os.walk(base_folder, topdown=False): for name in dirs: folder_path = os.path.join(root, name) if folder_path != folder_to_keep: # 특정 폴더를 제외하고 삭제 shutil.rmtree(folder_path) print(f"Deleted folder: {folder..
python 폴더안 특정 폴더만 빼고 삭제하는 코드특정 폴더를 제외한 모든 폴더를 삭제하는 Python 코드 입니다. 아래 코드는 특정 폴더를 지정하고 그 폴더를 제외한 모든 폴더를 삭제하는 예제입니다. import os import shutil def delete_all_folders_except(folder_to_keep, base_folder): for root, dirs, files in os.walk(base_folder, topdown=False): for name in dirs: folder_path = os.path.join(root, name) if folder_path != folder_to_keep: # 특정 폴더를 제외하고 삭제 shutil.rmtree(folder_path) print(f"Deleted folder: {folder..
2024.02.21 -
우선 전체 코드 바로 공개 하겠습니다. 아래의 코드 실행시 파일과 같은 위치에서 imgs 폴더를 꼭 생성해주세요!! import ssl ssl._create_default_https_context = ssl._create_unverified_context from selenium import webdriver from selenium.webdriver.common.keys import Keys from selenium.webdriver.common.by import By import time import urllib.request searchKey = input('검색 키워드 입력:') driver = webdriver.Chrome() driver.get("https://www.google.co.kr/i..
(파이썬 웹크롤링) 구글 이미지 크롤링우선 전체 코드 바로 공개 하겠습니다. 아래의 코드 실행시 파일과 같은 위치에서 imgs 폴더를 꼭 생성해주세요!! import ssl ssl._create_default_https_context = ssl._create_unverified_context from selenium import webdriver from selenium.webdriver.common.keys import Keys from selenium.webdriver.common.by import By import time import urllib.request searchKey = input('검색 키워드 입력:') driver = webdriver.Chrome() driver.get("https://www.google.co.kr/i..
2023.02.24