티스토리 뷰
Data Analytics/Machine learning(ML) study
초보를 위한 뉴스기사 분류 비지도 모델 (kmeans)
peter was here 2022. 1. 2. 19:54728x90
안녕하세요. 이번 시간에는 초보를 위한 뉴스기사 분류 비지도 모델 (kmeans) 에 대해서 알아보고자 합니다.
최근들어, 초보를 위한 뉴스기사 분류 비지도 모델 (kmeans)에 대한 관심이 많아져서 오늘 알아보는 자료를 포스팅하게 되었습니다.
늘 말씀드리지만, 저보다 훌륭한 글들로 이미 포스팅해주신 다른 분들이 많기 때문에 이번 초보를 위한 뉴스기사 분류 비지도 모델 (kmeans) 포스팅에서 부족한 부분은 다른 블로거 분들을 통해서 충분히 얻으실 수 있습니다.
그럼 python 초보자 분들도 충분히 하실 수 있을 초보를 위한 뉴스기사 분류 비지도 모델 (kmeans) 시작합니다.
예제 파일은 아래에 첨부했습니다.
기사 분류 (비지도학습 군집)¶
In [1]:
# !pip install tweepy==3.10.0
라이브러리 모듈이 없는 경우, 아래의 구문대로 !(느낌표)를 붙여서 설치합니다.¶
In [3]:
# !pip install sklearn
In [23]:
import pickle
from konlpy.tag import Okt
import matplotlib.pyplot as plt
from sklearn.metrics import silhouette_samples, silhouette_score
import numpy as np
import pandas as pd
import warnings
warnings.filterwarnings(action='ignore')
In [5]:
with open('./data/news_sample.pickle', 'rb') as f:
data = pickle.load(f)
In [6]:
data.head()
Out[6]:
| title | url | newsBody | |
|---|---|---|---|
| 0 | 푸조 2008, 전기차‧디젤 '맘대로 골라 타' | https://news.naver.com/main/read.nhn?mode=LSD&... | 컴팩트 SUV 뉴 푸조 2008 풀 체인지 파워 오브 초이스 디젤 중심 라인업 일대... |
| 1 | 국토부, 테슬라 '국산차 동일조건' 첫 결함조사 | https://news.naver.com/main/read.nhn?mode=LSD&... | 오토파일럿 중 긴급제동‧차선이탈방지 두 항목 CBS노컷뉴스 유동근 기자 사진 연합뉴... |
| 2 | 현대차 노조 "올해 교섭 키워드는 생존과 미래" | https://news.naver.com/main/read.nhn?mode=LSD&... | 사회적 여론 앞에 많은 성과 내기 녹록지 않아 현대차 노사 교섭위원들이 2019년 ... |
| 3 | 혼다, ‘2020 퓨처 모빌리티 어워드’ 최고상 수상 | https://news.naver.com/main/read.nhn?mode=LSD&... | 혼다 eⓒ혼다코리아 혼다는 ‘혼다 e Honda e ’가 KAIST 한국과학기술원 ... |
| 4 | 푸조, '올 뉴 2008' SUV 전기·디젤 모델 출시…3248만원부터 | https://news.naver.com/main/read.nhn?mode=LSD&... | 3D 아이 콕핏 과 자율주행 2단계 수준의 ADAS 등 갖춰 올 뉴 푸조 2008 ... |
1. 자연어 처리¶
In [7]:
Okt = Okt()
def Okt_tokenizer(text):
token_ko = Okt.morphs(text)
return token_ko
- 에러발생 : No JVM shared library file (libjli.dylib) found. Try setting up the JAVA_HOME environment variable properly.
- 해결책 : 터미널 > brew install --cask adoptopenjdk11
1-1) 형태소 구문별로 분석¶
In [8]:
## 이렇게 생긴 구문을
data['newsBody'][0][:50]
Out[8]:
'컴팩트 SUV 뉴 푸조 2008 풀 체인지 파워 오브 초이스 디젤 중심 라인업 일대 혁신 'In [9]:
## 이렇게 분석해줍니다.
Okt_tokenizer(data['newsBody'][0][:50])
Out[9]:
['컴팩트',
'SUV',
'뉴',
'푸조',
'2008',
'풀',
'체인지',
'파워',
'오브',
'초이스',
'디젤',
'중심',
'라인업',
'일대',
'혁신']2. TF-IDF 벡터화¶
In [10]:
from sklearn.feature_extraction.text import TfidfVectorizer
In [11]:
tfidf_vect = TfidfVectorizer(tokenizer=Okt_tokenizer, min_df = 3, max_df=0.9)
tfidf_vect.fit(data['newsBody'])
tfidf_matrix_train = tfidf_vect.transform(data['newsBody'])
In [12]:
tfidf_matrix_train
Out[12]:
<63x1307 sparse matrix of type '<class 'numpy.float64'>'
with 10624 stored elements in Compressed Sparse Row format>3. 군집분석¶
In [13]:
from sklearn.cluster import KMeans
km_cluster = KMeans(n_clusters=5, max_iter=10000, random_state=0)
km_cluster.fit(tfidf_matrix_train)
cluster_label = km_cluster.labels_
cluster_centers = km_cluster.cluster_centers_
In [ ]:
In [14]:
## 벡터화를 통해 군집분류를 진행함
data['cluster_label'] = cluster_label
data.head()
Out[14]:
| title | url | newsBody | cluster_label | |
|---|---|---|---|---|
| 0 | 푸조 2008, 전기차‧디젤 '맘대로 골라 타' | https://news.naver.com/main/read.nhn?mode=LSD&... | 컴팩트 SUV 뉴 푸조 2008 풀 체인지 파워 오브 초이스 디젤 중심 라인업 일대... | 3 |
| 1 | 국토부, 테슬라 '국산차 동일조건' 첫 결함조사 | https://news.naver.com/main/read.nhn?mode=LSD&... | 오토파일럿 중 긴급제동‧차선이탈방지 두 항목 CBS노컷뉴스 유동근 기자 사진 연합뉴... | 1 |
| 2 | 현대차 노조 "올해 교섭 키워드는 생존과 미래" | https://news.naver.com/main/read.nhn?mode=LSD&... | 사회적 여론 앞에 많은 성과 내기 녹록지 않아 현대차 노사 교섭위원들이 2019년 ... | 4 |
| 3 | 혼다, ‘2020 퓨처 모빌리티 어워드’ 최고상 수상 | https://news.naver.com/main/read.nhn?mode=LSD&... | 혼다 eⓒ혼다코리아 혼다는 ‘혼다 e Honda e ’가 KAIST 한국과학기술원 ... | 0 |
| 4 | 푸조, '올 뉴 2008' SUV 전기·디젤 모델 출시…3248만원부터 | https://news.naver.com/main/read.nhn?mode=LSD&... | 3D 아이 콕핏 과 자율주행 2단계 수준의 ADAS 등 갖춰 올 뉴 푸조 2008 ... | 3 |
In [ ]:
In [15]:
## 0번 군집 예시
data[data['cluster_label'] == 0].sort_values(by='title').head()
Out[15]:
| title | url | newsBody | cluster_label | |
|---|---|---|---|---|
| 18 | 대우건설 "전기차 충전 인프라 사업 진출…휴맥스EV 투자" | https://news.naver.com/main/read.nhn?mode=LSD&... | 자료 대우건설 대우건설은 신사업 벨류체인 확장의 일환으로 전기차 충전기 전문기업인 ... | 0 |
| 6 | 대우건설, 전기車 충전 인프라 新사업 진출 | https://news.naver.com/main/read.nhn?mode=LSD&... | 휴맥스EV 지분 19.9%에 투자 휴맥스EV 전기차 충전시설 이미지. 대우건설 제공... | 0 |
| 13 | 대우건설, 전기차 충전 인프라 사업 진출 | https://news.naver.com/main/read.nhn?mode=LSD&... | 휴맥스EV에 지분 투자 대우건설은 에너지 디벨로퍼 로 도약하기 위해 전기차 충전기 ... | 0 |
| 42 | 대우건설, 전기차 충전 인프라 사업 진출 | https://news.naver.com/main/read.nhn?mode=LSD&... | 전기차 충전기 전문기업 휴맥스EV에 투자 결정…전체 지분의 19.9% 휴맥스EV 전... | 0 |
| 56 | 대우건설, 전기차 충전 인프라 사업 진출… B.T.S 2호 프로그램 | https://news.naver.com/main/read.nhn?mode=LSD&... | 대우건설은 전기차 충전기 전문업체 휴맥스EV에 지분 투자를 결정했다고 28일 밝혔다... | 0 |
3-1) 근데... 몇개의 군집으로 추출해야할까?¶
- 실루엣 계수를 활용한 방법
군집을 5개로 해본다.¶
In [16]:
from sklearn.cluster import KMeans
km_cluster = KMeans(n_clusters=5, max_iter=10000, random_state=0)
km_cluster.fit(tfidf_matrix_train)
cluster_label = km_cluster.labels_
cluster_centers = km_cluster.cluster_centers_
## 벡터화를 통해 군집분류를 진행함
data['cluster_label'] = cluster_label
data.head()
Out[16]:
| title | url | newsBody | cluster_label | |
|---|---|---|---|---|
| 0 | 푸조 2008, 전기차‧디젤 '맘대로 골라 타' | https://news.naver.com/main/read.nhn?mode=LSD&... | 컴팩트 SUV 뉴 푸조 2008 풀 체인지 파워 오브 초이스 디젤 중심 라인업 일대... | 3 |
| 1 | 국토부, 테슬라 '국산차 동일조건' 첫 결함조사 | https://news.naver.com/main/read.nhn?mode=LSD&... | 오토파일럿 중 긴급제동‧차선이탈방지 두 항목 CBS노컷뉴스 유동근 기자 사진 연합뉴... | 1 |
| 2 | 현대차 노조 "올해 교섭 키워드는 생존과 미래" | https://news.naver.com/main/read.nhn?mode=LSD&... | 사회적 여론 앞에 많은 성과 내기 녹록지 않아 현대차 노사 교섭위원들이 2019년 ... | 4 |
| 3 | 혼다, ‘2020 퓨처 모빌리티 어워드’ 최고상 수상 | https://news.naver.com/main/read.nhn?mode=LSD&... | 혼다 eⓒ혼다코리아 혼다는 ‘혼다 e Honda e ’가 KAIST 한국과학기술원 ... | 0 |
| 4 | 푸조, '올 뉴 2008' SUV 전기·디젤 모델 출시…3248만원부터 | https://news.naver.com/main/read.nhn?mode=LSD&... | 3D 아이 콕핏 과 자율주행 2단계 수준의 ADAS 등 갖춰 올 뉴 푸조 2008 ... | 3 |
In [17]:
data[data['cluster_label'] == 0].sort_values(by='title')
Out[17]:
| title | url | newsBody | cluster_label | |
|---|---|---|---|---|
| 18 | 대우건설 "전기차 충전 인프라 사업 진출…휴맥스EV 투자" | https://news.naver.com/main/read.nhn?mode=LSD&... | 자료 대우건설 대우건설은 신사업 벨류체인 확장의 일환으로 전기차 충전기 전문기업인 ... | 0 |
| 6 | 대우건설, 전기車 충전 인프라 新사업 진출 | https://news.naver.com/main/read.nhn?mode=LSD&... | 휴맥스EV 지분 19.9%에 투자 휴맥스EV 전기차 충전시설 이미지. 대우건설 제공... | 0 |
| 13 | 대우건설, 전기차 충전 인프라 사업 진출 | https://news.naver.com/main/read.nhn?mode=LSD&... | 휴맥스EV에 지분 투자 대우건설은 에너지 디벨로퍼 로 도약하기 위해 전기차 충전기 ... | 0 |
| 42 | 대우건설, 전기차 충전 인프라 사업 진출 | https://news.naver.com/main/read.nhn?mode=LSD&... | 전기차 충전기 전문기업 휴맥스EV에 투자 결정…전체 지분의 19.9% 휴맥스EV 전... | 0 |
| 56 | 대우건설, 전기차 충전 인프라 사업 진출… B.T.S 2호 프로그램 | https://news.naver.com/main/read.nhn?mode=LSD&... | 대우건설은 전기차 충전기 전문업체 휴맥스EV에 지분 투자를 결정했다고 28일 밝혔다... | 0 |
| 28 | 대우건설, 전기차 충전기사업 진출 | https://news.naver.com/main/read.nhn?mode=LSD&... | 서울경제 대우건설 047040 이 신사업 확장의 일환으로 전기차 충전 인프라 사업에... | 0 |
| 51 | 대우건설, 전기차 충전기사업 진출…휴맥스EV 지분투자 | https://news.naver.com/main/read.nhn?mode=LSD&... | CBS노컷뉴스 양승진 기자 휴맥스EV 전기차 충전시설 이미지 그래픽 대우건설 제공 ... | 0 |
| 59 | 양산형 전기차 `혼다e`, 퓨처 모빌리티 어워드 `대상` | https://news.naver.com/main/read.nhn?mode=LSD&... | 혼다 최초 양산형 전기차 혼다e 사진제공 혼다코리아 혼다 최초 양산형 전기차 EV ... | 0 |
| 60 | 혼다 e, ‘2020 퓨처 모빌리티 어워드’ 최고상 | https://news.naver.com/main/read.nhn?mode=LSD&... | 시상식을 갖고 있는 혼다코리아 이지홍 대표이사 왼쪽 와 KAIST 신성철 총장. O... | 0 |
| 3 | 혼다, ‘2020 퓨처 모빌리티 어워드’ 최고상 수상 | https://news.naver.com/main/read.nhn?mode=LSD&... | 혼다 eⓒ혼다코리아 혼다는 ‘혼다 e Honda e ’가 KAIST 한국과학기술원 ... | 0 |
In [18]:
data[data['cluster_label'] == 1].sort_values(by='title')
Out[18]:
| title | url | newsBody | cluster_label | |
|---|---|---|---|---|
| 7 | [단독] 국토부, 사상 첫 테슬라 전기차 결함조사 착수 | https://news.naver.com/main/read.nhn?mode=LSD&... | 앵커 정부가 미국 테슬라 전기차에 대해 사상 첫 결함조사에 착수했습니다. 최근 국내... | 1 |
| 26 | 국토교통부, 오작동 논란 테슬라 전기차 결함조사 착수 | https://news.naver.com/main/read.nhn?mode=LSD&... | 최근 국내외에서 오작동 논란에 휩싸인 미국 테슬라 전기차에 대한 결함조사가 이뤄진다... | 1 |
| 33 | 국토부, '테슬라 모델3' 첫 결함조사 착수…"자율주행 기능 조사" | https://news.naver.com/main/read.nhn?mode=LSD&... | 테슬라 모델3 사진 연합뉴스 국토교통부가 국내에서 판매된 테슬라 전기차에 대한 결함... | 1 |
| 1 | 국토부, 테슬라 '국산차 동일조건' 첫 결함조사 | https://news.naver.com/main/read.nhn?mode=LSD&... | 오토파일럿 중 긴급제동‧차선이탈방지 두 항목 CBS노컷뉴스 유동근 기자 사진 연합뉴... | 1 |
| 8 | 국토부, 테슬라 '오토파일럿' 결함조사 착수…국내 첫 테슬라 조사 | https://news.naver.com/main/read.nhn?mode=LSD&... | 지난 15일부터 조사 착수해 국내 첫 테슬라 조사 국토교통부가 국내 판매 중인 테슬... | 1 |
| 19 | 국토부, 테슬라 모델3 자율주행 첫 결함조사 착수 | https://news.naver.com/main/read.nhn?mode=LSD&... | KBS 시사기획 창 이 보도한 테슬라 전기차의 자율주행 문제와 관련해 국토부가 결함... | 1 |
| 21 | 국토부, 테슬라3 첫 결함조사···제동장치 등 문제 확인땐 리콜 | https://news.naver.com/main/read.nhn?mode=LSD&... | 테슬라코리아가 보급형 모델인 모델3. 사진 테슬라 코리아 전 세계적 돌풍을 일으키고... | 1 |
| 24 | 국토부, 테슬라에 대해 첫 결함조사 착수 | https://news.naver.com/main/read.nhn?mode=LSD&... | 테슬라의 ‘모델3’.테슬라코리아 제공 국토교통부는 최근 한국교통안전공단 자동차안전연... | 1 |
| 16 | 유아인도 타는 테슬라 전기차, 자율주행 문제없나…국토부, 첫 조사 | https://news.naver.com/main/read.nhn?mode=LSD&... | 디지털타임스 박상길 기자 국토교통부가 국내에서 판매된 테슬라 전기차에 대한 결함조사... | 1 |
| 43 | 테슬라 모델3 자율주행 문제없나…국토부, 첫 결함조사 착수 | https://news.naver.com/main/read.nhn?mode=LSD&... | 테슬라 모델3 테슬라 제공 세종 연합뉴스 김기훈 기자 국토교통부가 국내에서 판매된 ... | 1 |
In [19]:
data[data['cluster_label'] == 2].sort_values(by='title')
Out[19]:
| title | url | newsBody | cluster_label | |
|---|---|---|---|---|
| 25 | ‘삼성 부품 형제’ SDI-전기, 숨고르기 속 하반기 본격 반등 예고 | https://news.naver.com/main/read.nhn?mode=LSD&... | 2Q 다소 아쉬운 성적표에도 3Q 수요 확대로 실적 개선 자신 전장용·5G 등 신성... | 2 |
| 31 | 맥 못 추는 中 전기차배터리 시장… 11개월 연속 뒷걸음질 | https://news.naver.com/main/read.nhn?mode=LSD&... | 중국 전기차 배터리 시장이 11개월 연속 감소세를 이어간 것으로 나타났다. 사진 이... | 2 |
| 53 | 배터리3사 ‘논스톱 흑자’ 시동…삼성SDI “내년 전기차 배터리 흑자전환” | https://news.naver.com/main/read.nhn?mode=LSD&... | 테슬라가 한국에 출시한 보급형 전기차 모델3 . 사진 테슬라 코리아 국내 배터리 3... | 2 |
| 57 | 보조금의 역설…中 침체에도 국내 배터리 성장 견조 | https://news.naver.com/main/read.nhn?mode=LSD&... | 삼성SDI 2분기 영업익 1038억원...컨센서스 상회 SNE리서치 제공 중국 정부... | 2 |
| 36 | 삼성SDI "배터리 부문 내년 흑자전환 할것" | https://news.naver.com/main/read.nhn?mode=LSD&... | 서울경제 삼성SDI 006400 가 내년 전기차배터리 부문 흑자전환을 노린다. 글로... | 2 |
| 46 | 삼성SDI 2분기 영업이익 1038억원…코로나19에 선전 | https://news.naver.com/main/read.nhn?mode=LSD&... | 삼성SDI 로고. 삼성SDI는 연결기준 올해 2분기 영업이익이 1038억 원으로 지... | 2 |
| 11 | 삼성SDI, 2분기 영업이익 1038억원…코로나 속 선방 평가(종합2보) | https://news.naver.com/main/read.nhn?mode=LSD&... | 매출 2조5586억원 영업이익 1038억원 기록 전지 및 전자재료 전 부문 외형 성... | 2 |
| 47 | 삼성SDI, 기대치 상회…"내년 자동차 배터리 단독 흑자" | https://news.naver.com/main/read.nhn?mode=LSD&... | 2분기 영업이익 코로나에도 시장 전망 넘어서 하반기 갈수록 자동차 배터리 수요 늘어... | 2 |
| 37 | 삼성SDI, 내년 전기차배터리부문 흑자전환 기대 | https://news.naver.com/main/read.nhn?mode=LSD&... | 2분기 영업익 전년比 34% 감소 삼성SDI가 2·4분기 영업이익에서 전년 동기대비... | 2 |
| 5 | 삼성SDI, 코로나 극복… 2분기 영업익 1038억 | https://news.naver.com/main/read.nhn?mode=LSD&... | 내년 전기차 배터리 흑자전환 기대 삼성SDI 배터리. 삼성SDI 제공 디지털타임스 ... | 2 |
| 62 | 삼성SDI, 코로나에 실적 선방...내년 車 배터리 흑자전환 기대 | https://news.naver.com/main/read.nhn?mode=LSD&... | 파이낸셜뉴스 삼성SDI가 2·4분기 영업이익에서 전년 동기대비 34% 줄어든 성적표... | 2 |
| 35 | 삼성SDI·삼성전기, ‘코로나’ 속 실적 선방..“하반기 반등 기대” | https://news.naver.com/main/read.nhn?mode=LSD&... | 전년 동기 대비 영업익 줄었으나 큰 폭의 실적 하락 막아 하반기 스마트폰·전기차 등... | 2 |
| 50 | 삼성SDI의 자신감…"전기차배터리 내년 흑자전환" | https://news.naver.com/main/read.nhn?mode=LSD&... | 머니투데이 김성은 기자 내년에 전기차 2차전지 사업을 단독으로 흑자전환 시키는 게 ... | 2 |
| 41 | 스마트폰 불황에도…'실적 충전'한 삼성SDI | https://news.naver.com/main/read.nhn?mode=LSD&... | 2분기 영업이익 1038억 선방 모빌리티 배터리·ESS가 버팀목 삼성SDI가 신종 ... | 2 |
| 32 | 전기차 배터리 3사3색, 엘지화학 먼저 웃을듯 | https://news.naver.com/main/read.nhn?mode=LSD&... | ※ 이미지를 누르면 크게 볼 수 있습니다. 삼성에스디아이 SDI 를 시작으로 국내 ... | 2 |
In [20]:
data[data['cluster_label'] == 3].sort_values(by='title')
Out[20]:
| title | url | newsBody | cluster_label | |
|---|---|---|---|---|
| 17 | 6년 만에 돌아온 '푸조 2008'…전기·디젤 두가지 버전 | https://news.naver.com/main/read.nhn?mode=LSD&... | 디젤 버전 3천248만원부터…전기 버전 4천590만원부터 아이뉴스24 강길홍 기자 ... | 3 |
| 10 | 수입차도 SUV 선호 뚜렷…세단 점유율 첫 50%대 하락 | https://news.naver.com/main/read.nhn?mode=LSD&... | 2012년 이후 9년간 세단 18.5%p↓ SUV 16.1%p↑ 올 상반기 SUV ... | 3 |
| 54 | 올 뉴 푸조 2008 SUV, 전기·디젤 동시 출시…6년 만의 풀체인지 모델 | https://news.naver.com/main/read.nhn?mode=LSD&... | 푸조의 ‘올 뉴 푸조 2008 SUV’.한불모터스 제공 푸조를 수입 판매하고 있는 ... | 3 |
| 30 | 푸조 2008 디젤 vs 전기…“車 소유 비용 월 2만원 차이” | https://news.naver.com/main/read.nhn?mode=LSD&... | 디젤과 전기 모델 가격 차이 267만원 불과 커진 차체에 별명은 ‘미니 3008’…... | 3 |
| 0 | 푸조 2008, 전기차‧디젤 '맘대로 골라 타' | https://news.naver.com/main/read.nhn?mode=LSD&... | 컴팩트 SUV 뉴 푸조 2008 풀 체인지 파워 오브 초이스 디젤 중심 라인업 일대... | 3 |
| 4 | 푸조, '올 뉴 2008' SUV 전기·디젤 모델 출시…3248만원부터 | https://news.naver.com/main/read.nhn?mode=LSD&... | 3D 아이 콕핏 과 자율주행 2단계 수준의 ADAS 등 갖춰 올 뉴 푸조 2008 ... | 3 |
In [21]:
data[data['cluster_label'] == 4].sort_values(by='title')
Out[21]:
| title | url | newsBody | cluster_label | |
|---|---|---|---|---|
| 45 | "전기차 충전·쇼핑 한번에"…'메가스테이션' 유치 전략 서둘러야 | https://news.naver.com/main/read.nhn?mode=LSD&... | 서울 경기 영남권 호남권에 각 1개씩 설치… 부지도 미리 마련해둬야 대구시청 별관 ... | 4 |
| 27 | "전세계 유동성 넘쳐, 주가 더 오를 것…BBIG 재상승 기대" | https://news.naver.com/main/read.nhn?mode=LSD&... | 뜨거운 증시 긴급 진단 여의도 고수 10인의 전망 美·유럽 추가부양책 잇따라 3분기... | 4 |
| 55 | NH투자증권, 8월부터 투자정보 웹세미나 확대 편성 | https://news.naver.com/main/read.nhn?mode=LSD&... | 월 1회→2회로 확대 편성…댓글 통해 피드백도 가능 아이뉴스24 류은혁 기자 NH투... | 4 |
| 44 | [기고]모빌리티, 파격 혁신 모델에서 출발하라 | https://news.naver.com/main/read.nhn?mode=LSD&... | 정구민 국민대학교 전자공학부 교수 지난 13일 국회의원 50여명이 참여하는 국회 모... | 4 |
| 61 | [김병헌의 체인지(替認知·Change)] 정의선 부회장의 광폭 행보와 '제구포신' | https://news.naver.com/main/read.nhn?mode=LSD&... | 정의선 현대기아차그룹 수석부회장이 배터리를 만드는 국내 대기업 총수들과 잇따라 직접... | 4 |
| 14 | 中 전기차, 테슬라 아성 넘본다 | https://news.naver.com/main/read.nhn?mode=LSD&... | 세계 전기차 판매 2 4위 싹쓸이 리샹·샤오펑 美증시 상장 나서 포브스 볼품없던 중... | 4 |
| 52 | 군산시, 강소연구개발특구 지정 전기차 클러스터 조성 탄력 | https://news.naver.com/main/read.nhn?mode=LSD&... | 김정훈 기자 군산 return1234 naver.com ⓒ군산시 전북 군산시가 강소... | 4 |
| 20 | 군산시, 강소연구개발특구 지정…전기차 특화 기대 | https://news.naver.com/main/read.nhn?mode=LSD&... | 앵커 군산국가 산업단지와 새만금 산업단지가 정부의 강소연구개발특구로 지정됐습니다. ... | 4 |
| 48 | 박용만, 규제샌드박스 영상 내레이션…"더 많은 혁신 기대" | https://news.naver.com/main/read.nhn?mode=LSD&... | 유튜브·페이스북에 규제 샌드박스 홍보 영상 공개 서울 뉴시스 대한상의 워프솔루션 원... | 4 |
| 58 | 배달의 민족, 친환경 전기차 시범 운영 | https://news.naver.com/main/read.nhn?mode=LSD&... | 배달의민족이 친환경 전기차 시범 운영을 하면서 차량 테스트를 하고 있다. 28일 서... | 4 |
| 49 | 새만금산단 ‘테크비즈 프라자’ 구축 투자협약 | https://news.naver.com/main/read.nhn?mode=LSD&... | 미래상용차 혁신성장 플랫폼 ‘테크비즈 프라자’ 구축 전북도와 새만금개발청 등 5개 ... | 4 |
| 23 | 소니, 팔지도 않을 전기차 공개한 이유 | https://news.naver.com/main/read.nhn?mode=LSD&... | 소니가 지난 27일 차세대 전기차 시제품 ‘비전 S’를 일본에서 처음 공개했다. 지... | 4 |
| 12 | 원주 한라대학교, ‘제6회 LINC+스마트모빌리티(이모빌리티)전략산업’ 포럼 개최 | https://news.naver.com/main/read.nhn?mode=LSD&... | 원주 한라대학교 총장 김응권 LINC 사업단은 지난 23일 원주 인터불고호텔에서 강... | 4 |
| 15 | 지역산업 육성, 대구가 '최우수' | https://news.naver.com/main/read.nhn?mode=LSD&... | 480개 기업 매출 年 36% 늘려 중기부 인센티브 15억원 확보 큰 도움 받은 지... | 4 |
| 38 | 테슬라, 배터리 공급선 파나소닉→중국 CATL로 바꾸나 | https://news.naver.com/main/read.nhn?mode=LSD&... | 중국산 모델3 배터리 교체설에 업계 관심… LG화학은 유지 중국 상하이의 테슬라 자... | 4 |
| 9 | 한국생산성본부·DB손해보험 '교통환경챌린지' 소셜벤처 선발 | https://news.naver.com/main/read.nhn?mode=LSD&... | 머니투데이 이정혁 기자 왼쪽부터 블루윙모터스 김민호 대표 소프트기어 김현철 대표 지... | 4 |
| 29 | 한국판 뉴딜 수혜주 '희비'…옥석가리기 시작 | https://news.naver.com/main/read.nhn?mode=LSD&... | 두산퓨얼셀·동국S C 등 그린뉴딜 관련주 가파른 상승 5G 등 디지털 뉴딜주는 약세... | 4 |
| 34 | 현대기아차, 한달새 시총 8兆… 하반기 신차로 승부수 | https://news.naver.com/main/read.nhn?mode=LSD&... | 2분기 실적선방·한국판 뉴딜 기대 현대기아차의 2·4분기 실적선방과 한국판 뉴딜 정... | 4 |
| 2 | 현대차 노조 "올해 교섭 키워드는 생존과 미래" | https://news.naver.com/main/read.nhn?mode=LSD&... | 사회적 여론 앞에 많은 성과 내기 녹록지 않아 현대차 노사 교섭위원들이 2019년 ... | 4 |
| 39 | 현대차 노조 "올해 교섭 키워드는 조합원 생존과 미래" | https://news.naver.com/main/read.nhn?mode=LSD&... | 소식지 내고 사회적 여론 앞에 많은 임금 성과 내기 녹록지 않아 언급 현대차 노조 ... | 4 |
| 40 | 현대차, 2020 퓨처 모빌리티 대상 수상…"혁신성 성과" | https://news.naver.com/main/read.nhn?mode=LSD&... | 넵튠 수소트럭 친환경 수소에너지 물류배송 접목 호평 빌트인 e 스쿠터 옵션 사양 활... | 4 |
| 22 | 희토류 vs 헬륨… 美-中 '자원전쟁' 위기 | https://news.naver.com/main/read.nhn?mode=LSD&... | 美 희토류 생산 확대·채굴 지원 등 나서 中 헬륨 생산공장 가동했지만 태부족 베이징... | 4 |
3-2) 실루엣 계수 구하기¶
In [24]:
max_values = 0
find_list = []
for i in range(2,20):
km_cluster = KMeans(n_clusters=i, max_iter=10000, random_state=0)
km_cluster.fit(tfidf_matrix_train)
cluster_label = km_cluster.labels_
cluster_centers = km_cluster.cluster_centers_
data['cluster_label'] = km_cluster.labels_
# iris 의 모든 개별 데이터에 실루엣 계수값을 구함.
score_samples = silhouette_samples(tfidf_matrix_train, data['cluster_label'])
# irisDF에 실루엣 계수 컬럼 추가
data['silhouette_coeff'] = score_samples
# 모든 데이터의 평균 실루엣 계수값을 구함.
average_score = silhouette_score(tfidf_matrix_train, data['cluster_label'])
average_score = np.round(average_score,3)
if average_score > max_values:
max_values = average_score
find_list.append(i)
print(i, average_score, find_list)
2 0.116 [2]
3 0.138 [2, 3]
4 0.174 [2, 3, 4]
5 0.207 [2, 3, 4, 5]
6 0.24 [2, 3, 4, 5, 6]
7 0.238 [2, 3, 4, 5, 6]
8 0.242 [2, 3, 4, 5, 6, 8]
9 0.256 [2, 3, 4, 5, 6, 8, 9]
10 0.25 [2, 3, 4, 5, 6, 8, 9]
11 0.26 [2, 3, 4, 5, 6, 8, 9, 11]
12 0.229 [2, 3, 4, 5, 6, 8, 9, 11]
13 0.257 [2, 3, 4, 5, 6, 8, 9, 11]
14 0.253 [2, 3, 4, 5, 6, 8, 9, 11]
15 0.214 [2, 3, 4, 5, 6, 8, 9, 11]
16 0.245 [2, 3, 4, 5, 6, 8, 9, 11]
17 0.242 [2, 3, 4, 5, 6, 8, 9, 11]
18 0.238 [2, 3, 4, 5, 6, 8, 9, 11]
19 0.252 [2, 3, 4, 5, 6, 8, 9, 11]
11개의 군집에서 평균 실루엣계수가 가장 높게 나오므로 11개 선택한다.¶
- 아래는 군집의 개수가 11개 일때와 5개 일때의 차이를 직접 데이터를 확인해봅니다.
In [25]:
km_cluster = KMeans(n_clusters=11, max_iter=10000, random_state=0)
km_cluster.fit(tfidf_matrix_train)
cluster_label = km_cluster.labels_
cluster_centers = km_cluster.cluster_centers_
## 벡터화를 통해 군집분류를 진행함
data['cluster_label'] = cluster_label
data.head()
Out[25]:
| title | url | newsBody | cluster_label | silhouette_coeff | |
|---|---|---|---|---|---|
| 0 | 푸조 2008, 전기차‧디젤 '맘대로 골라 타' | https://news.naver.com/main/read.nhn?mode=LSD&... | 컴팩트 SUV 뉴 푸조 2008 풀 체인지 파워 오브 초이스 디젤 중심 라인업 일대... | 8 | 0.300274 |
| 1 | 국토부, 테슬라 '국산차 동일조건' 첫 결함조사 | https://news.naver.com/main/read.nhn?mode=LSD&... | 오토파일럿 중 긴급제동‧차선이탈방지 두 항목 CBS노컷뉴스 유동근 기자 사진 연합뉴... | 0 | 0.313411 |
| 2 | 현대차 노조 "올해 교섭 키워드는 생존과 미래" | https://news.naver.com/main/read.nhn?mode=LSD&... | 사회적 여론 앞에 많은 성과 내기 녹록지 않아 현대차 노사 교섭위원들이 2019년 ... | 5 | 0.518555 |
| 3 | 혼다, ‘2020 퓨처 모빌리티 어워드’ 최고상 수상 | https://news.naver.com/main/read.nhn?mode=LSD&... | 혼다 eⓒ혼다코리아 혼다는 ‘혼다 e Honda e ’가 KAIST 한국과학기술원 ... | 6 | 0.519915 |
| 4 | 푸조, '올 뉴 2008' SUV 전기·디젤 모델 출시…3248만원부터 | https://news.naver.com/main/read.nhn?mode=LSD&... | 3D 아이 콕핏 과 자율주행 2단계 수준의 ADAS 등 갖춰 올 뉴 푸조 2008 ... | 8 | 0.380187 |
In [26]:
data[data['cluster_label'] == 0].sort_values(by='title')
Out[26]:
| title | url | newsBody | cluster_label | silhouette_coeff | |
|---|---|---|---|---|---|
| 7 | [단독] 국토부, 사상 첫 테슬라 전기차 결함조사 착수 | https://news.naver.com/main/read.nhn?mode=LSD&... | 앵커 정부가 미국 테슬라 전기차에 대해 사상 첫 결함조사에 착수했습니다. 최근 국내... | 0 | 0.294029 |
| 26 | 국토교통부, 오작동 논란 테슬라 전기차 결함조사 착수 | https://news.naver.com/main/read.nhn?mode=LSD&... | 최근 국내외에서 오작동 논란에 휩싸인 미국 테슬라 전기차에 대한 결함조사가 이뤄진다... | 0 | 0.336168 |
| 33 | 국토부, '테슬라 모델3' 첫 결함조사 착수…"자율주행 기능 조사" | https://news.naver.com/main/read.nhn?mode=LSD&... | 테슬라 모델3 사진 연합뉴스 국토교통부가 국내에서 판매된 테슬라 전기차에 대한 결함... | 0 | 0.490495 |
| 1 | 국토부, 테슬라 '국산차 동일조건' 첫 결함조사 | https://news.naver.com/main/read.nhn?mode=LSD&... | 오토파일럿 중 긴급제동‧차선이탈방지 두 항목 CBS노컷뉴스 유동근 기자 사진 연합뉴... | 0 | 0.313411 |
| 8 | 국토부, 테슬라 '오토파일럿' 결함조사 착수…국내 첫 테슬라 조사 | https://news.naver.com/main/read.nhn?mode=LSD&... | 지난 15일부터 조사 착수해 국내 첫 테슬라 조사 국토교통부가 국내 판매 중인 테슬... | 0 | 0.362994 |
| 19 | 국토부, 테슬라 모델3 자율주행 첫 결함조사 착수 | https://news.naver.com/main/read.nhn?mode=LSD&... | KBS 시사기획 창 이 보도한 테슬라 전기차의 자율주행 문제와 관련해 국토부가 결함... | 0 | 0.392496 |
| 21 | 국토부, 테슬라3 첫 결함조사···제동장치 등 문제 확인땐 리콜 | https://news.naver.com/main/read.nhn?mode=LSD&... | 테슬라코리아가 보급형 모델인 모델3. 사진 테슬라 코리아 전 세계적 돌풍을 일으키고... | 0 | 0.414451 |
| 24 | 국토부, 테슬라에 대해 첫 결함조사 착수 | https://news.naver.com/main/read.nhn?mode=LSD&... | 테슬라의 ‘모델3’.테슬라코리아 제공 국토교통부는 최근 한국교통안전공단 자동차안전연... | 0 | 0.485515 |
| 16 | 유아인도 타는 테슬라 전기차, 자율주행 문제없나…국토부, 첫 조사 | https://news.naver.com/main/read.nhn?mode=LSD&... | 디지털타임스 박상길 기자 국토교통부가 국내에서 판매된 테슬라 전기차에 대한 결함조사... | 0 | 0.477804 |
| 43 | 테슬라 모델3 자율주행 문제없나…국토부, 첫 결함조사 착수 | https://news.naver.com/main/read.nhn?mode=LSD&... | 테슬라 모델3 테슬라 제공 세종 연합뉴스 김기훈 기자 국토교통부가 국내에서 판매된 ... | 0 | 0.511459 |
In [27]:
data[data['cluster_label'] == 1].sort_values(by='title')
Out[27]:
| title | url | newsBody | cluster_label | silhouette_coeff | |
|---|---|---|---|---|---|
| 25 | ‘삼성 부품 형제’ SDI-전기, 숨고르기 속 하반기 본격 반등 예고 | https://news.naver.com/main/read.nhn?mode=LSD&... | 2Q 다소 아쉬운 성적표에도 3Q 수요 확대로 실적 개선 자신 전장용·5G 등 신성... | 1 | 0.141263 |
| 36 | 삼성SDI "배터리 부문 내년 흑자전환 할것" | https://news.naver.com/main/read.nhn?mode=LSD&... | 서울경제 삼성SDI 006400 가 내년 전기차배터리 부문 흑자전환을 노린다. 글로... | 1 | 0.147069 |
| 46 | 삼성SDI 2분기 영업이익 1038억원…코로나19에 선전 | https://news.naver.com/main/read.nhn?mode=LSD&... | 삼성SDI 로고. 삼성SDI는 연결기준 올해 2분기 영업이익이 1038억 원으로 지... | 1 | 0.188082 |
| 11 | 삼성SDI, 2분기 영업이익 1038억원…코로나 속 선방 평가(종합2보) | https://news.naver.com/main/read.nhn?mode=LSD&... | 매출 2조5586억원 영업이익 1038억원 기록 전지 및 전자재료 전 부문 외형 성... | 1 | 0.301473 |
| 47 | 삼성SDI, 기대치 상회…"내년 자동차 배터리 단독 흑자" | https://news.naver.com/main/read.nhn?mode=LSD&... | 2분기 영업이익 코로나에도 시장 전망 넘어서 하반기 갈수록 자동차 배터리 수요 늘어... | 1 | 0.262707 |
| 37 | 삼성SDI, 내년 전기차배터리부문 흑자전환 기대 | https://news.naver.com/main/read.nhn?mode=LSD&... | 2분기 영업익 전년比 34% 감소 삼성SDI가 2·4분기 영업이익에서 전년 동기대비... | 1 | 0.325525 |
| 5 | 삼성SDI, 코로나 극복… 2분기 영업익 1038억 | https://news.naver.com/main/read.nhn?mode=LSD&... | 내년 전기차 배터리 흑자전환 기대 삼성SDI 배터리. 삼성SDI 제공 디지털타임스 ... | 1 | 0.272914 |
| 62 | 삼성SDI, 코로나에 실적 선방...내년 車 배터리 흑자전환 기대 | https://news.naver.com/main/read.nhn?mode=LSD&... | 파이낸셜뉴스 삼성SDI가 2·4분기 영업이익에서 전년 동기대비 34% 줄어든 성적표... | 1 | 0.325380 |
| 35 | 삼성SDI·삼성전기, ‘코로나’ 속 실적 선방..“하반기 반등 기대” | https://news.naver.com/main/read.nhn?mode=LSD&... | 전년 동기 대비 영업익 줄었으나 큰 폭의 실적 하락 막아 하반기 스마트폰·전기차 등... | 1 | 0.240069 |
| 50 | 삼성SDI의 자신감…"전기차배터리 내년 흑자전환" | https://news.naver.com/main/read.nhn?mode=LSD&... | 머니투데이 김성은 기자 내년에 전기차 2차전지 사업을 단독으로 흑자전환 시키는 게 ... | 1 | 0.190948 |
| 41 | 스마트폰 불황에도…'실적 충전'한 삼성SDI | https://news.naver.com/main/read.nhn?mode=LSD&... | 2분기 영업이익 1038억 선방 모빌리티 배터리·ESS가 버팀목 삼성SDI가 신종 ... | 1 | 0.203066 |
| 32 | 전기차 배터리 3사3색, 엘지화학 먼저 웃을듯 | https://news.naver.com/main/read.nhn?mode=LSD&... | ※ 이미지를 누르면 크게 볼 수 있습니다. 삼성에스디아이 SDI 를 시작으로 국내 ... | 1 | 0.040968 |
In [28]:
data[data['cluster_label'] == 2].sort_values(by='title')
Out[28]:
| title | url | newsBody | cluster_label | silhouette_coeff | |
|---|---|---|---|---|---|
| 45 | "전기차 충전·쇼핑 한번에"…'메가스테이션' 유치 전략 서둘러야 | https://news.naver.com/main/read.nhn?mode=LSD&... | 서울 경기 영남권 호남권에 각 1개씩 설치… 부지도 미리 마련해둬야 대구시청 별관 ... | 2 | 0.000000 |
| 55 | NH투자증권, 8월부터 투자정보 웹세미나 확대 편성 | https://news.naver.com/main/read.nhn?mode=LSD&... | 월 1회→2회로 확대 편성…댓글 통해 피드백도 가능 아이뉴스24 류은혁 기자 NH투... | 2 | 0.000000 |
| 44 | [기고]모빌리티, 파격 혁신 모델에서 출발하라 | https://news.naver.com/main/read.nhn?mode=LSD&... | 정구민 국민대학교 전자공학부 교수 지난 13일 국회의원 50여명이 참여하는 국회 모... | 2 | 0.088681 |
| 61 | [김병헌의 체인지(替認知·Change)] 정의선 부회장의 광폭 행보와 '제구포신' | https://news.naver.com/main/read.nhn?mode=LSD&... | 정의선 현대기아차그룹 수석부회장이 배터리를 만드는 국내 대기업 총수들과 잇따라 직접... | 2 | -0.032858 |
| 48 | 박용만, 규제샌드박스 영상 내레이션…"더 많은 혁신 기대" | https://news.naver.com/main/read.nhn?mode=LSD&... | 유튜브·페이스북에 규제 샌드박스 홍보 영상 공개 서울 뉴시스 대한상의 워프솔루션 원... | 2 | 0.000000 |
| 58 | 배달의 민족, 친환경 전기차 시범 운영 | https://news.naver.com/main/read.nhn?mode=LSD&... | 배달의민족이 친환경 전기차 시범 운영을 하면서 차량 테스트를 하고 있다. 28일 서... | 2 | 0.000000 |
| 23 | 소니, 팔지도 않을 전기차 공개한 이유 | https://news.naver.com/main/read.nhn?mode=LSD&... | 소니가 지난 27일 차세대 전기차 시제품 ‘비전 S’를 일본에서 처음 공개했다. 지... | 2 | 0.000000 |
| 34 | 현대기아차, 한달새 시총 8兆… 하반기 신차로 승부수 | https://news.naver.com/main/read.nhn?mode=LSD&... | 2분기 실적선방·한국판 뉴딜 기대 현대기아차의 2·4분기 실적선방과 한국판 뉴딜 정... | 2 | 0.028822 |
In [29]:
data[data['cluster_label'] == 3].sort_values(by='title')
Out[29]:
| title | url | newsBody | cluster_label | silhouette_coeff | |
|---|---|---|---|---|---|
| 18 | 대우건설 "전기차 충전 인프라 사업 진출…휴맥스EV 투자" | https://news.naver.com/main/read.nhn?mode=LSD&... | 자료 대우건설 대우건설은 신사업 벨류체인 확장의 일환으로 전기차 충전기 전문기업인 ... | 3 | 0.512478 |
| 6 | 대우건설, 전기車 충전 인프라 新사업 진출 | https://news.naver.com/main/read.nhn?mode=LSD&... | 휴맥스EV 지분 19.9%에 투자 휴맥스EV 전기차 충전시설 이미지. 대우건설 제공... | 3 | 0.583653 |
| 13 | 대우건설, 전기차 충전 인프라 사업 진출 | https://news.naver.com/main/read.nhn?mode=LSD&... | 휴맥스EV에 지분 투자 대우건설은 에너지 디벨로퍼 로 도약하기 위해 전기차 충전기 ... | 3 | 0.438535 |
| 42 | 대우건설, 전기차 충전 인프라 사업 진출 | https://news.naver.com/main/read.nhn?mode=LSD&... | 전기차 충전기 전문기업 휴맥스EV에 투자 결정…전체 지분의 19.9% 휴맥스EV 전... | 3 | 0.577749 |
| 56 | 대우건설, 전기차 충전 인프라 사업 진출… B.T.S 2호 프로그램 | https://news.naver.com/main/read.nhn?mode=LSD&... | 대우건설은 전기차 충전기 전문업체 휴맥스EV에 지분 투자를 결정했다고 28일 밝혔다... | 3 | 0.564257 |
| 28 | 대우건설, 전기차 충전기사업 진출 | https://news.naver.com/main/read.nhn?mode=LSD&... | 서울경제 대우건설 047040 이 신사업 확장의 일환으로 전기차 충전 인프라 사업에... | 3 | 0.492721 |
| 51 | 대우건설, 전기차 충전기사업 진출…휴맥스EV 지분투자 | https://news.naver.com/main/read.nhn?mode=LSD&... | CBS노컷뉴스 양승진 기자 휴맥스EV 전기차 충전시설 이미지 그래픽 대우건설 제공 ... | 3 | 0.482110 |
In [30]:
data[data['cluster_label'] == 4].sort_values(by='title')
Out[30]:
| title | url | newsBody | cluster_label | silhouette_coeff | |
|---|---|---|---|---|---|
| 52 | 군산시, 강소연구개발특구 지정 전기차 클러스터 조성 탄력 | https://news.naver.com/main/read.nhn?mode=LSD&... | 김정훈 기자 군산 return1234 naver.com ⓒ군산시 전북 군산시가 강소... | 4 | 0.222665 |
| 20 | 군산시, 강소연구개발특구 지정…전기차 특화 기대 | https://news.naver.com/main/read.nhn?mode=LSD&... | 앵커 군산국가 산업단지와 새만금 산업단지가 정부의 강소연구개발특구로 지정됐습니다. ... | 4 | 0.147679 |
| 49 | 새만금산단 ‘테크비즈 프라자’ 구축 투자협약 | https://news.naver.com/main/read.nhn?mode=LSD&... | 미래상용차 혁신성장 플랫폼 ‘테크비즈 프라자’ 구축 전북도와 새만금개발청 등 5개 ... | 4 | 0.009166 |
| 12 | 원주 한라대학교, ‘제6회 LINC+스마트모빌리티(이모빌리티)전략산업’ 포럼 개최 | https://news.naver.com/main/read.nhn?mode=LSD&... | 원주 한라대학교 총장 김응권 LINC 사업단은 지난 23일 원주 인터불고호텔에서 강... | 4 | 0.010745 |
| 15 | 지역산업 육성, 대구가 '최우수' | https://news.naver.com/main/read.nhn?mode=LSD&... | 480개 기업 매출 年 36% 늘려 중기부 인센티브 15억원 확보 큰 도움 받은 지... | 4 | 0.002257 |
In [31]:
data[data['cluster_label'] == 5].sort_values(by='title')
Out[31]:
| title | url | newsBody | cluster_label | silhouette_coeff | |
|---|---|---|---|---|---|
| 2 | 현대차 노조 "올해 교섭 키워드는 생존과 미래" | https://news.naver.com/main/read.nhn?mode=LSD&... | 사회적 여론 앞에 많은 성과 내기 녹록지 않아 현대차 노사 교섭위원들이 2019년 ... | 5 | 0.518555 |
| 39 | 현대차 노조 "올해 교섭 키워드는 조합원 생존과 미래" | https://news.naver.com/main/read.nhn?mode=LSD&... | 소식지 내고 사회적 여론 앞에 많은 임금 성과 내기 녹록지 않아 언급 현대차 노조 ... | 5 | 0.512654 |
In [32]:
data[data['cluster_label'] == 6].sort_values(by='title')
Out[32]:
| title | url | newsBody | cluster_label | silhouette_coeff | |
|---|---|---|---|---|---|
| 59 | 양산형 전기차 `혼다e`, 퓨처 모빌리티 어워드 `대상` | https://news.naver.com/main/read.nhn?mode=LSD&... | 혼다 최초 양산형 전기차 혼다e 사진제공 혼다코리아 혼다 최초 양산형 전기차 EV ... | 6 | 0.479647 |
| 40 | 현대차, 2020 퓨처 모빌리티 대상 수상…"혁신성 성과" | https://news.naver.com/main/read.nhn?mode=LSD&... | 넵튠 수소트럭 친환경 수소에너지 물류배송 접목 호평 빌트인 e 스쿠터 옵션 사양 활... | 6 | 0.077025 |
| 60 | 혼다 e, ‘2020 퓨처 모빌리티 어워드’ 최고상 | https://news.naver.com/main/read.nhn?mode=LSD&... | 시상식을 갖고 있는 혼다코리아 이지홍 대표이사 왼쪽 와 KAIST 신성철 총장. O... | 6 | 0.495980 |
| 3 | 혼다, ‘2020 퓨처 모빌리티 어워드’ 최고상 수상 | https://news.naver.com/main/read.nhn?mode=LSD&... | 혼다 eⓒ혼다코리아 혼다는 ‘혼다 e Honda e ’가 KAIST 한국과학기술원 ... | 6 | 0.519915 |
In [33]:
data[data['cluster_label'] == 7].sort_values(by='title')
Out[33]:
| title | url | newsBody | cluster_label | silhouette_coeff | |
|---|---|---|---|---|---|
| 14 | 中 전기차, 테슬라 아성 넘본다 | https://news.naver.com/main/read.nhn?mode=LSD&... | 세계 전기차 판매 2 4위 싹쓸이 리샹·샤오펑 美증시 상장 나서 포브스 볼품없던 중... | 7 | 0.075656 |
| 31 | 맥 못 추는 中 전기차배터리 시장… 11개월 연속 뒷걸음질 | https://news.naver.com/main/read.nhn?mode=LSD&... | 중국 전기차 배터리 시장이 11개월 연속 감소세를 이어간 것으로 나타났다. 사진 이... | 7 | 0.091777 |
| 53 | 배터리3사 ‘논스톱 흑자’ 시동…삼성SDI “내년 전기차 배터리 흑자전환” | https://news.naver.com/main/read.nhn?mode=LSD&... | 테슬라가 한국에 출시한 보급형 전기차 모델3 . 사진 테슬라 코리아 국내 배터리 3... | 7 | -0.043228 |
| 57 | 보조금의 역설…中 침체에도 국내 배터리 성장 견조 | https://news.naver.com/main/read.nhn?mode=LSD&... | 삼성SDI 2분기 영업익 1038억원...컨센서스 상회 SNE리서치 제공 중국 정부... | 7 | 0.053177 |
| 38 | 테슬라, 배터리 공급선 파나소닉→중국 CATL로 바꾸나 | https://news.naver.com/main/read.nhn?mode=LSD&... | 중국산 모델3 배터리 교체설에 업계 관심… LG화학은 유지 중국 상하이의 테슬라 자... | 7 | 0.042157 |
| 22 | 희토류 vs 헬륨… 美-中 '자원전쟁' 위기 | https://news.naver.com/main/read.nhn?mode=LSD&... | 美 희토류 생산 확대·채굴 지원 등 나서 中 헬륨 생산공장 가동했지만 태부족 베이징... | 7 | 0.119919 |
In [34]:
data[data['cluster_label'] == 8].sort_values(by='title')
Out[34]:
| title | url | newsBody | cluster_label | silhouette_coeff | |
|---|---|---|---|---|---|
| 17 | 6년 만에 돌아온 '푸조 2008'…전기·디젤 두가지 버전 | https://news.naver.com/main/read.nhn?mode=LSD&... | 디젤 버전 3천248만원부터…전기 버전 4천590만원부터 아이뉴스24 강길홍 기자 ... | 8 | 0.434002 |
| 10 | 수입차도 SUV 선호 뚜렷…세단 점유율 첫 50%대 하락 | https://news.naver.com/main/read.nhn?mode=LSD&... | 2012년 이후 9년간 세단 18.5%p↓ SUV 16.1%p↑ 올 상반기 SUV ... | 8 | 0.107169 |
| 54 | 올 뉴 푸조 2008 SUV, 전기·디젤 동시 출시…6년 만의 풀체인지 모델 | https://news.naver.com/main/read.nhn?mode=LSD&... | 푸조의 ‘올 뉴 푸조 2008 SUV’.한불모터스 제공 푸조를 수입 판매하고 있는 ... | 8 | 0.418463 |
| 30 | 푸조 2008 디젤 vs 전기…“車 소유 비용 월 2만원 차이” | https://news.naver.com/main/read.nhn?mode=LSD&... | 디젤과 전기 모델 가격 차이 267만원 불과 커진 차체에 별명은 ‘미니 3008’…... | 8 | 0.370313 |
| 0 | 푸조 2008, 전기차‧디젤 '맘대로 골라 타' | https://news.naver.com/main/read.nhn?mode=LSD&... | 컴팩트 SUV 뉴 푸조 2008 풀 체인지 파워 오브 초이스 디젤 중심 라인업 일대... | 8 | 0.300274 |
| 4 | 푸조, '올 뉴 2008' SUV 전기·디젤 모델 출시…3248만원부터 | https://news.naver.com/main/read.nhn?mode=LSD&... | 3D 아이 콕핏 과 자율주행 2단계 수준의 ADAS 등 갖춰 올 뉴 푸조 2008 ... | 8 | 0.380187 |
In [ ]:
In [ ]:
In [ ]:
3-2) 군집별 핵심 단어 추출¶
In [35]:
# 군집별 top n 핵심단어, 그 단어의 중심 위치 상대값, 대상 파일명들을 반환함.
def get_cluster_details(cluster_model, cluster_data, feature_names, clusters_num, top_n_features=10):
cluster_details = {}
# cluster_centers array 의 값이 큰 순으로 정렬된 index 값을 반환
# 군집 중심점(centroid)별 할당된 word 피처들의 거리값이 큰 순으로 값을 구하기 위함.
centroid_feature_ordered_ind = cluster_model.cluster_centers_.argsort()[:,::-1]
#개별 군집별로 iteration하면서 핵심단어, 그 단어의 중심 위치 상대값, 대상 파일명 입력
for cluster_num in range(clusters_num):
# 개별 군집별 정보를 담을 데이터 초기화.
cluster_details[cluster_num] = {}
cluster_details[cluster_num]['cluster'] = cluster_num
# cluster_centers_.argsort()[:,::-1] 로 구한 index 를 이용하여 top n 피처 단어를 구함.
top_feature_indexes = centroid_feature_ordered_ind[cluster_num, :top_n_features]
top_features = [ feature_names[ind] for ind in top_feature_indexes ]
# top_feature_indexes를 이용해 해당 피처 단어의 중심 위치 상댓값 구함
top_feature_values = cluster_model.cluster_centers_[cluster_num, top_feature_indexes].tolist()
# cluster_details 딕셔너리 객체에 개별 군집별 핵심 단어와 중심위치 상대값, 그리고 해당 파일명 입력
cluster_details[cluster_num]['top_features'] = top_features
cluster_details[cluster_num]['top_features_value'] = top_feature_values
filenames = cluster_data[cluster_data['cluster_label'] == cluster_num]['title']
filenames = filenames.values.tolist()
cluster_details[cluster_num]['title'] = filenames
return cluster_details
In [36]:
def print_cluster_details(cluster_details):
for cluster_num, cluster_detail in cluster_details.items():
print('####### Cluster {0}'.format(cluster_num))
print('Top features:', cluster_detail['top_features'])
print('title명 :',cluster_detail['title'][:7])
print('==================================================')
In [37]:
feature_names = tfidf_vect.get_feature_names()
cluster_details = get_cluster_details(cluster_model=km_cluster, cluster_data=data,\
feature_names=feature_names, clusters_num=11, top_n_features=10 )
print_cluster_details(cluster_details)
####### Cluster 0
Top features: ['테슬라', '조사', '결함', '안전', '문제', '주행', '기능', '대한', '자율', '국토부']
title명 : ["국토부, 테슬라 '국산차 동일조건' 첫 결함조사", '[단독] 국토부, 사상 첫 테슬라 전기차 결함조사 착수', "국토부, 테슬라 '오토파일럿' 결함조사 착수…국내 첫 테슬라 조사", '유아인도 타는 테슬라 전기차, 자율주행 문제없나…국토부, 첫 조사', '국토부, 테슬라 모델3 자율주행 첫 결함조사 착수', '국토부, 테슬라3 첫 결함조사···제동장치 등 문제 확인땐 리콜', '국토부, 테슬라에 대해 첫 결함조사 착수']
==================================================
####### Cluster 1
Top features: ['매출', '삼성', '배터리', 'sdi', '증가', '전지', '했다', '이익', '부문', '영업']
title명 : ['삼성SDI, 코로나 극복… 2분기 영업익 1038억', '삼성SDI, 2분기 영업이익 1038억원…코로나 속 선방 평가(종합2보)', '‘삼성 부품 형제’ SDI-전기, 숨고르기 속 하반기 본격 반등 예고', '전기차 배터리 3사3색, 엘지화학 먼저 웃을듯', '삼성SDI·삼성전기, ‘코로나’ 속 실적 선방..“하반기 반등 기대”', '삼성SDI "배터리 부문 내년 흑자전환 할것"', '삼성SDI, 내년 전기차배터리부문 흑자전환 기대']
==================================================
####### Cluster 2
Top features: ['있다', '한', '충전', '서울', '회장', '위', '기아차', '대', '투자', '무선']
title명 : ['소니, 팔지도 않을 전기차 공개한 이유', '현대기아차, 한달새 시총 8兆… 하반기 신차로 승부수', '[기고]모빌리티, 파격 혁신 모델에서 출발하라', '"전기차 충전·쇼핑 한번에"…\'메가스테이션\' 유치 전략 서둘러야', '박용만, 규제샌드박스 영상 내레이션…"더 많은 혁신 기대"', 'NH투자증권, 8월부터 투자정보 웹세미나 확대 편성', '배달의 민족, 친환경 전기차 시범 운영']
==================================================
####### Cluster 3
Top features: ['대우건설', '휴맥스', '투자', '추진', 'ev', '충전', '사업', '분', '인프라', '충전기']
title명 : ['대우건설, 전기車 충전 인프라 新사업 진출', '대우건설, 전기차 충전 인프라 사업 진출', '대우건설 "전기차 충전 인프라 사업 진출…휴맥스EV 투자"', '대우건설, 전기차 충전기사업 진출', '대우건설, 전기차 충전 인프라 사업 진출', '대우건설, 전기차 충전기사업 진출…휴맥스EV 지분투자', '대우건설, 전기차 충전 인프라 사업 진출… B.T.S 2호 프로그램']
==================================================
####### Cluster 4
Top features: ['산업', '기업', '군산', '강소', '사업', '지정', '연구개발', '특', '지역', '일자리']
title명 : ['원주 한라대학교, ‘제6회 LINC+스마트모빌리티(이모빌리티)전략산업’ 포럼 개최', "지역산업 육성, 대구가 '최우수'", '군산시, 강소연구개발특구 지정…전기차 특화 기대', '새만금산단 ‘테크비즈 프라자’ 구축 투자협약', '군산시, 강소연구개발특구 지정 전기차 클러스터 조성 탄력']
==================================================
####### Cluster 5
Top features: ['공장', '현대차', '생산', '울산', '고용', '올해', '요구', '녹록', '키', '물량']
title명 : ['현대차 노조 "올해 교섭 키워드는 생존과 미래"', '현대차 노조 "올해 교섭 키워드는 조합원 생존과 미래"']
==================================================
####### Cluster 6
Top features: ['혼다', 'e', '’', '‘', '콘셉트카', '모빌리티', '심사', '어워드', '모터쇼', '퓨처']
title명 : ['혼다, ‘2020 퓨처 모빌리티 어워드’ 최고상 수상', '현대차, 2020 퓨처 모빌리티 대상 수상…"혁신성 성과"', '양산형 전기차 `혼다e`, 퓨처 모빌리티 어워드 `대상`', '혼다 e, ‘2020 퓨처 모빌리티 어워드’ 최고상']
==================================================
####### Cluster 7
Top features: ['중국', '배터리', '테슬라', '미국', '로', '시장', '화학', '3', 'lg', '것']
title명 : ['中 전기차, 테슬라 아성 넘본다', "희토류 vs 헬륨… 美-中 '자원전쟁' 위기", '맥 못 추는 中 전기차배터리 시장… 11개월 연속 뒷걸음질', '테슬라, 배터리 공급선 파나소닉→중국 CATL로 바꾸나', '배터리3사 ‘논스톱 흑자’ 시동…삼성SDI “내년 전기차 배터리 흑자전환”', '보조금의 역설…中 침체에도 국내 배터리 성장 견조']
==================================================
####### Cluster 8
Top features: ['푸조', 'suv', '2008', '뉴', '모델', '파워', '디젤', '올', '버전', '주행']
title명 : ["푸조 2008, 전기차‧디젤 '맘대로 골라 타'", "푸조, '올 뉴 2008' SUV 전기·디젤 모델 출시…3248만원부터", '수입차도 SUV 선호 뚜렷…세단 점유율 첫 50%대 하락', "6년 만에 돌아온 '푸조 2008'…전기·디젤 두가지 버전", '푸조 2008 디젤 vs 전기…“車 소유 비용 월 2만원 차이”', '올 뉴 푸조 2008 SUV, 전기·디젤 동시 출시…6년 만의 풀체인지 모델']
==================================================
####### Cluster 9
Top features: ['뉴딜', '“', '”', '주가', '종목', '대표', '도', '했다', '명', '못']
title명 : ['"전세계 유동성 넘쳐, 주가 더 오를 것…BBIG 재상승 기대"', "한국판 뉴딜 수혜주 '희비'…옥석가리기 시작"]
==================================================
####### Cluster 10
Top features: ['△', 'db', '대표', '처', '본부', '에스', '사회', '테크', '심사', '지원']
title명 : ["한국생산성본부·DB손해보험 '교통환경챌린지' 소셜벤처 선발"]
==================================================
In [ ]:
예제 파일은 첨부드리겠습니다.
728x90
'Data Analytics > Machine learning(ML) study' 카테고리의 다른 글
| 보스턴주택가격 데이터 scikit-learn에서 없어진 데이터 (0) | 2022.01.02 |
|---|---|
| LightGBM의 early_stopping_rounds 사용하기 (0) | 2022.01.01 |
| 시계열 데이터 분석 EDA부터 MLP 신경망 예측모델 예제 (0) | 2021.12.29 |
댓글
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- Mac MongoDB install
- python crawler
- 데이터분석
- 보스턴주택가격
- 파이썬
- wowork
- ChatModel
- mac mongodb 설치
- Python
- load_boston
- early_stopping_rounds
- lightgbm early stopping
- 맥북 몽고DB 설치
- gpt3.5
- 알바천국 스크래핑
- 맥북 몽고DB 실행
- 알바천국 크롤러
- 맥OS 몽고DB 설치
- 위워크서울역
- 파이썬 스크래핑
- GPT4
- 브랜딩기획
- 보스턴집가격
- python 크롤러 기초
- 위워크후기
- 파이썬 리스트 연산
- 판매량예측
- python 스크래핑 기초
- 위워크서울스퀘어
- 형태소분석
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | |||||
| 3 | 4 | 5 | 6 | 7 | 8 | 9 |
| 10 | 11 | 12 | 13 | 14 | 15 | 16 |
| 17 | 18 | 19 | 20 | 21 | 22 | 23 |
| 24 | 25 | 26 | 27 | 28 | 29 | 30 |
글 보관함