실제 업무에 도움을 많이 받았던 프로그램을 소개하겠습니다.


대용량 데이터 작업을 빈번하게 하다보면,

자연스럽게 텍스트 편집기, Access 또는 데이터베이스 등을 사용하게 됩니다.


텍스트 편집기도 대용량을 처리하는 데 지장이 없는 툴을 사용하게되죠.

노트패드++과 같은 경우 오픈소스로 정말 좋은 툴인데 대용량(대략 200~300 메가 이상) 편집은 불가능 합니다.

그래서 울트라에디트나 AcroEdit와 같은 전문 편집툴을 사용하게 됩니다.


데이터 취합 및 통계수치를 연산하기 위해서 엑셀 등도 활용하지만, 용량이 클 경우 데이터베이스를 이용할 수 밖에 없습니다.


상황이 이러다보니 데이터 분석가들은 불가피(?)하게 분석을 하기 위해서라도 데이터편집과 관련된 일련의 기술을 익힐 수 밖에 없습니다.

저 또한 마찬가지였고, 15년 정도 이일을 하다보니 일정 부분은 익숙하기도 합니다.


그럼에도, 루틴한 업무가 있을 수 밖에 없습니다.


소개할 프로그램은 "cmsort" 이라는 툴입니다.


이 녀석의 기능을 대용량 텍스트 파일의 내용을 입력된 조건에 따라 정렬을 해준다는 것입니다.

물론 AcroEdit과 같은 편집기에도 정렬 기능이 있긴한데, cmsort가 좀더 확장성이 좋은 것 같습니다.


 


홈페이지

http://www.chmaas.handshake.de/delphi/freeware/freeware.htm



cmsort.zip  <- 최신버전 다운로드



사용하는 법 간단 리뷰


1. 아래 데이터는 SKT의 시간대별 유동인구입니다.

YYYYMM(년월)과 DD(일자)로 정렬이 되어 있습니다.

1.png


제 업무 특성상 이 데이터를 좌표로 정렬을 해야합니다.


그럴 경우 명령프롬프트에서 다음과 같이 입력하면 됩니다.

cmsort /S=11,27 /H=1 in.CSV out.txt


하나씩 설명을 드리면...

 * /S=11,27    ->   앞에서 11번째(X좌표가 시작하는 위치)부터 27글자(X,Y의 문자열 길이)를 가지고  문자기준(S) 정렬을 하라는 의미

 * /H=1            -> 첫번째 라인은 필드명

 * in.CSV         -> 입력 파일

 * out.txt        -> 출력 파일


이렇게 입력하고 엔터를 치면 

3.png


4.png



이렇게 완료가 됩니다.


결과는 아래와 같구요.


2.png




상세한 설명은 첨부문서에 매뉴얼이 포함되어 있으니 확인바랍니다.




암튼 수기가 이상되는 파일을 DB에 업로드 하고 정렬하는 작업이 하루 정도는 걸리는 데 이제 명령어 한 줄로 정리가 되는군요.


데이터 작업을 빈번하게 하지 않은 이상 이 툴이 필요하지는 않을 듯합니다.

하지만, 저 처럼 업무로 데이터 작업을 빈번하게 처리하는 입장에서는 매우 유용한 프로그램입니다.


도움되는 분이 있길 바라면서.... ^^

List of Articles
번호 제목 글쓴이 날짜 조회 수
공지 지오코딩 툴 정식 버전 - 최종 업데이트 일자: 2019년 6월 24일 file + 50 김한국 2016-03-16 31265
공지 Qgis로 온라인 맵 연동하는방법(WMTS) file Wind 2014-07-06 16527
공지 (Wind님 작성 자료입니다.)Arcgis와 온라인지도의 연동에 관하여 file + 14 Wind 2014-07-05 19520
267 8. 기타 자료 건축 도면 데이터 + 1 만결 2019-08-05 163
266 8. 기타 자료 지오코딩 툴 질문입니다. file + 1 양정윤 2019-06-13 421
265 6. 기본 지도 데이터 한양도성 GIS 지오렌즈 2019-05-31 376
264 4. 주제별 지도데이터 190425_전국표준노드링크 분할압축파일(한폴더에 넣고 압축푸세요)(3) file 생생우덩 2019-05-23 223
263 4. 주제별 지도데이터 190425_전국표준노드링크 분할압축파일(한폴더에 넣고 압축푸세요)(2) file 생생우덩 2019-05-23 109
262 4. 주제별 지도데이터 190425_전국표준노드링크 분할압축파일(한폴더에 넣고 압축푸세요) file + 1 생생우덩 2019-05-23 259
261 2. 프로그램 및 스크립트 소스 [EasySearchTool v2.2] ArcMAP에서 주소검색 및 구글, 네이버 거리뷰 확인 Extension file + 1 진혜 2018-12-26 826
260 1. GIS분석관련 문서 정사영상 좌표변환 Projection 오류 file + 1 haengmind 2018-10-22 937
259 8. 기타 자료 network analysis service area secret 처음입니다 2017-12-02  
258 1. GIS분석관련 문서 씬을 이용한 경관모형 작성 file 어반플래너 2017-11-29 1217
» 2. 프로그램 및 스크립트 소스 텍스트 파일 내부 내용 정렬 프로그램 file 김한국 2017-11-09 1431
256 6. 기본 지도 데이터 서울시 자전거도로 file 이성 2017-09-11 1801
255 4. 주제별 지도데이터 하천망도 1 file + 1 한스 2017-07-28 1740
254 2. 프로그램 및 스크립트 소스 TWI 구하는법 Esri에서 다운받을 수 있네요, 공유해요 file ulygajok 2016-12-14 1253
253 6. 기본 지도 데이터 행정구역-광역시, 시군구, 읍면동(법정구역),리 2016년 10월 file + 3 황선영 2016-10-12 8892
252 2. 프로그램 및 스크립트 소스 shp 파일의 dbf 필드 크기 자동 조정 가능한 프로그램 file + 2 김한국 2016-08-04 2153
251 8. 기타 자료 백터기반 세계지도 pdf(대형 출력 가능) file + 2 김한국 2016-05-20 11160
250 2. 프로그램 및 스크립트 소스 지번주소 및 도로명주소(새주소) 좌표 변환툴, GeoCoder-Xr + 3 김형준 2016-05-03 5764
249 2. 프로그램 및 스크립트 소스 Arcgis 와 국내지도의 연동 - ArcBruTile 0.7버전 file + 21 Wind 2016-04-27 9155
248 3. 메뉴얼 ArcGIS(V10.0) 및 HEC-GeoRAS를 이용한 홍수범람분석 file + 5 김병국81 2016-03-02 2225
247 2. 프로그램 및 스크립트 소스 퀀텀 GIS를 이용하여 작은 폴리곤 삭제 참새 2016-01-11 933
246 2. 프로그램 및 스크립트 소스 주소를 좌표로, GeoCoder-Xr with Kakao, Naver, Google ㅡ 2016, v3.2 file + 6 김형준 2016-01-03 6390
245 7.논문자료 교통소음지도 작성을 위한 3차원 도시모델 구축 file + 1 생생우덩 2015-11-21 1334
244 7.논문자료 GIS 기반의 도시지역 침수 취약성 평가 file 생생우덩 2015-11-09 1924
243 7.논문자료 통합 물정보 제공을 위한 웹GIS 기반의 SWG 시뮬레이터 설계 file 생생우덩 2015-11-09 531
242 8. 기타 자료 (GIS 툴 없이)Row의 중복을 제거하는 간단한 방법 김한국 2015-10-12 1707
241 2. 프로그램 및 스크립트 소스 구주소(지적주소)를 새주소(도로명주소)로 변환하는 툴 ㅡ XrOldAddressToNew file 김형준 2015-09-30 3443
240 2. 프로그램 및 스크립트 소스 Error 999999 : Error executing function file 물방개 2015-07-27 689
239 2. 프로그램 및 스크립트 소스 폴리곤 shp을 단순화 시켜주는 웹 애플리케이션 file + 1 김한국 2015-07-14 2728
238 3. 메뉴얼 Error 999999 : Error executing function 해결방법 file + 1 Wind 2015-06-10 3138
237 6. 기본 지도 데이터 해양지명 데이터 - POINT file 황선영 2015-06-09 1017
236 8. 기타 자료 총균쇠 : 식량생산의 발생과 대륙의 축 file 종이학 2015-05-21 1604
235 2. 프로그램 및 스크립트 소스 DXF파일 SHP파일 변환 file + 2 숲길체험지도사 2015-04-02 3965
234 2. 프로그램 및 스크립트 소스 오픈소스 FingerEyes-Xr for HTML5 ㅡ 공간 분석 소개 및 소스 코드 다운로드 김형준 2015-03-13 1349
233 3. 메뉴얼 오픈소스 FingerEyes-Xr for HTML5에 대한 한글 튜토리얼 김형준 2015-03-02 983
232 8. 기타 자료 projected coordinate system properties 좌표값 설정하기!!;; 곤이 2015-01-20 1902
231 2. 프로그램 및 스크립트 소스 OpenSouce FingerEyes-Xr for HTML5 공간데이터 편집 기능 소개 및 다운로드 김형준 2015-01-20 1116
230 4. 주제별 지도데이터 국토지리정보원의 수치표고모델 공개 ! + 2 박기훈 2015-01-09 5475
229 2. 프로그램 및 스크립트 소스 좌표(Point SHP)를 새주소로 변환해 주는 툴 ㅡ XrReverseGeocoder file 김형준 2014-12-18 2796
228 2. 프로그램 및 스크립트 소스 XrProjection ㅡ 좌표계변환툴(3, 7, 10 파라메터 지원) file + 4 김형준 2014-12-04 4708
227 2. 프로그램 및 스크립트 소스 Point Counter - 폴리곤 안에 들어가는 포인트 수 세기 file + 2 김형준 2014-10-29 2521
226 2. 프로그램 및 스크립트 소스 PointToSomething, 포인트를 다양한 도형 폴리곤으로 변환하는 툴 file + 3 김형준 2014-10-23 1973
225 2. 프로그램 및 스크립트 소스 Hexagon Builder, 정형화된 헥사곤(육각형) 생성 file + 1 김형준 2014-10-21 1852
224 2. 프로그램 및 스크립트 소스 도로명주소(새주소) 좌표 변환툴, GeoCoder-Xr (도로 주소 DB : 2014.9월 버전) file 김형준 2014-09-28 4106
223 6. 기본 지도 데이터 좌표계 확인 부탁드립니다! file chungho1125 2014-08-13 3856
222 2. 프로그램 및 스크립트 소스 텍스트파일 좌표변환 프로그램 - 2015년 05월 08일 버전 업데이트 file + 5 김한국 2014-08-07 6918
221 2. 프로그램 및 스크립트 소스 Arc Hydro tools for ArcGIS 9.3_ArcHydro9.3 file + 1 한쿄 2014-07-30 2996
220 2. 프로그램 및 스크립트 소스 오픈스트리트맵 타일맵 다운로드 입니다. file + 3 highendguy 2014-07-25 4349