푸른바람

• {MySQL] Timestamp 컬럼 형식을 사용할 때 주의점
  

TIMESTAMP 데이터 형을 사용할 경우에는
DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP 속성을 분명히 명시하던가
아니면 DEFAULT '0000-00-00 00:00:00' 라고 값을 명시해야 안 헷갈린다는 것이다.

출처 : 지훈현서 : {MySQL] Timestamp 컬럼 형식을 사용할 때 주의점

 

위 내용으로 logfile을 삭제했지만 오류는 그대로나옴.

하지만 DB table을 확인했을때의 허탈함이란.  DB의 테이블 목록만 뜨고 모든 정보가 날아간것 같다. ㅜ.ㅜ

frm 파일 정보와 ibdata1 파일은 정상적으로 존재한다. 뭔가 잘못된거다. 다시 구글링을 해야겠다. 에궁.

 SHOW TABLE STATUS 는 다음 필드를 리턴한다:

• Name

테이블 이름

• Engine

테이블의 스토리지 엔진. "14. 스토리지 엔진과 테이블 타입"장을 참조하라.

• Version

테이블의 .frm 파일의 버전 수.

• Row_format

로우 스토리지 포맷(Fixed, Dynamic, Compressed, Redundant, Compact).
MySQL/InnoDB 5.0.3부터 InnoDB 테이블의 포맷은 Redundant 
또는 Compact 형식으로 보고된다. 5.0.3이전 버전에서 InnoDB 테이블은
항상 Redundant 포맷에 있었다.  

• Rows

로우의 수. MyISAM과 같은 몇몇 스토리지 엔진은 정확한 값을 저장한다.
InnoDB와 같은 다른 스토리지 엔진의 경우, 이 값은 근사값이며, 실제 값과는 
40~50% 이상 차이가 있다. 그런 경우, 정확한 값을 얻기 위해서 SELECT COUNT(*)
를 사용한다. INFORMATION_SCHEMA 데이터 베이스에 있는 테이블에서 Rows 
값은 NULL 이다.

• Avg_row_length

평균 로우 길이.

• Data_length

데이터 파일의 길이.

• Max_data_length

데이터 파일의 최대 길이. 이것은 테이블에 저장된 데이터의 바이트 총수이다.

• Index_length

인덱스 파일의 길이.

• Data_free

할당되었으나 사용되지 않은 바이트 수.

• Auto_increment

그 다음 AUTO_INCREMENT 값.

• Create_time

테이블이 생성되었을 때.

• Update_time

데이터 파일이 마지막으로 업데이트된 때. 몇몇 스토리지 엔진의 경우, 이 값은 NULL
이다.예를 들어, InnoDB는 테이블스페이스에 있는 복합 테이블을 저장하고 데이터
파일 타임스탬프는 적용되지 않는다.

• Check_time

테이블이 마지막으로 체크된 때. 모든 스토리지 엔진이 이 시간에 업데이트되는 것은
아니다. 이런 경우 값은 항상 NULL이다.

• Collation

테이블의 캐릭터 셋과 정렬.

• Checksum

유요한 검사 합계 값.

• Create_options

CREATE TABLE 을 사용한 별도 옵션.

• Comment

테이블을 생성할 때 사용하는 코멘트
(또는 MySQL이 테이블 정보에 엑세스할 수 없는 이유에 관한 정보)

 

에러 내용

• SELECT syntax

[code bash]
mysql -u root -p
[/code]

[code sql]
SELECT a,b,a+b INTO OUTFILE '/home/username/backup.data'
FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"'
LINES TERMINATED BY '\n'
FROM table_name
WHERE a > 0;

LOAD DATA INFIILE '/home/username/backup.data'
INTO TABLE database_name.table_name;
[/code]

이런 된장. 되는일이 없네.

TEST 서버에 DB를 와 TABLE을 다시 구축한후 작업에 필요한 필드에 인덱스를 건 후 자료를 밀어넣었더니 이틀정도의 시간이 소요되더군요. ㅡ.ㅡa

그 후 agent를 uniq로 뽑아 낸 후 php에서 제공하는 get_browser(); 로 agent를 정보를 갱신하는 작업을 진행했습니다.

막노동이 따로없군요.

mysql 자체에서는 agent정보를 기초로 브라우저, 버전, 플랫폼, 모바일, 크롤러 정보를 뽑아주는 기능이 있는지 검색을 열심히(!) 해 봤지만 없더군요.

아 하하... 부끄러워라...

[code sql]
INSERT INTO sta.sta SELECT *, count(sta_idx) FROM ( SELECT LOWER( CONCAT(CONV(CONCAT(REPLACE(IF(a._request_time IS NOT NULL, DATE(FROM_UNIXTIME(a._request_time)), CONCAT(a.request_year, a.request_month, a.request_day)),'-', ''), CASE WHEN HOUR(FROM_UNIXTIME(a._request_time)) IS NOT NULL THEN HOUR(FROM_UNIXTIME(a._request_time)) ELSE '0' END), 10, 36) , CONCAT('-', CASE WHEN conv(mem_idx, 10, 36) IS NOT NULL THEN conv(mem_idx, 10, 36) ELSE '0' END) , CONCAT('-', CASE WHEN conv(uri_idx, 10, 36) IS NOT NULL THEN conv(uri_idx, 10, 36) ELSE '0' END) , CONCAT('-', CASE WHEN conv(host_idx, 10, 36) IS NOT NULL THEN conv(host_idx, 10, 36) ELSE '0' END) , CONCAT('-', CASE WHEN conv(ref_idx, 10, 36) IS NOT NULL THEN conv(ref_idx, 10, 36) ELSE '0' END) , CONCAT('-', CASE WHEN conv(req_idx, 10, 36) IS NOT NULL THEN conv(req_idx, 10, 36) ELSE '0' END) , CONCAT('-', CASE WHEN conv(agent_idx, 10, 36) IS NOT NULL THEN conv(agent_idx, 10, 36) ELSE '0' END) , CONCAT('-', CASE WHEN conv(INET_ATON(remote_addr), 10, 36) IS NOT NULL THEN conv(INET_ATON(remote_addr), 10, 36) ELSE '0' END) )) AS sta_idx ,IF(a._request_time IS NOT NULL, YEAR(FROM_UNIXTIME(a._request_time)), a.request_year ) AS sta_y ,IF(a._request_time IS NOT NULL, MONTH(FROM_UNIXTIME(a._request_time)), a.request_month ) AS sta_m ,IF(a._request_time IS NOT NULL, DAY(FROM_UNIXTIME(a._request_time)), a.request_day ) AS sta_d ,IF(a._request_time IS NOT NULL, HOUR(FROM_UNIXTIME(a._request_time)), '0' ) AS sta_h ,mem_idx ,uri_idx ,host_idx ,ref_idx ,req_idx ,agent_idx ,INET_ATON(a.remote_addr) AS addr FROM pickup.analysis AS a LEFT JOIN sta.agent ON agent.agent_md5=md5(a.http_user_agent) LEFT JOIN sta.host ON host.host_name=a.remote_host LEFT JOIN sta.ref ON ref.ref_md5=md5(a.http_referer) AND ref.ref_uri=a.http_referer LEFT JOIN sta.req ON req.req_md5=md5(IF(substr(a.request_uri, 0, 2)='//', substr(a.request_uri, 1), a.request_uri)) WHERE #a.analysis_idx < 14463 a.request_year = '2010' and a.request_month = '1' #and a.request_day >= '1' and a.request_day <= '15' GROUP BY a.analysis_idx ) AS tmp GROUP BY sta_idx [/code]

DBA는 아무나 하는것도 아닌가봐.

[code sql]
INSERT INTO sta.sta SELECT LOWER(CONCAT( CONV(CONCAT(sta_y, sta_m, sta_d, sta_h) , 10, 36) , CONCAT('-', CASE WHEN conv(mem_idx, 10, 36) IS NOT NULL THEN conv(mem_idx, 10, 36) ELSE '0' END) , CONCAT('-', CASE WHEN conv(uri_idx, 10, 36) IS NOT NULL THEN conv(uri_idx, 10, 36) ELSE '0' END) , CONCAT('-', CASE WHEN conv(host_idx, 10, 36) IS NOT NULL THEN conv(host_idx, 10, 36) ELSE '0' END) , CONCAT('-', CASE WHEN conv(ref_idx, 10, 36) IS NOT NULL THEN conv(ref_idx, 10, 36) ELSE '0' END) , CONCAT('-', CASE WHEN conv(req_idx, 10, 36) IS NOT NULL THEN conv(req_idx, 10, 36) ELSE '0' END) , CONCAT('-', CASE WHEN conv(agent_idx, 10, 36) IS NOT NULL THEN conv(agent_idx, 10, 36) ELSE '0' END) , CONCAT('-', CASE WHEN conv(addr, 10, 36) IS NOT NULL THEN conv(addr, 10, 36) ELSE '0' END) )) AS sta_idx , tmp.* , count(*) as sta_cnt FROM ( SELECT IF(a._request_time IS NOT NULL, YEAR(FROM_UNIXTIME(a._request_time)), a.request_year ) AS sta_y ,IF(a._request_time IS NOT NULL, MONTH(FROM_UNIXTIME(a._request_time)), a.request_month ) AS sta_m ,IF(a._request_time IS NOT NULL, DAY(FROM_UNIXTIME(a._request_time)), a.request_day ) AS sta_d ,IF(a._request_time IS NOT NULL, HOUR(FROM_UNIXTIME(a._request_time)), '0' ) AS sta_h ,mem_idx ,uri_idx ,(SELECT host_idx FROM sta.host WHERE host.host_name=a.remote_host LIMIT 1) AS host_idx ,(SELECT ref_idx FROM sta.ref WHERE ref.ref_md5=md5(a.http_referer) AND ref.ref_uri=a.http_referer) AS ref_idx ,(SELECT req_idx FROM sta.req WHERE req.req_md5=md5(IF(substr(a.request_uri, 0, 2)='//', substr(a.request_uri, 1), a.request_uri)) LIMIT 1) AS req_idx ,(SELECT agent_idx FROM sta.agent WHERE agent.agent_md5=md5(a.http_user_agent) LIMIT 1) AS agent_idx ,INET_ATON(a.remote_addr) AS addr FROM pickup.analysis AS a WHERE a.request_year = '2010' and a.request_month = '2' ) AS tmp GROUP BY sta_idx [/code]

[code sql]
INSERT INTO sta.sta SELECT LOWER(CONCAT( CONV(CONCAT(sta_y, sta_m, sta_d, sta_h) , 10, 36) , '-', IFNULL(CONV(mem_idx, 10, 36), 0) , '-', IFNULL(CONV(uri_idx, 10, 36), 0) , '-', IFNULL(CONV(host_idx, 10, 36), 0) , '-', IFNULL(CONV(ref_idx, 10, 36), 0) , '-', IFNULL(CONV(req_idx, 10, 36), 0) , '-', IFNULL(CONV(agent_idx, 10, 36), 0) , '-', IFNULL(CONV(addr, 10, 36), 0) )) AS sta_idx , tmp.* , count(*) as sta_cnt FROM ( SELECT IFNULL(YEAR(FROM_UNIXTIME(a._request_time)), a.request_year) AS sta_y ,IFNULL(MONTH(FROM_UNIXTIME(a._request_time)), a.request_month) AS sta_m ,IFNULL(DAY(FROM_UNIXTIME(a._request_time)), a.request_day) AS sta_d ,IFNULL(HOUR(FROM_UNIXTIME(a._request_time)), '0') AS sta_h ,mem_idx ,uri_idx ,(SELECT host_idx FROM sta.host WHERE host.host_name=a.remote_host LIMIT 1) AS host_idx ,(SELECT ref_idx FROM sta.ref WHERE ref.ref_md5=md5(a.http_referer) AND ref.ref_uri=a.http_referer) AS ref_idx ,(SELECT req_idx FROM sta.req WHERE req.req_md5=md5(IF(substr(a.request_uri, 0, 2)='//', substr(a.request_uri, 1), a.request_uri)) LIMIT 1) AS req_idx ,(SELECT agent_idx FROM sta.agent WHERE agent.agent_md5=md5(a.http_user_agent) LIMIT 1) AS agent_idx ,INET_ATON(a.remote_addr) AS addr FROM pickup.analysis AS a WHERE a.request_year = '2010' and a.request_month = '5' ) AS tmp GROUP BY sta_idx [/code]

[code xml]
［mysqld］
# 추가
skip-name-resolve
[/code]