'perl recipe'에 해당되는 글 7건

  1. 2009.03.25 두 문자열에서 중복되는 부분 찾기
  2. 2009.03.24 일전한 글자수의 단어 세기 7
  3. 2008.06.05 정규표현식과 코드골프에 관한 IRC로그 1
  4. 2008.04.17 원라인 펄 놀이 - 첫줄 빼고 sort
  5. 2007.12.11 여러파일을 sorting 하기
  6. 2007.11.06 리스트 비교
  7. 2007.11.05 한꺼번에 많은 파일 지우는 세가지 방법 1
2009. 3. 25. 09:00

두 문자열에서 중복되는 부분 찾기

2009. 3. 25. 09:00 in Perl Recipe
sng2nara님의 낚시에 파닥파닥 낚여서 만들어보게 되었다.

문제는 다음과 같은 문자열들이 있을때


my $common = 'ABC';

my @str;

$str[0] = 'AA BBCD ABC bbbc aaaa';

$str[1] = 'BBAA BBCD ABC bbb';

$str[2] = '123BBAA BBCD ABC bbFSKFSJLK';

$str[3] = '239I2P3IBBAA BBCD ABC bbb FLSKJFLSKJDFLJS';

$str[4] = 'ABC bbb';





@str의 문자열들에서 ABC를 포함하면서 공통되는 가장 큰 문자열 셋을 찾는 것.

이경우네는 ABC bbb 가 된다.



물론 효율을 따지면,, 한글자한글자 비교해야 겠지만

일단 효율 무시, 정규표현식을 써보자



두 문자열의 공통된 부분을 찾는 건 꽤 쉽다. 일단 두 문자열을 합친 다음에 다음처럼 만들면 된다.





($max_common) = (($str[0].$str[1]) =~ /^.*?(.*$common.*).*?\1.*?$/) 





자세한 설명은.. 생략

한가지만 얘기하자면 첫번째 ()에서 찾은것이 \1이 된다는 정도.

사실 경우에 따라 몇가지 버그를 가지고 있기는 하다

한 문자열에 ABC가 여러개 있다면 우리가 원하는 대로 나오지 않을 수 있다.

이경우에는 한 문자열에 ABC가 하나만 있다고 가정하자. (혹은 그렇게 만들 루틴을 가지고 있다고)



그럼 여러개의 문자열에 대해서는 어떻게 할까?

여러개의 문자열을 모두 합쳐서 찾으면 좋겠지만, 그럼 위와 같은 문제가 다시 발생한다.

어쩔수 없이 정규표현식을 문자열 개수만큼 돌려야 한다.





my $max_common = shift @str;

($max_common) = (($max_common.$_) =~ /^.*?(.*$common.*).*?\1.*?$/) for @str;

print $max_common;





우왕 굿.



그러나 효율에는 심각한 문제가 있다.

이 정규표현식의 경우는 backtracking을 이용해서 꽤 과도하게 검색을 하기 때문에 긴 문자열에는 적합하지 않다.



테스트로 17kbytes 문서 두개를 이용해서 비교해 봤는데 10분 동안 돌린후에 테스트를 포기했다.

문자열의 길이에 대해 어느정도 효율을 가지는지 테스트해보고 싶지만,, 귀차니즘으로 생량.



그것은 그대의 손에!!

'Perl Recipe' 카테고리의 다른 글

일전한 글자수의 단어 세기  (7) 2009.03.24
원라인 펄 놀이 - 첫줄 빼고 sort  (0) 2008.04.17
여러파일을 sorting 하기  (0) 2007.12.11
리스트 비교  (0) 2007.11.06
한꺼번에 많은 파일 지우는 세가지 방법  (1) 2007.11.05
Posted by pung96
2009. 3. 24. 18:41

일전한 글자수의 단어 세기

2009. 3. 24. 18:41 in Perl Recipe
http://kldp.org/node/104031 를 보고 aero님과 얘기하다가 시작되었다.

문제의 내용(사실은 문제의 일부)는 다음과 같은 문자열에서 AA, AT, AG, AC....의 개수를 세는것

ATCGATCGATCGATAAAC
GATCTAGCTAGCATAACC

앞에서 부터 두글자씩 세는건 아주 단순하다.

$count{$_}++ while $str =~ /(..)/g


하지만 aero님의 문제제기,

앞에서 부터 2글자씩 세는 것이 아니라 임의의 두글자라면 어떻하죠?

먼저 aero님의 구현은
 while ( $str =~ /(..)/g ) {
    $count{$1}++;
    pos $str -= 1;
}
오 멋지다.  마지막으로 두글자의 다음 위치인 pos($str) 의 위치를 뒤로 한글자 돌려서 다시 검색한다.
2글자가 아니라 N글자라면 pos $str -= N-1 이라고 해주고 정규표현식을 조금 바꿔주면 끝.

나의 구현도 매우 비슷하다. 다만 perl 정규표현식의 \G앵커를 사용했다는 정도

pos($str) = 1;
while ( $str =~ /(.\G.)g ) {
    $count{$1}++;
}


처음 pos를 정해놓고 현재 pos위치를 의미하는 \G앵커를 이용하여 검색.. (자세한 내용은 perldoc perlre)
N글자의 단어를 찾으려면 pos위치를 N-1로 하고 /(.{$N-1}\G.)/g 로 바꾸면 끝..
N글자에서는 aero님의 코드가,, 몇글자 짧아지긴 하겠군요

글자수도 거의 같고, 효율도 거의 비슷하겠군.

원라이너 용으로 내 코드를 정리해 보면

perl -nle'pos=1;$c{$1}++ while /(.\G.)/g}{print"$_\t$c{$_}"for sort keys %c' filename


되겠다.

추가로 Luz♡lunA 님의 말씀

 <Luz♡lunA> [hanIRC] c식으로 하면 그냥 한글자씩 뽑으면서 prev를 저장해가면서 진행하면.....

맞습니다.
이게 정석인거죠.

'Perl Recipe' 카테고리의 다른 글

두 문자열에서 중복되는 부분 찾기  (0) 2009.03.25
원라인 펄 놀이 - 첫줄 빼고 sort  (0) 2008.04.17
여러파일을 sorting 하기  (0) 2007.12.11
리스트 비교  (0) 2007.11.06
한꺼번에 많은 파일 지우는 세가지 방법  (1) 2007.11.05
Posted by pung96
2008. 6. 5. 17:45

정규표현식과 코드골프에 관한 IRC로그

2008. 6. 5. 17:45 in 카테고리 없음
어제 IRC에서 나온 뼈가되고 살이되는 펄 얘기 입니다.
주로 간단한 정규 표현식으로 뭘 할 수 있는지 에 관한 얘기죠.
재미있는 로그라 모두 긁어왔는데 좀 기네요. 132줄!!


하지만 읽기 귀찮으신 분들을 위해서 정리도 해드리는 센스!!
두개의 문제가 나왔는데

1.  연숙된 문자열에서 숫자의 앞뒤에 공백 넣기

"11aa11bbcc222d" 를 "11 aa 11 bbbb 222 d" 로 바꾸는 거죠.
간단한 문제이니 만큼 답도 간단합니다.
s/(\d+)/ $1 /g

또는
perl -pe 's/(\d+)/ $1 /g'


2. perldoc 문서 이름을 위키네임으로 바꾸기

twiki에 perldoc관련 플러그인을 만들다가 나온 문제입니다.
perldoc은 perlsub, perlreftut처럼 perl로 시작하고 모두 소문자로 되어있는데
이걸 PerlSub, PerlReftut 처럼 perl의 P와 perl 뒤으 문자 하나 총 2개의 대문자를 가진 문자열로 바꾸는 문제입니다.
다음 코드들에서 print가 나왔다가 안나왔다가 하는 이유는 저는 문자열 반환이 목적이었고, saillinux님과 aero님은 출력이 목적이었기 때문입니다. 알아서 잘 해석해주세요^^
 문자열이 $_에 저장되어 있다고 가정하면
처음에 나온 코드는  saillinux 님의
print "Perl".join '', map {ucfirst}split(/perl/, "$_");

오 훌륭하군요,
약간 바꿔보면
 print join '', map ucfirst, /(perl)(.*)/;

이렇게도 가능하지요.

제가 정규표현식을 써서 만든 코드는 
s/(perl)(.*)/ucfirst$1.ucfirst$2/e


이걸 코드 골프용으로 고치면,, 보기에는 지저분 하지만
/l/;ucfirst$`.'l'.ucfirst$

이렇게 만들 수 있습니다.

이걸 보여드렸더니 aero님께서 다른 아이디어를 제시하시더군요
print map "\u$_",/(perl)(.*)/


호~~ \u가 있었군요. 저는 \U는 알고 있었는데, \U는 한문자에만 적용되는 것이 아니라 \E와 쌍을 이루는 것이어서 못쓰고 있었거든요. 그래서.. 잽싸리 저도 코드를 바꿔봤습니다.
/l/;"\u$`l\u$'"

오호. 마지막 코드를 보신 aero님께서 한 말씀 날려주시더군요
ㅂㅌ

추가:2008/06/08
오늘 아침에 나온 아이디어입니다.
s/(perl|.*)/\u$1/g

우왕~~


코드에 대한 자세한 설명은 saillinux 님께서 해주시리라 믿습니다.
Posted by pung96
2008. 4. 17. 09:26

원라인 펄 놀이 - 첫줄 빼고 sort

2008. 4. 17. 09:26 in Perl Recipe
#perl 에서 saillinux님과 JEEN님의 "쉘에서 파일의 첫 줄을 빼고 소팅하려면"이라는 대화내용을 듣다가 이를 위한 몇가지 아이디어가 떠롤랐다.

파일의 첫줄을 출력한다 던가 마지막 줄을 출력하는 것은 head나 tail로 쉽게 할 수 있지만 첫 줄을 빼고 출력하는 방법은?

1. 다음과 같은 saillinux 님이 가르쳐 주신 위대한 방법도 있다.
   
tail -n `expr \`wc -l file-to-sort | awk '{ print $1 }'\` - 1` file.txt
오.. 왠만한 내공이 아니고는 만들기도 힘든 구문!! `` 안에 ``를 쓰는 센스!!
옛날 연구실의 한 선배는 awk 두개를 써서 더블 루프을 구현하기도 했었다.

그러나 다행히도 더 간단한 방법이 있다.

2. tail
tail -n +2 file.txt
언제부턴지는 모르겠지만 tail 에 "앞에서 몇줄부터" 출력해주는 기능이 생겼다.
간단히 +를 숫자앞에 붙이면 끝이다. 문제는, 이 기능이 언제부터 생긴건지 모르기 때문에 호환성이 좀 걱정된다는 사실.

3. sed
sed -n '2,$p' file.txt 
오래 전부터 이런 일은 awk,  sed 가 강자였지..

그러나 진정한 강자는 따로 있는 법

4. perl
perl -ne'$.>1 and print' file.txt
perl -ne'2..-1 and print' file.txt
perl -ne'2..eof and print' file.txt
오.. 가장 "리더블" 하지 않은가!!(물론, $.을 알아야 하지만)

이제 남은 건 sort 하는 일뿐!! 이건 뭐... 첫줄은 출력하고 나머지는 sort하면 된다.
head -1 file.txt; perl -ne'$.>1 and print' file.txt | sort

그러나 여기서 끝내기엔 너무 쉬운 내용을 너무 길게 썼다.
뭔가 더해보자.
소팅하고 출력하는 것을 펄 안에서 끝내보자.
목표는 : 텍스트를 다 배열에 저장하여 첫줄 빼고 소팅한 다음 출력한다.

perl -ne'push @L, $_;END{print $L[0],sort @L[1..$#L];}' file.txt

잘 되긴 하는데,, 뭔가 아쉬운 이 느낌은 뭘까, 너무 당연한 코드라서 재미가 없다.
게다가 매줄마다 push를 하는건,, 너무 비싸다는 생각이!!
모든 줄을 한꺼번에 배열에 넣을 방법은 없을까?
음, 이럴땐 첨부터 꽁수를 생각해보자.
perl -ne'$f=$_;@l=<>;print $f,sort@l;last' file.txt
오옷!! 이거 그럴 듯 하다!! 더 꼬아보자!!
 perl -ne'@l=<>;last}{print $_,sort@l' file.txt
매우 맘에 드는 코드가 나왔지만, 펄을 새로 시작하는 사람에게는 절대 보여줘선 안될 코드 같다.


오늘의 새로운 아이디어!!

1.  파일을 읽어서 배열에 넣는 방법
perl -ne'@L=($_,<>)' file.txt


2. perl -ne에서  END{}를 쓰기 귀찮다면 }{를 쓰면 된다.
perl -ne'push @L,$_ }{ print sort $L'




'Perl Recipe' 카테고리의 다른 글

두 문자열에서 중복되는 부분 찾기  (0) 2009.03.25
일전한 글자수의 단어 세기  (7) 2009.03.24
여러파일을 sorting 하기  (0) 2007.12.11
리스트 비교  (0) 2007.11.06
한꺼번에 많은 파일 지우는 세가지 방법  (1) 2007.11.05
Posted by pung96
2007. 12. 11. 02:39

여러파일을 sorting 하기

2007. 12. 11. 02:39 in Perl Recipe
갑자기 몇개 파일을 소트해야 할 일이 생겨서

하나의 파일을 sort 하는 방법

perl -i.bak -ne'push@L,$_;END{print sort @L;}' filename

여러 파일을 sort하려면

perl -i.bak -ne'push@L,$_;if(eof){print sort@L;@L=();}' file1 file2 file3

또는

for file in file1 file2 file3;do perl -i.bak -ne'push@L,$_;END{print sort@L;}' $file;done

더 좋은 방법은 당장 생각이 안난다.

find를 이용해서 만든 리스트들이 소트되어 있지 않아서 만든 것인데 실제로는 필요없는 디렉토리가 몇개 들어가 있었다. 필요없는 디렉토리들의 공통점은 숫자로 끝나지 않는다는 것이 었기 때문에 간단히

perl -i.bak -ne'/\d$/ or next;push@L,$_;eof and print sort@L and @L=();' input*10k.txt

다시 생각해 보니 펄을 안쓰는게 더 간단하다
for x in input*10k;do grep -v '[0-9]$' $x | sort > $x.tmp;mv $x.tmp $x;done;

이런....
뭐.. 더 빠르겠지 ㅎㅎ

'Perl Recipe' 카테고리의 다른 글

두 문자열에서 중복되는 부분 찾기  (0) 2009.03.25
일전한 글자수의 단어 세기  (7) 2009.03.24
원라인 펄 놀이 - 첫줄 빼고 sort  (0) 2008.04.17
리스트 비교  (0) 2007.11.06
한꺼번에 많은 파일 지우는 세가지 방법  (1) 2007.11.05
Posted by pung96
2007. 11. 6. 15:02

리스트 비교

2007. 11. 6. 15:02 in Perl Recipe
리스트를 비교하는 방법에는 "grep -f", "sort, diff", "comm" 등이 대표적이다.
"grep -f" 는 시간이 너무 오래 걸리는 단점이 있지만 diff, comm등은 강력한 도구이다.
하지막 역시 많은 파일과 복잡한 선택기준 앞에서 나의 가장 강력한 도구는 PERL!!

내가 주로 쓰는 커맨드를 소개한다면
perl -nle '/(regex)/ and $h[@ARGV]{$1}=$_;END{map{statement;}keys %{$h[0]}}' file1 file0
주의 할 점은 @ARGV(남은 파일 개수)을 인덱스로 사용하기 때문에 인자로 준 파일순서와 인덱스가 거꾸로라는 것.
위 예제에서 file1이 $h[1], file0 가 $h[0] 에 저장된다.(file1 과 file0의 순서에 주의)
statement를 위해서 여러가지 상상력을 동원할 수 있다.

간단한 예
perl -nle '/(\d{6}-\d{4})/ and $h[@ARGV]{$1}=$_;END{map{ exists $h[1]{$_} and print $h[1]{$_} }keys %{$h[0]}}' file1 file0

file1과 file0에서 123456-1234형태의 패턴(내가 주로 사용하는 런넘버-세그먼트넘버) 을 추출해서 file1과 file0의 공집합의 file1리스트를 출력한다.
비교할 리스트의 성질에 따라 코드는 많이 짧아질 수도 있다.
극단적으로 두 리스트의 똑같은 라인들만 검색하기 위해서는 다음과 같이 할 수도 있다.

perl -e '@s{`cat OLD`}=( ); exists $s{$_} && print for `cat NEW`' fire1 file2

'Perl Recipe' 카테고리의 다른 글

두 문자열에서 중복되는 부분 찾기  (0) 2009.03.25
일전한 글자수의 단어 세기  (7) 2009.03.24
원라인 펄 놀이 - 첫줄 빼고 sort  (0) 2008.04.17
여러파일을 sorting 하기  (0) 2007.12.11
한꺼번에 많은 파일 지우는 세가지 방법  (1) 2007.11.05
Posted by pung96
2007. 11. 5. 20:23

한꺼번에 많은 파일 지우는 세가지 방법

2007. 11. 5. 20:23 in Perl Recipe
원래 펄 사용의 주 목적이 리스트 및 파일 관리였기 때문에 다양한 요구조건에 대해서 가장 효율 적인 방법은 일일이 스크립트파일을 만드는 것 보다 awk, 나 sed 처럼 커맨드라인에서 바로 코드를 만드는 방법이라고 생각하고 있었다.  덕분에 프로그램을 만들때 조금만 길이기 길어져도 헤매는 부작용이 생기기는 했지만.

그 전까지는 그냥 상상력에 의존하여 나름 필요한 코드를 만들어오곤 했었는데 다음 코드를 보고는 그 포스에 감동해버렸다.
find ./ -name "*.bak" -type f| perl -nleunlink  # 코드 1
현재 디렉토리 아래의 모든 *.bak파일을 지우는 코드.

한 디렉토리에 지워야 할 파일이 매우 많을때(1024개 이상?)
rm -f *.bak        # 코드 2
는 작동하지 않는다. 이때 위의 perl 코드1은 잘 동작한다.(물론 코드1은 하위디렉토리까지 검색한다는 차이는 있다.)
 perl이외에도 방법은 있다.
find ./ -name "*.bak" -type f -exec rm -f \{\} \;       #코드3
find ./ -name "*.bak" -type f | xargs rm -f                   #코드4
코드3의 문제는 모든 파일마다 rm을 실행하므로 매우 느리다는 데 있다.
코드4의 문제는 xargs를 이용하기 때문에 rm을 호출하는 횟수가 더 적어진다.
코드1의 경우 단 하나의 perl 프로세스를 이용하여 파일을 지우기 때문에 이방법이 가장 빠를 것으로 예상할 수있다.

사실 코드4의 xargs 가  코드1의 perl보다 그리 느릴꺼라고 생각하지는 않는다. 적어도 한 프로세스로 100개이상의 파일을 처리할 수 있다면 소모되는 시간은 파일을 삭제 하는데 걸릴 시간이기 때문이다. 게다가 코드1은 사실상 perl의 아름다움을 보여주기 위하여 좀 과장된 측면이 있다. 예를 들어 처리중에 지우지 못하는 파일이 있어도, 혹은 아예 없는 파일이 리스트에 주어져도 아무런 경고를 내지 않는다. 이를 해결하기 위해서 우리는 "die" 나 "print" 또는 "warn"등의 구문을 추가해야한다.
find ./ -name "*.bak" -type f | perl -nle'unlink or die"Can't remove $_ : $!"'
빠른 방법이라고는 하지만 이제 코드쓰기가 매우 귀찮아졌다. 나라도 xargs가 쓰고싶어 질 것이다. (실제로 그러고 있다.) 하지만 반대로 생각해볼 수 있다. 지우지 못하는 파일에대한 경고를 추가했던 것처럼 우리는 필요한 무엇이든 추가할 수 있다. 텍스트 파일만 지워보자.
find ./ -name "*.bak" -type f | perl -nle'-T and unlink or print "Can't remove $_ : $!"
 find 의 옵션들을 perl로 옮겨 더욱 강력하게 만들 수도 있다.
find | perl -nle '/\.bak$/ && -f && -T and unlink or print "Can't remove $_ : $!"
(파일 테스트 연산자가 제대로 맞는지 잘 기억이...)
(주의: && and 등의 연산자가 헷갈린다면 언제나 괄호와 if 가 우리 앞에 있음을 있지 말자)

정말 지워야할 파일이 많을 수록. 지워야 할 파일을 선택하는데 기준이 복잡할 수록, 위의 코드 한줄이 점점 짧게 보일 것이다.

'Perl Recipe' 카테고리의 다른 글

두 문자열에서 중복되는 부분 찾기  (0) 2009.03.25
일전한 글자수의 단어 세기  (7) 2009.03.24
원라인 펄 놀이 - 첫줄 빼고 sort  (0) 2008.04.17
여러파일을 sorting 하기  (0) 2007.12.11
리스트 비교  (0) 2007.11.06
Posted by pung96
prev Prev 1 Next next

티스토리툴바