공개키 암호화는 비대칭 암호화이다.

암복호화를 수행할 때 하나의 개인키 밖에 없는 대칭 암호화와 대조적으로 비대칭 암호화는 2개의 키가 필요하다.
공개키(public key)는 평문을 암호화 하고,
개인키(private key)는 암호문을 평문으로 복호화 한다.

하나의 도메인(웹사이트나 어플리케이션)에서는 일반적으로 대칭 암호화가 적합하지만,
여러개의 도메인이나 그룹을 다루는 경우 비대칭 암호화가 적합하다.
공개키는 모두에게 공유되지만, 개인키는 하나의 그룹만 제외하고 모두에게 비공개이다.

[shell] openssl genrsa -out private.pem 2048

1) key 포맷 관련
  위 명령어는 openssl 을 사용하여 pem 파일을 생성한다.
  읽기 쉬운 ASCII 이기 때문에 복사/붙여넣기 간편하고, 검증하기 쉽다.
  java 는 PEM 포맷으로는 작업하기 어려우니 대신 binary 인 DER 포맷을 권장한다. (손쉽게 변환 가능하다)

2) key 길이 관련
  명령어 끝에 있는 숫자(2048)인데 bit 단위 키 길이이다.
  이는 RSA 공개키 암호화 키 길이와도 관련이 있으며,
  암호화 할 수 있는 데이터 길이를 뜻하기도 하고 개인키가 얼마나 강력한지를 의미하기도 한다.

  좀더 강력하게 만들기 위해 4096 이나 8192 로 하면 안될까?

  이는 암복호화 성능과 관련이 있기 때문에
  어떤 어플리케이션에서는 공개키 암호화에 지정한 키 길이만 사용하는 경우도 있다.
  따라서 key pair 를 사용하는 도메인의 올바른 키 길이를 알아야만 한다.

  대부분의 경우 2048 키 길이가 적합하지만... 필요에 따라서 더 강력한 키를 맹글어라....

[shell] openssl rsa -in private.pem -inform pem -out public.key -outform der -pubout

이 명령어는 그냥봐도 대략 알 수 있다.

앞선 명령어와 크게 다른 점은 -outform 인자를 주어 DER 포맷을 사용하도록 했다는 것이다.
특히 이는 X.509 public key infrastructure standards 표준을 따른다.
확장자는 ".key" 를 사용했지만, ".cer, .crt" 나 ".der" 를 사용해도 좋다. (확장자는 포맷에 영향을 주지 않으니까...)

하지만, 확실히 알아두어야 할 것은 이 파일이 실제 X.509 certificate 가 아니라는 것이다.
이 파일은 공개키 일 뿐이다.

공개키가 DER 포맷이니 이제 개인키를 binary 인 DER 포맷으로 변환하는 걸 알아보자.
이는 PKCS#8 public-key cryptography standard 표준을 따른다.

[shell] openssl rsa -in private.pem -inform pem -out private.key -outform der

보안을 위해 PEM 파일은 삭제하자.
다시 PEM 파일이 필요하다면 DER 파일로부터 PEM 을 만들어내면 된다.

[shell] openssl pkcs8 -inform der -nocrypt < private.key > private.pem (에러 남)
[shell] openssl pkcs8 -topk8 -in private.key -inform der -out private.pem -outform pem

이 PEM 파일을 사용하여 공개키를 또 만들어 낼 수 있다.

역주)
이렇게 키를 만드는 이유는 #2/3 에서 언급할 "java 암호화 API" 를 사용하여 암복호화할 때 사용할 키를 만들기 위함이다.
헌데, 위에서 언급한 openssl 명령어 중 마지막 der 포맷의 private.key 파일에 문제가 있다.
(#2/3 의 소스에서 암복호화시 openssl 명령을 통해 만들어낸 private.key 를 사용하여 복호화하면 키 에러가 발생한다)

java.security.spec.InvalidKeySpecException: java.security.InvalidKeyException: IOException : algid parse error, not a sequence

	at sun.security.rsa.RSAKeyFactory.engineGeneratePrivate(RSAKeyFactory.java:217)
	at java.security.KeyFactory.generatePrivate(KeyFactory.java:372)
	at kr.zany.sample.spring.common.crypto.RSACipher.decrypt(RSACipher.java:73)
	at kr.zany.sample.spring.common.crypto.RSACipher.decrypt(RSACipher.java:52)
	at kr.zany.sample.spring.common.crypto.RSACipherTest.encryptDecryptWithKeyPairFiles(RSACipherTest.java:45)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:497)
	at org.junit.runners.model.FrameworkMethod$1.runReflectiveCall(FrameworkMethod.java:50)
	at org.junit.internal.runners.model.ReflectiveCallable.run(ReflectiveCallable.java:12)
	at org.junit.runners.model.FrameworkMethod.invokeExplosively(FrameworkMethod.java:47)
	at org.junit.internal.runners.statements.InvokeMethod.evaluate(InvokeMethod.java:17)
	at org.junit.runners.ParentRunner.runLeaf(ParentRunner.java:325)
	at org.junit.runners.BlockJUnit4ClassRunner.runChild(BlockJUnit4ClassRunner.java:78)
	at org.junit.runners.BlockJUnit4ClassRunner.runChild(BlockJUnit4ClassRunner.java:57)
	at org.junit.runners.ParentRunner$3.run(ParentRunner.java:290)
	at org.junit.runners.ParentRunner$1.schedule(ParentRunner.java:71)
	at org.junit.runners.ParentRunner.runChildren(ParentRunner.java:288)
	at org.junit.runners.ParentRunner.access$000(ParentRunner.java:58)
	at org.junit.runners.ParentRunner$2.evaluate(ParentRunner.java:268)
	at org.junit.runners.ParentRunner.run(ParentRunner.java:363)
	at org.junit.runner.JUnitCore.run(JUnitCore.java:137)
	at com.intellij.junit4.JUnit4IdeaTestRunner.startRunnerWithArgs(JUnit4IdeaTestRunner.java:117)
	at com.intellij.junit4.JUnit4IdeaTestRunner.startRunnerWithArgs(JUnit4IdeaTestRunner.java:42)
	at com.intellij.rt.execution.junit.JUnitStarter.prepareStreamsAndStart(JUnitStarter.java:262)
	at com.intellij.rt.execution.junit.JUnitStarter.main(JUnitStarter.java:84)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:497)
	at com.intellij.rt.execution.application.AppMain.main(AppMain.java:147)
Caused by: java.security.InvalidKeyException: IOException : algid parse error, not a sequence
	at sun.security.pkcs.PKCS8Key.decode(PKCS8Key.java:351)
	at sun.security.pkcs.PKCS8Key.decode(PKCS8Key.java:356)
	at sun.security.rsa.RSAPrivateCrtKeyImpl.(RSAPrivateCrtKeyImpl.java:91)
	at sun.security.rsa.RSAPrivateCrtKeyImpl.newKey(RSAPrivateCrtKeyImpl.java:75)
	at sun.security.rsa.RSAKeyFactory.generatePrivate(RSAKeyFactory.java:316)
	at sun.security.rsa.RSAKeyFactory.engineGeneratePrivate(RSAKeyFactory.java:213)
	... 31 more

이 때문에 원문(http://www.reindel.com/asymmetric-public-key-encryption-using-rsa-java-openssl)의
댓글을 보면 여러 논의가 이루어지는데... 정리하면 아래와 같다.

[1. private key (pem)    ] openssl genrsa -out private.pem 2048
[2. public key           ] openssl rsa -in private.pem -inform pem -out public.key -outform der -pubout
[3. private key (pem-der)] openssl rsa -in private.pem -inform pem -out private.key -outform der
[4. private key (der-pem)] openssl pkcs8 -topk8 -in private.key -inform der -out private.pem -outform pem -nocrypt

[1. private key (pem)    ] openssl genrsa -out private.pem 2048
[2. private key (pem-der)] openssl rsa -in private.pem -inform pem -out private.der -outform der
[3. private key (pkcs8)  ] openssl pkcs8 -topk8 -in private.der -inform der -out private.key -outform der -nocrypt
[4. public key           ] openssl rsa -in private.pem -inform pem -out public.key -outform der -pubout

3번에서 -nocrypt 옵션을 제거하면 private.key 에 비밀번호를 설정할 수 있다.

AFTER 에 열거된 명령어를 사용하여 DER 포맷의 public.key, private.key 를 생성하면,
#2/3 의 자바 소스에서 해당 키를 사용하여 암복호화가 정상적으로 수행 됨을 알 수 있다.

2,3번 과정을 합쳐서 아래와 같은 명령으로 DER 포맷의 private key 를 생성할 수도 있다.
(원글을 작성한 Brian Reindel 씨의 말대로 DER 포맷의 private key 를 생성하고나면 보안을 위해 private.pem 파일은 삭제하자)

openssl pkcs8 -topk8 -in private.pem -inform pem -out private.key -outform der -nocrypt

위 내용이 이해가 되지 않는다 하더라도 걱정하지 않아도 된다.
#2/3 에서 java 암호화 API 를 통해 Public/Private Key 를 생성하고,
해당 Key 를 통해 암복호화를 수행하는 방법에 대해 언급하고 있다.