Merge branch 'better_signature_validation' of https://github.com/jburnham/git-remote-gcrypt

improve docs

--check option to see if a repo exists and can be decrypted

This is to allow programs to determine if a repo uses gcrypt, per #6.

Since this program already knows the name of the manifest file and how to
download it and decrypt it, it makes sense to do the check here rather than
in, eg, git-annex.

Better signature validation for subkeys.

add remote.<name>.gcrypt-signingkey config

This is needed by git-annex assistant when it sets up a gcrypt repository,
to ensure that the gpg key it was asked to use to encrypt the repo is the
same key used to sign it. If it's not, pulling from the repo won't work,
due to git-remote-gcrypt's "Only accepting signatories" check.

The user may have a global user.signingkey setting (I do), but be setting
up a different special-purpose key for encrypting their git repo. The
git-annex assistant cannot mess with the global value, so needs this to
override it.

set --trust-model=always when encrypting

Otherwise gpg may prompt to verify if we want to encrypt to users who
do not have a defined trust level. But, the participants setting
explicitly listed them, so we know we want to encrypt to them.

closes #3

README: Don't mention keyring files, it's not relevant anymore

Remove deprecated /G.XxX.. repository "url fragments" (previously autofixed)

Remove deprecated gcrypt::ssh:// (use rsync instead, previously autofixed)

We need to remove this since git handles ssh:// URLs already. With this
change, we now use the git backend for these.

Remove deprecated config gcrypt.keyring (use gcrypt.participants or default)

Simplify by replacing echo_kill with a pipefail function

Use directory in /tmp for temporary files

Using a standard directory for temporaries buys us performance when the
user wants it (has configured tmpfs for /tmp) and configurability
(accepts TMPDIR=).

Moving /pack to a temporary directory gives safe concurrent remote
repacks.

Add license header and the text of the GNU GPL

Use a longer pack key

There should be no difference if we use 32 random bytes or more, since
GPG's longest symmetric key is 32 bytes, but to just remove any doubt we
use a longer random passphrase.

Encrypt and hash the new packfile streamingly

Simplify the use of the object list file

Introduce xfeed output function

Combine tempfile naming into one function

Guard verify-pack and pack-objects and die on error

Use echo_kill for when echo_die is not enough.

Use pathname expansion only where needed

Fix GCRYPT_FULL_REPACK to also repack when target has only 1 pack

Simplify PRIVENCRYPT

Simplify line_count and pick_fields

remove splitcolon use

use gpg_hash

Refactor fetch and repack

More specific pattern for manifest filter

Use $1, $2 instead of $@ here

If found a bug in mksh, where it would not split "$@" if IFS is null
(reported).

Fixup cleanup at exit

Cleanup use of "quotes"

Rename main manifest globals for consistency and symmetry

Unify filter_to and its negation, also make it faster by direct append

Edit wording in README

Code and naming conventions around return variables

Use filter_to for pruning Packlist after repack

Replace wc -l with line_count

Use filter_to for key_line

Fix checking for multiple keys

Update Branchlist using filter_remove

Introduce filter_to, pick_fields

Minicleanup in do_push

Use have_packs+ file directly with grep

Fix bug with goodsig variable

read_config: only pick first key for each key id

Put the main loop for the git protocol in a function

Fix minor coding style and cleanup local variables

Don't show errors from git fetch when using the git backend

Use a function for cleanup at exit

README: Fix to use `remote id`

Simplify formatting of the manifest

Use append_to

Group modifiable globals together

Update license text

Use set -u (no unset vars)

Use return variables for Goodsig and Signers

Use setvar for return variables

Update Gref_rbranch when connecting

Fix markup of Repository Format section

Edit README

Organize the README in a neat way, putting extra info in the Notes chapter

Edit the summary of the repository format/process

Tone down the development version warnings

We have now implemented the usability changes (No fragment in repository
URL, and default encrypt-to-self), so no big changes planned.

Use a shorter, simpler repo ID since users will see it (occasionally)

Automatically forward-port repository config

Change remote configurations when encountered:

* gcrypt::ssh -> gcrypt::rsync
* repo/G.XXXX -> #XXX
* gitception:// -> ""

Update README for remote.<name>.gcrypt-participants and default simple mode

Encrypt to self by default; basic functionality now needs no configuration

Introduces gcrypt.participants "simple" mode which encrypts to self, and
accepts any valid signature by default. No configuration needed for
private repositories.

We also adds  remote.<name>.gcrypt-participants to configure this per
remote.

Migrate to SHA-256 and implicit repo ID (PARTIAL REPO FORMAT CHANGE)

* local, rsync, ssh, sftp repositories are still compatible
* gitception/git backend repositories are not compatible and need to be
  deleted and recreated
* Put manifest in a static location, so we don't need #fragment in the URL
* Record repository ID for each remote, and warn if it changes.
* Use SHA-256 by default but allow reading SHA-224-identified packfiles
* The URL #fragment identifies branch to use when using the git backend

Do not use grep -F (busybox incompatible)

Give warning about future format change

Allow user to set $GCRYPT_FULL_REPACK to force repack of remote

Unify all uses of trap

Factor out common code in do_fetch and repack

Use normal "url-safe" variant of base64 for repo url fragment

Use rsync for both rsync and ssh access

Document the keep field

Repack the encrypted remote regularly

Use a simple but slow method of repacking the remote repository.
Download (and verify) all packs not marked 'keep', and repack those into
a new packfile. The new packfile is marked 'keep' with generation 1.
After PUT is called on the manifest, we remove the redundant old
packfiles.

The generation number will allow further iterations of repacking to be
implemented later.

Simplify informational output to emphasize the new repo URL

Add ./install.sh to install git-remote-gcrypt and its man page

Parameterise type of hash used

Fix iseq for null strings

Document manifest fields better

Use config gcrypt.participants for GPG key ids

Instead of using a separate keyring file (gcrypt.keyring is now
deprecated!), use a simple list of key ids. Extract all keyids and use
these to match GOODSIG <keyid> manually on the gpg status output.

The gcrypt.keyring variable is still used, but it will be removed later.

Use URL fragment for repository id instead of G.*

Request signature on manifest before uploading pack

Just to ensure that the user signs the push before we upload any files
(pack or manifest) to the remote.

Support rsync://

Simply detect if using git repository backend. gitception:// is unneeded

Simply treat absolute paths that do not lead to a HEAD file as local
directory backends, and all other as git backends.

Use grep instead of sort/uniq

Update README

Use batch-check to use only the remote_has commits we also have locally

Allow deleting remote refs

Only encrypt to keys with encrypt capability

Update README so it can generate a man page with rst2man

Minor cleanup (make sure used variables are clear at start)

Add extension namespace in manifest files, 'extn' lines are preserved

Use a packfile passphrase of 33 bytes, parity with 256-bit crypto

Obey git config user.signingkey

Use 'initial commit' as message for gitception commits

Use a separate symmetric key per packfile (REPO FORMAT CHANGE)

A separate key per pack is simpler and costs us very little; with
repack changes later it will be possible to change keys regularly.

Update README

Fix microissues