Update codeql-analysis.yml

disable cron check

.github/workflows/binary-release.yml

@@ -32,7 +32,7 @@ jobs:
                 GITHUB_TOKEN: ${{ secrets.GITHUB_TOKEN }}
             with:
                 tag_name: ${{ steps.get_version.outputs.VERSION }}
-                release_name: Release ${{ steps.get_version.outputs.VERSION }}
+                release_name: multini ${{ steps.get_version.outputs.VERSION }}
                 draft: false
                 prerelease: false
                 

.github/workflows/codeql-analysis.yml

@@ -0,0 +1,32 @@
+name: "CodeQL"
+
+on:
+  push:
+    branches: [ master ]
+  pull_request:
+    branches: [ master ]
+
+jobs:
+  analyze:
+    name: Analyze
+    runs-on: ubuntu-latest
+
+    strategy:
+      fail-fast: false
+      matrix:
+        language: [ 'go' ]
+
+    steps:
+    - name: Checkout repository
+      uses: actions/checkout@v2
+
+    - name: Initialize CodeQL
+      uses: github/codeql-action/init@v1
+      with:
+        languages: ${{ matrix.language }}
+
+    - name: Autobuild
+      uses: github/codeql-action/autobuild@v1
+
+    - name: Perform CodeQL Analysis
+      uses: github/codeql-action/analyze@v1

.github/workflows/tests.yml

@@ -0,0 +1,23 @@
+name: tests
+
+on:
+    push:
+        branches:
+        - master
+
+jobs:
+    build:
+        runs-on: ubuntu-latest
+
+        steps:
+          - name: checkout
+            uses: actions/checkout@v2
+    
+          - name: Setup Go
+            uses: actions/setup-go@v2
+            with:
+              go-version: '1.13.0'
+        
+          - name: Build
+            run:  make -j $(nproc) && make test
+

.gitignore

@@ -1,20 +1,3 @@
-# Binaries for programs and plugins
+/bin/
-bin/*
+/test/data/out_ini/
-multini
+/cmd/multini/multini
-*.exe
-*.exe~
-*.dll
-*.so
-*.dylib
-
-# Test binary, built with `go test -c`
-*.test
-
-# Custom binary test
-tests/out_ini/*
-
-# Output of the go coverage tool, specifically when used with LiteIDE
-*.out
-
-# Dependency directories (remove the comment below to include it)
-# vendor/

Makefile

@@ -1,7 +1,7 @@
 NAME     = multini
-VERSION  = dev_$(shell date +%F_%T)
+VERSION := $(shell git describe)
 GOCMD    = go
-LDFLAGS := "$(LDFLAGS) -X 'main.Version=$(VERSION)'"
+LDFLAGS := "$(LDFLAGS) -s -w -X 'main.Version=$(VERSION)'"
 GOBUILD  = $(GOCMD) build -ldflags=$(LDFLAGS)
 SRCMAIN  = ./cmd/$(NAME)
 SRCDOC   = ./doc

README-ru.md

@@ -0,0 +1,111 @@
+# Multini
+
+[![build](https://github.com/GenZmeY/multini/workflows/build/badge.svg)](https://github.com/GenZmeY/multini/actions?query=workflow%3Abuild)
+[![tests](https://github.com/GenZmeY/multini/workflows/tests/badge.svg)](https://github.com/GenZmeY/multini/actions?query=workflow%3Atests)
+[![CodeQL](https://github.com/GenZmeY/multini/workflows/CodeQL/badge.svg)](https://github.com/GenZmeY/multini/security/code-scanning)
+[![GitHub go.mod Go version](https://img.shields.io/github/go-mod/go-version/GenZmeY/multini)](https://golang.org)
+[![GitHub](https://img.shields.io/github/license/genzmey/multini)](LICENSE)
+[![GitHub release (latest by date)](https://img.shields.io/github/v/release/GenZmeY/multini)](https://github.com/GenZmeY/multini/releases)
+
+[English](README.md), [Русский](README-ru.md)
+
+*Утилита командной строки для манипулирования ini файлами с дублирующимися именами ключей.*
+
+Скомпилированная версия multini доступна на [странице релизов](https://github.com/GenZmeY/multini/releases).
+
+***
+
+# Описание
+Некоторые программы используют формат ini файлов допускающий повторяющиеся имена ключей.  
+Например игры основаные на [unreal engine](https://en.wikipedia.org/wiki/Unreal_Engine).  
+Это может выглядеть так (часть конфигурации Killing Floor 2):
+```
+[OnlineSubsystemSteamworks.KFWorkshopSteamworks]
+ServerSubscribedWorkshopItems=2267561023
+ServerSubscribedWorkshopItems=2085786712
+ServerSubscribedWorkshopItems=2222630586
+ServerSubscribedWorkshopItems=2146677560
+```
+Большинство реализаций поддерживают только одно свойство с заданным именем в секции. Если их несколько, будет обрабатываться только первый (или последний) ключ, чего в данном случае недостаточно. multini решает эту проблему.
+
+**примечание:**  
+- multini чувствителен к регистру;  
+- кавычки вокруг значения не обрабатываются (multini считает их частью значения);  
+- многострочные значения не поддерживаются.  
+(но все это может измениться в будущем)  
+
+# Сборка и установка (вручную)
+1. Установите [golang](https://golang.org), [git](https://git-scm.com/), [make](https://www.gnu.org/software/make/);
+2. Клонируйте этот репозиторий: `git clone https://github.com/GenZmeY/multini`
+3. Перейдите в каталог с исходниками: `cd multini`
+4. Выполните сборку: `make`
+5. Выполните установку: `make install`
+
+# Использование
+```
+Использование: multini [ПАРАМЕТРЫ]... ДЕЙСТВИЕ ini_file [секция] [ключ] [значение]
+Действия:
+  -g, --get          Получить значения для заданной комбинации параметров.
+  -s, --set          Установить значения для заданной комбинации параметров.
+  -a, --add          Добавить значения для заданной комбинации параметров.
+  -d, --del          Удалить указанную комбинацию параметров.
+  -c, --chk          Показать ошибки парсинга указанного файла.
+
+Параметры:
+  -e, --existing     Для --set и --del завершить программу с ошибкой, если элемент остутствует.
+  -r, --reverse      Для --add добавлять элемент в начало секции
+  -i, --inplace      Перезаписывать исходный файл.
+                     Это не атомарно, но требует меньше разрешений
+                     чем способ по умолчанию с заменой файла.
+  -o, --output ФАЙЛ  Записать результат в ФАЙЛ. '-' означает стандартный вывод
+  -u, --unix         Использовать LF в конце строки
+  -w, --windows      Использовать CRLF в конце строки
+  -q, --quiet        Подавить весь вывод
+  -h, --help         Отобразить страницу помощи
+      --version      Отобразить версию
+```
+
+# Примеры
+**вывести глобальное значение вне секции:**  
+`multini --get ini_file '' key`
+
+**вывести секцию:**  
+`multini --get ini_file section`
+
+**вывести список секций:**  
+`multini --get ini_file`
+
+**вывести значение:**  
+`multini --get ini_file section key`  
+- если ключей несколько, отобразится список всех значений этих ключей
+
+**создать/обновить ключ (в единственном экземпляре):**  
+`multini --set ini_file section key value`  
+- если ключа нет, он будет добавлен  
+- если ключ существует, значение будет обновлено  
+- если ключ существует и имеет несколько значений, будет установлен ключ с указанным значением, остальные значения будут удалены
+
+**добавить ключ с указанным значением:**  
+`multini --add ini_file section key value`  
+- если ключа нет, он будет добавлен
+- если ключ существует и не имеет указанного значения, будет добавлено новое значение
+- если указанное значение повторяет существующее, никаких изменений не будет
+
+**удалить все ключи с указанным именем:**  
+`multini --del ini_file section key`
+
+**удалить ключ с указанным именем и значением:**  
+`multini --del ini_file section key value`
+
+**удалить секцию:**  
+`multini --del ini_file section`
+
+**короткие версии параметров можно комбинировать:**  
+`multini -gq ini_file section key value`  
+- проверить наличие ключа с заданным значением, используя код возврата
+
+# Лицензия
+Copyright © 2020 GenZmeY
+
+[MIT License](LICENSE).
+

README.md

@@ -0,0 +1,111 @@
+# Multini
+
+[![build](https://github.com/GenZmeY/multini/workflows/build/badge.svg)](https://github.com/GenZmeY/multini/actions?query=workflow%3Abuild)
+[![tests](https://github.com/GenZmeY/multini/workflows/tests/badge.svg)](https://github.com/GenZmeY/multini/actions?query=workflow%3Atests)
+[![CodeQL](https://github.com/GenZmeY/multini/workflows/CodeQL/badge.svg)](https://github.com/GenZmeY/multini/security/code-scanning)
+[![GitHub go.mod Go version](https://img.shields.io/github/go-mod/go-version/GenZmeY/multini)](https://golang.org)
+[![GitHub](https://img.shields.io/github/license/genzmey/multini)](LICENSE)
+[![GitHub release (latest by date)](https://img.shields.io/github/v/release/GenZmeY/multini)](https://github.com/GenZmeY/multini/releases)
+
+[English](README.md), [Русский](README-ru.md)
+
+*Command line utility for manipulating ini files with duplicate key names.*
+
+A compiled version of multini is available on the [release page](https://github.com/GenZmeY/multini/releases).
+
+***
+
+# Description
+Some programs use ini file format with duplicate key names.  
+For example, these are games based on the [unreal engine](https://en.wikipedia.org/wiki/Unreal_Engine).  
+It might look like this (part of the Killing Floor 2 config):  
+```
+[OnlineSubsystemSteamworks.KFWorkshopSteamworks]
+ServerSubscribedWorkshopItems=2267561023
+ServerSubscribedWorkshopItems=2085786712
+ServerSubscribedWorkshopItems=2222630586
+ServerSubscribedWorkshopItems=2146677560
+```
+Most implementations only support having one property with a given name in a section. If there are several of them, only the first (or last) key will be processed, which is not enough in this case. multini solves this problem.
+
+**note:**  
+- multini is case sensitive;
+- quotes around the value are not processed (they are part of the value for multini);  
+- multi-line values are not supported.  
+(but this may change in the future)  
+
+# Build & Install (Manual)
+1. Install [golang](https://golang.org), [git](https://git-scm.com/), [make](https://www.gnu.org/software/make/);
+2. Clone this repo: `git clone https://github.com/GenZmeY/multini`
+3. Go to the source directory: `cd multini`
+4. Build: `make`
+5. Install: `make install`
+
+# Usage
+```
+Usage: multini [OPTION]... ACTION ini_file [section] [key] [value]
+Actions:
+  -g, --get          Get values for a given combination of parameters.
+  -s, --set          Set values for a given combination of parameters.
+  -a, --add          Add values for a given combination of parameters.
+  -d, --del          Delete the given combination of parameters.
+  -c, --chk          Display parsing errors for the specified file.
+
+Options:
+  -e, --existing     For --set and --del, fail if item is missing.
+  -r, --reverse      For --add, adds an item to the top of the section
+  -i, --inplace      Lock and write files in place.
+                     This is not atomic but has less restrictions
+                     than the default replacement method.
+  -o, --output FILE  Write output to FILE instead. '-' means stdout
+  -u, --unix         Use LF as end of line
+  -w, --windows      Use CRLF as end of line
+  -q, --quiet        Suppress all normal output
+  -h, --help         Write this help to stdout
+      --version      Write version to stdout
+```
+
+# Examples
+**output a global value not in a section:**  
+`multini --get ini_file '' key`
+
+**output section:**  
+`multini --get ini_file section`
+
+**output list of existing sections:**  
+`multini --get ini_file`
+
+**output value:**  
+`multini --get ini_file section key`  
+- if there are several keys, a list of all values of this keys will be displayed
+
+**create/update a single key:**  
+`multini --set ini_file section key value`  
+- if there is no key, it will be added  
+- if the key exists, the value will be updated  
+- if the key exists and has several values, the key with the specified value will be set, the rest of the values will be deleted
+
+**add a key with specified value:**  
+`multini --add ini_file section key value`  
+- if there is no key, it will be added  
+- if the key exists and does not have the specified value, the new value will be added  
+- if the specified value repeats the existing one, no changes will be made
+
+**delete all keys with specified name:**  
+`multini --del ini_file section key`
+
+**delete a key with specified name and value:**  
+`multini --del ini_file section key value`
+
+**delete a section:**  
+`multini --del ini_file section`
+
+**short options can be combined:**  
+`multini -gq ini_file section key value`  
+- check the existence of a key with a given value using the return code
+
+# License
+Copyright © 2020 GenZmeY
+
+The content of this repository is licensed under [MIT License](LICENSE).
+

cmd/multini/args.go

@@ -40,7 +40,7 @@ var (
 func printHelp() {
 	output.Println("A utility for manipulating ini files with duplicate keys")
 	output.Println("")
-	output.Println("Usage: multini [OPTION]... [ACTION] config_file [section] [param] [value]")
+	output.Println("Usage: multini [OPTION]... [ACTION] config_file [section] [key] [value]")
 	output.Println("Actions:")
 	output.Println("  -g, --get          Get values for a given combination of parameters.")
 	output.Println("  -s, --set          Set values for a given combination of parameters.")
@@ -55,7 +55,6 @@ func printHelp() {
 	output.Println("                     This is not atomic but has less restrictions")
 	output.Println("                     than the default replacement method.")
 	output.Println("  -o, --output FILE  Write output to FILE instead. '-' means stdout")
-	//	output.Println("  -v, --verbose      Indicate on stderr if changes were made")
 	output.Println("  -u, --unix         Use LF as end of line")
 	output.Println("  -w, --windows      Use CRLF as end of line")
 	output.Println("  -q, --quiet        Suppress all normal output")

cmd/multini/reader.go

@@ -13,43 +13,97 @@ import (
 
 var (
 	// Ng - Named Group
-	NgPrefix        string = `prefix`
+	NgPrefix       string = `prefix`
-	NgPostifx       string = `postfix`
+	NgPostifx      string = `postfix`
-	NgSection       string = `section`
+	NgSection      string = `section`
-	NgKey           string = `key`
+	NgKey          string = `key`
-	NgKeyPostfix    string = `key_postfix`
+	NgKeyPostfix   string = `key_postfix`
-	NgValue         string = `value`
+	NgValue        string = `value`
-	NgValuePrefix   string = `value_prefix`
+	NgValuePrefix  string = `value_prefix`
-	NgValuePostfix  string = `value_postfix`
+	NgValuePostfix string = `value_postfix`
-	NgComment       string = `comment`
+	NgComment      string = `comment`
-	NgCommentPrefix string = `comment_prefix`
+	NgData         string = `data`
 
-	RxBodyPrefix    string         = `(?P<` + NgPrefix + `>\s+)?`
+	RxEmpty   string = `^(?P<` + NgPrefix + `>\s+)?$`
-	RxSectionName   string         = `\[(?P<` + NgSection + `>.+)\]`
+	RxSection string = `^(?P<` + NgPrefix + `>\s+)?\[(?P<` + NgSection + `>[^\]]+)\](?P<` + NgPostifx + `>\s+)?$`
-	RxKey           string         = `(?P<` + NgKey + `>(?:[^;#/=]+[^\s=;#/]|[^;#/=]))?`
+	RxKey     string = `^(?P<` + NgPrefix + `>\s+)?(?P<` + NgKey + `>.*[^\s]+)(?P<` + NgKeyPostfix + `>\s+)?$`
-	RxKeyPostfix    string         = `(?P<` + NgKeyPostfix + `>\s+)?`
+	RxValue   string = `^(?P<` + NgValuePrefix + `>\s+)?(?P<` + NgValue + `>.*[^\s])(?P<` + NgValuePostfix + `>\s+)?$`
-	RxValuePrefix   string         = `(?P<` + NgValuePrefix + `>\s+)?`
+
-	RxValue         string         = `(?P<` + NgValue + `>(?:[^;#/]+[^\s;#/]|[^;#/]))?`
+	RxEmptyCompile   *regexp.Regexp = regexp.MustCompile(RxEmpty)
-	RxValuePostfix  string         = `(?P<` + NgValuePostfix + `>\s+)?`
+	RxSectionCompile *regexp.Regexp = regexp.MustCompile(RxSection)
-	RxKeyVal        string         = RxKey + RxKeyPostfix + `=` + RxValuePrefix + RxValue + RxValuePostfix
+	RxKeyCompile     *regexp.Regexp = regexp.MustCompile(RxKey)
-	RxBody          string         = `(?:` + RxSectionName + `|` + RxKeyVal + `)?`
+	RxValueCompile   *regexp.Regexp = regexp.MustCompile(RxValue)
-	RxBodyPostfix   string         = `(?P<` + NgPostifx + `>\s+)?`
-	RxCommentPrefix string         = `(?P<` + NgCommentPrefix + `>([#;]|//)\s*)`
-	RxCommentText   string         = `(?P<` + NgComment + `>.+)?`
-	RxComment       string         = `(?:` + RxCommentPrefix + RxCommentText + `)?`
-	Rx              string         = RxBodyPrefix + RxBody + RxBodyPostfix + RxComment
-	RxCompiled      *regexp.Regexp = regexp.MustCompile(Rx)
 )
 
-func rxParse(rx *regexp.Regexp, str string) map[string]string {
+func parse(str string) map[string]string {
-	match := rx.FindStringSubmatch(str)
+	var result map[string]string = make(map[string]string)
-	result := make(map[string]string)
+	var data string
-	for i, name := range rx.SubexpNames() {
+
+	data, result[NgComment] = getDataComment(str)
+
+	if data != "" {
+		findNamedGroups(data, RxEmptyCompile, &result)
+	}
+
+	if result[NgPrefix] != "" {
+		return result
+	}
+
+	findNamedGroups(data, RxSectionCompile, &result)
+
+	if result[NgSection] == "" && data != "" {
+		keyPart, valPart := getKeyValue(data)
+		findNamedGroups(keyPart, RxKeyCompile, &result)
+		findNamedGroups(valPart, RxValueCompile, &result)
+	}
+
+	return result
+}
+
+func findNamedGroups(str string, Rx *regexp.Regexp, result *map[string]string) {
+	match := Rx.FindStringSubmatch(str)
+	for i, name := range Rx.SubexpNames() {
 		if i != 0 && name != "" && i <= len(match) {
-			result[name] = match[i]
+			(*result)[name] = match[i]
 		}
 	}
-	return result
+}
+
+func getDataComment(str string) (string, string) {
+	var indexes []int
+	var commentIndex int = -1
+
+	indexes = append(indexes, strings.Index(str, "//"))
+	indexes = append(indexes, strings.Index(str, "#"))
+	indexes = append(indexes, strings.Index(str, ";"))
+
+	for _, index := range indexes {
+		if commentIndex == -1 {
+			if index != -1 {
+				commentIndex = index
+			}
+		} else {
+			if index != -1 {
+				if commentIndex > index {
+					commentIndex = index
+				}
+			}
+		}
+	}
+
+	if commentIndex == -1 {
+		return str, ""
+	} else {
+		return str[:commentIndex], str[commentIndex:]
+	}
+}
+
+func getKeyValue(data string) (string, string) {
+	index := strings.Index(data, "=")
+	if index != -1 {
+		return data[:index], data[index+1:]
+	}
+	return "", ""
 }
 
 func debugMap(el map[string]string) string {
@@ -61,14 +115,14 @@ func debugMap(el map[string]string) string {
 }
 
 func appendLine(ini *types.Ini, line string) error {
-	elements := rxParse(RxCompiled, line)
+	// elements := rxParse(line)
+	elements := parse(line)
 	switch {
 	case elements[NgSection] != "":
 		var newSection types.Section
 		newSection.Name = elements[NgSection]
 		newSection.Prefix = elements[NgPrefix]
 		newSection.Postfix = elements[NgPostifx]
-		newSection.Comment.Prefix = elements[NgCommentPrefix]
 		newSection.Comment.Value = elements[NgComment]
 		if newSection.Line() == line {
 			ini.Sections = append(ini.Sections, &newSection)
@@ -87,7 +141,6 @@ func appendLine(ini *types.Ini, line string) error {
 		newKeyValue.PrefixValue = elements[NgValuePrefix]
 		newKeyValue.PostfixValue = elements[NgValuePostfix]
 		newKeyValue.Comment.Value = elements[NgComment]
-		newKeyValue.Comment.Prefix = elements[NgCommentPrefix]
 		if newKeyValue.Line() == line {
 			ini.Sections[len(ini.Sections)-1].(*types.Section).Lines = append(ini.Sections[len(ini.Sections)-1].(*types.Section).Lines, &newKeyValue)
 			return nil
@@ -98,8 +151,8 @@ func appendLine(ini *types.Ini, line string) error {
 		}
 	case elements[NgComment] != "":
 		var newComment types.Comment
-		newComment.Prefix = elements[NgPrefix] + elements[NgCommentPrefix]
 		newComment.Value = elements[NgComment]
+		newComment.Prefix = elements[NgPrefix]
 		if newComment.Line() == line {
 			ini.Sections[len(ini.Sections)-1].(*types.Section).Lines = append(ini.Sections[len(ini.Sections)-1].(*types.Section).Lines, &newComment)
 			return nil

doc/README

@@ -1,6 +1,6 @@
 A utility for manipulating ini files with duplicate keys
 
-Usage: multini [OPTION]... [ACTION] config_file [section] [param] [value]
+Usage: multini [OPTION]... [ACTION] config_file [section] [key] [value]
 Actions:
   -g, --get          Get values for a given combination of parameters.
   -s, --set          Set values for a given combination of parameters.

test/data/expected_ini/test_add_keyval.sh.ini

@@ -1,6 +1,6 @@
 # comment
 ; comment again
-
+	// comment with indent
 DefKey1 = Some Value1
 DefKey2		=	Some Value2 And Tabs! # With Comment
 DefKey3=NoSpaces!

test/data/expected_ini/test_get_key_slashes.sh.ini

@@ -0,0 +1 @@
+skip/skip

test/data/in_ini/test_add_keyval.sh.ini

@@ -1,6 +1,6 @@
 # comment
 ; comment again
-
+	// comment with indent
 DefKey1 = Some Value1
 DefKey2		=	Some Value2 And Tabs! # With Comment
 DefKey3=NoSpaces!

test/data/in_ini/test_get_key_slashes.sh.ini

@@ -0,0 +1,19 @@
+# comment
+; comment again
+
+DefKey1 = Some Value1
+DefKey2		=	Some Value2 And Tabs! # With Comment
+DefKey3=NoSpaces!
+
+[Slashes/Test] // Comment For Section
+	./Dir1/File = skip/skip // comment
+	Key2 = 2
+
+[MultipleKeySection] // C style comment
+	Key = 1
+Key = 2
+	Key = 3
+	
+	[SectionWithIndent]
+	Key=Value
+[SectionWithoutNewLineBefore]

test/data/test_get_key_slashes.sh

@@ -0,0 +1,7 @@
+#!/bin/bash
+
+source "common.sh"
+
+$Multini --get "$InIni" 'Slashes/Test' './Dir1/File' > "$OutIni"
+
+compare