• http://www.ultrahook.com/
• UltraHook makes it super easy to connect public webhook endpoints with development environments
• support GitHub, Stripe翻譯社 ActiveCampaign, Papertrail

Usage

• 以串接 Stripe 為例，先註冊取得一組 API key
• Webhook Namespace 的名稱會成為之後 Stripe 的 Endpoint，e.g. http://stripe.taikobotest123.ultrahook.com/
• 在本機安裝 UltraHook

gem install ultrahook

• 寫入 UltraHook API key 到使用者家目錄

echo "api_key: xxxxxx" > ~/.ultrahook

• 啟動 UltraHook 服務

# ultrahook [-k ]  翻譯社 API key 之前如果有設定可省略
ultrahook stripe http://dev.test.com/webhook

• 如果成功就會開始轉發

Authenticated as taikobotest123
Forwarding activated...
http://stripe.taikobotest123.ultrahook.com -> http://dev.test.com/webhook

• 到 Stripe 後台，API/Webhooks 新增 Endpoint：http://stripe.taikobotest123.ultrahook.com
• Send test webhook 檢查本機程式是否有接收到訊息

Reference

• UltraHook Frequently Asked Questions

• Google 開發的一種靜態強型別、編譯型、並發型，並具有垃圾回收功能的程式語言翻譯為了方便搜尋和識別，有時會將其稱為 Golang（from WIKI）

Installation

• 到官方下載頁取得目前最新版本，下載並解壓縮

# 2017/11 時最新版本是 1.9.2
wget https://redirector.gvt1.com/edgedl/go/go1.9.2.linux-amd64.tar.gz
# 解壓縮至 /usr/local/go
tar -C /usr/local -xzf go1.9.2.linux-amd64.tar.gz

• 建立 Go 專案程式碼目錄，並修改其權限

# /var/golang
mkdir -p /var/golang
chmod 777 /var/golang -R

• 加入 Go 相關參數（以 zsh 為例）

vi ~/.zshrc

export GOROOT=/usr/local/go
export GOPATH=/var/golang
export PATH=$PATH:$GOROOT/bin:$GOPATH/bin

• pilu/fresh

go get github.com/pilu/fresh

Web Framework gin

• gin-gonic/gin

go get github.com/gin-gonic/gin

MySQL driver

• go-sql-driver/mysql

go get -u github.com/go-sql-driver/mysql

ORM

• jinzhu/gorm

go get -u github.com/jinzhu/gorm

.env

• joho/godotenv

go get github.com/joho/godotenv

Reference

1. Golang指南：顶级Golang框架、IDE和工具列表
2. go 语言框架 gin 的中文文档
3. GORM 中文文档
4. golang-web-starter

sudo vi /etc/mongod.conf

net:
  port: 27017
  # 0.0.0.0 對所有 ip 開放
  bindIp: 0.0.0.0

# 重新啟動
sudo service mongod restart

# 進入 mongo
mongo
# 進入 admin DB
use admin
# 建立管理者，回覆 Successfully added user: 表示成功
db.createUser(
    {
        user: "帳號",
        pwd: "密碼",
        roles: [ { role: "root"翻譯社 db: "admin" } ]
    }
)
# 使用管理者權限，回覆 1 表示成功
db.auth("帳號"翻譯社 "密碼");

• 或是在進入 mongo 前登入

mongo -u "帳號" -p "密碼" --authenticationDatabase "admin"

預設開啟帳號驗證

sudo vi /etc/mongod.conf

#security:
security.authorization: enabled

# 重新啟動
sudo service mongod restart

Management Tool

• Robo 3T

PHP Driver

• MongoDB 與 PHP 的版本關係
• PHP 7.0 以上只能使用 mongodb

phpbrew

• 直接安裝 ext 即可

# PHP 7.0 以上
phpbrew ext install mongodb

原生 php

• Installing the MongoDB PHP Driver with PECL

# 根據主機使用的 PHP 版本選擇安裝 dev 版本
sudo apt install php-pear php7.1-dev
# 更新 pecl
sudo pecl channel-update pecl.php
# 安裝 mongodb
sudo pecl install mongodb

• 安裝成功後會顯示 so 檔位置

Build process completed successfully
Installing '/usr/lib/php/20160303/mongodb.so'
install ok: channel://pecl.php.net/mongodb-1.3.0
configuration option "php_ini" is not set to php.ini location
You should add "extension=mongodb.so" to php.ini

• 新增至 php.ini（apache & cli）

sudo vi /etc/php/7.1/apache2/php.ini

sudo vi /etc/php/7.1/cli/php.ini

    ;extension=php_xsl.dll
    extension=mongodb.so

Laravel Package

• jenssegers/laravel-mongodb

• /project/config/database.php

    // mongodb
    'mongodb' => [
        'driver'   => 'mongodb'翻譯社
        'host'     => env('MONGODB_HOST'),
        'port'     => env('MONGODB_PORT'),
        'database' => env('MONGODB_DATABASE'),
        'username' => env('MONGODB_USERNAME'),
        'password' => env('MONGODB_PASSWORD')翻譯社
        'options'  => [
            'database' => env('MONGODB_DATABASE'),
        ]
    ],

• Query Builder

// 需要指定連線與集合
$r = DB::connection('mongodb')->collection(MONGODB_COLLECTION_NAME)->get();
dd($r);

• Model
• /project/App/Models/Mongo/Test.php

<?php

    namespace App\Models\Mongo;
     
    use Jenssegers\Mongodb\Eloquent\Model as Eloquent;
     
    class Test extends Eloquent
    {
        /**
         * guarded attributes
         *
         * @var array
         */
        protected $guarded = [];
     
        /**
         * collection name
         *
         * @var string
         */
        // protected $collection = 'tests';
     
        /**
         * connection name
         *
         * @var string
         */
        protected $connection = 'mongodb';
    }

// 跟一般 model 使用沒有差別
$r = $this->model->where('time', '=', '2017-09-14 19:21')->take(3)->get();
dd($r);

Reference

1. MongoDB Docs
2. MongoDB 完全新手教學 -5 對外開放問題[allow remote access]
3. Mongodb 3.2 - 安裝與設定權限

• 網路上常見的安裝方式：
  • Ubuntu 14.04: pptpd翻譯社 openswan, xl2tpd
  • Ubuntu 16.04: ppp, lsof翻譯社 strongswan, xl2tpd
• 二種方法我都試過，但是安裝的程式與設定也很多；不意外的又卡關了。這時候我又想起了 docker，果然網路上又有大大提供整合好的 docker images，測試使用 hwdsl2/docker-ipsec-vpn-server
• docker 相關安裝請參考之前的說明
• AWS 新增 Security groups，開啟 port UDP 1701翻譯社 UDP 4500, UDP 500
• git clone project

git clone https://github.com/hwdsl2/docker-ipsec-vpn-server.git
cd docker-ipsec-vpn-server

• 複製並調整環境變數（其他變數請參考 run.sh）

sudo cp vpn.env.example vpn.env
sudo vi ~/docker-ipsec-vpn-server/vpn.env

• ~/docker-ipsec-vpn-server/vpn.env

# IPSec 的公鑰，建議字串長度長一點
VPN_IPSEC_PSK=PASS
 
# 預設使用者名稱
VPN_USER=tester
 
# 預設使用者密碼（明碼）
VPN_PASSWORD=aaaaaa
 
# 分配 L2TP 私人 IP 網段範圍
VPN_L2TP_NET=172.16.0.013
VPN_L2TP_LOCAL=172.16.0.1
VPN_L2TP_POOL=172.16.0.10-172.23.255.250
 
# 分配 XAUTH 私人 IP 網段範圍
VPN_XAUTH_NET=172.24.0.013
VPN_XAUTH_POOL=172.24.0.10-172.31.255.250
 
# 指定 DNS 位置
VPN_DNS_SRV1=XXX.XXX.XXX.XXX
VPN_DNS_SRV2=XXX.XXX.XXX.XXX
DNS_SRV1=XXX.XXX.XXX.XXX
DNS_SRV2=XXX.XXX.XXX.XXX

• 網段計算方式可以參考這裡
• volume 使用者設定檔目錄，在 volumes 區塊新增
• ~/docker-ipsec-vpn-server/docker-compose.yml

    - ./users/ppp:/etc/ppp
    - ./users/ipsec.d:/etc/ipsec.d

• 建立 docker container

# 建議先不要背景執行，有錯誤可以比較容易發現
docker-compose up

• 如果沒有問題，應該會看到下面的畫面；包含 IP、公鑰、預設的使用者帳號與密碼

Setting

管理使用者

• 修改 L2TP/IPsec 設定檔（明碼），新增使用者 test2

sudo vi ~/docker-ipsec-vpn-server/users/ppp/chap-secrets

• ~/docker-ipsec-vpn-server/users/ppp/chap-secrets

# Secrets for authentication using CHAP
# client  server  secret  IP addresses
"tester" l2tpd "aaaaaa" *
"test2" l2tpd "aaaaaa" *

• 修改 Cisco IPsec 設定檔（password），新增使用者 test2
• Password

# $1$x2I2244y$mWuO1pmeYNwpdOqow5xbo.
openssl passwd -1 "aaaaaa"

sudo vi ~/docker-ipsec-vpn-server/users/ipsec.d/passwd

• ~/docker-ipsec-vpn-server/users/ipsec.d/passwd

# Secrets for authentication using CHAP
# client  server  secret  IP addresses
tester:$1$x2I2244y$mWuO1pmeYNwpdOqow5xbo.:xauth-psk
test2:$1$x2I2244y$mWuO1pmeYNwpdOqow5xbo.:xauth-psk

• 不需要重新啟動 IPSec，儲存後新帳號即可使用

管理使用者 in container

• 進入 docker container

docker exec -it ipsec-vpn-server env TERM=xterm bash -l

• 安裝編輯器 vim

apt-get update && apt-get -y install vim

• 修改設定檔
• 不需要重新啟動 IPSec，儲存後新帳號即可使用

修改 PSK 設定

• /etc/ipsec.secrets

%any  %any  : PSK "PASS"

修改 Private IP 設定

• /etc/xl2tpd/xl2tpd.conf

ip range = 172.16.0.10-172.31.255.250
local ip = 172.16.0.1

修改 DNS 設定

• /etc/ppp/options.xl2tpd

ms-dns XXX.XXX.XXX.XXX # 同一台主機可以設定為 local ip

重啟服務

sudo ipsec restart
sudo service xl2tpd restart

Other

Windows 10 連線發生錯誤

• Q: 如果連線發生錯誤，要特別修改登錄檔，似乎跟路由器有關係
• A: 以系統管理員身分執行命令提示字元 cmd，輸入以下指令並執行

REG ADD HKLM\SYSTEM\CurrentControlSet\Services\PolicyAgent /v AssumeUDPEncapsulationContextOnSendRule /t REG_DWORD /d 0x2 /f

無法使用 VPN 指定 DNS

• Q: Windows 10 VPN 連線成功，但「自動取得 DNS 伺服器位址」時卻沒有透過 VPN 指定的 DNS 解析網址，只有在指定 DNS 伺服器位址後才會有效
• A: 網路連線 > VPN > 右鍵「內容」 > 分頁「網路功能」 > 網際網路通訊協定第 4 版 (TCP/IPv4) > 內容 > 進階 > 自動計量不勾選 > 輸入框設定值: 15

Reference

• wikipedia: 第二層隧道協定
• Ubuntu 架設 L2TP IPSec VPN Server (Mac 相容)
• Ubuntu 16.04 配置L2TP VPN Server
• IPsec VPN Server on Docker

• 這次的目的是要分析 BIND9 的 query.log 檔，主要需要修改的地方是 Logstash 結構化 log 的設定
• 先將 log 檔案所在的目錄 volume 到 docker container，在 volumes 區塊新增
• ~/docker-elk/docker-compose.yml

/var/log/named:/var/log/named

• 根據 BIND9 的 query.log 新增結構化設定

sudo vi ~/docker-elk/logstash/pipeline/bind.conf

• ~/docker-elk/logstash/pipeline/bind.conf

input {
    file {
        type => "BIND_DNS"
        path => [ "/var/log/named/query.log" ]
        start_position => "beginning"
    }
}
 
filter {
    if [type] == "BIND_DNS" {
        grok {
            match => ["message", "(?%{MONTHDAY}[-]%{MONTH}[-]%{YEAR} %{TIME}) client %{IPV4:clientip}#%{POSINT:clientport} \(%{GREEDYDATA:query1}\): query: %{GREEDYDATA:query2} IN %{GREEDYDATA:querytype} \(%{IPV4:dns}\)"]
        }
        date {
            match => ["logdate", "dd-MMM-yyyy HH:mm:ss.SSS"]
            timezone => "America/Los_Angeles"
        }
    }
}
 
output {
    elasticsearch {
        hosts => "elasticsearch:9200"
    }
}

• input > file > path 分析 log 檔案的位置
• filter > grok 分析並透過他的 patterns 重構 log 字串

03-Aug-2017 00:55:29.005 client XXX.XXX.XXX.XXX#54501(www.google.com): query: www.google.com IN A + (XXX.XXX.XXX.XXX)

into

{
  "_index": "logstash-2017.08.03",
  "_type": "BIND_DNS",
  "_id": "AV2nF6AFU4gS5SfvUHc1",
  "_version": 1,
  "_score": null翻譯社
  "_source": {
    "path": "/var/log/named/query.log",
    "@timestamp": "2017-08-03T00:55:29.005Z",
    "logdate": "03-Aug-2017 00:55:29.005"翻譯社
    "clientip": "203.75.167.229"翻譯社
    "query1": "www.google.com"翻譯社
    "query2": "www.google.com",
    "@version": "1",
    "host": "690ab8796350",
    "dns": "172.31.10.132",
    "message": "03-Aug-2017 00:55:29.005 client 203.75.167.229#54501 (www.google.com): query: www.google.com IN A + (172.31.10.132)"翻譯社
    "type": "BIND_DNS",
    "clientport": "54501",
    "querytype": "A +"
  }
}

• (?<logdate>%{MONTHDAY}[-]%{MONTH}[-]%{YEAR} %{TIME}) 是自訂 pattern，因為原始 pattern 沒有符合 query.log 的日期格式，參考來源是 logstash-patterns-core
• 其他關於 grok 寫法的判斷與模擬，可以透過 Grok Debugger 測試
• filter > date 是將自訂參數 logdate 取代預設 timestamp 的寫法。因為預設 timestamp 是指 Logstash 分析匯入的時間，而不是 log 紀錄的時間，所以要特別替換後才方便給 Kibana 分析使用
• 如果記錄檔 EC2 機器時區有另外設定，timezone 也要設定
  

Kibana

• 一開始會先選擇 Elasticsearch 資料來源，因為沒有特別修改設定，直接使用預設的 logstash-* 即可
• 因為時區預設使用瀏覽器設定，所以要先到 Management > Advanced Settings > dateFormat:tz 強制設定為資料的時區
• 建立一個 IP COUNT/DATE 的圖表
  1. 建立新圖表 Visualize > Create a visualization
  2. 選擇長條圖 Basic Charts > Vertical Bar
  3. 選擇資料來源 From a New Search, Select Index > logstash-*
  4. Y 軸選擇欄位 clientip 的數量 Y-Axis > Aggregation[Unique Count] > Field[clientip.keyword]
  5. X 軸選擇日期 X-Axis > Aggregation[Date Histogram] > Field[@timestamp] > Interval[Daily]
  6. 點選右上角的箭頭 Apply changes
  7. 右上角時間範圍選擇 This week 就可以看到一周內 IP COUNT/DATE 的長條圖

• ELK 並不是單一程式，而是分別由 Elasticsearch, Logstash翻譯社 Kibana 所組成
• Elasticsearch 擔任資料儲存，可以把它看成是資料庫的一種，同時他也可以實現全文檢索
• Logstash 收集並處理資料，可以透過正規式將 log 的字串結構化
• Kibana 則是提供網頁的呈現，串接 Elasticsearch 之後可以表現出簡潔美觀的視覺化報表

Installation

• 傳統安裝方式是一個一個來，不過要串連三個程式並調整環境設定，非常容易卡關；一開始裝到一半天成翻譯公司就遇到各種困難…後來突然想到這種需要安裝不同程式的環境，一定已經有人提供整合後的 docker images，後來一找果然有！網路上推薦使用：docker-elk
• 基本環境需求：
  • 硬體需求較高，原本我使用 AWS EC2 t2.micro 一直當機，後來升級到 t2.medium 後才成功啟動
  • Docker version 1.10.0+
  • Docker Compose version 1.6.0+
  • git
• ubuntu 16.04 Docker & Docker Compose 安裝（1.15.0 是寫文章時 Docker Compose 的最新版本，請依安裝時釋出的最新版本號自行更換）

sudo apt-get update
sudo apt-get install docker.io
sudo usermod -aG docker $USER
sudo curl -L "https://github.com/docker/compose/releases/download/1.15.0/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose sudo chmod +x /usr/local/bin/docker-compose 

• 調整系統參數

sudo sysctl -w vm.max_map_count=262144

• git clone 並建立 docker container

git clone https://github.com/deviantony/docker-elk.git
cd docker-elk
# 建議先不要背景執行，有錯誤可以比較容易發現
docker-compose up

• 如果沒有錯誤，這個時候 http://domain:5601 應該已經可以看到 Kibana 的畫面（EC2 請開啟 port 5601）

• http://domain:9200 也會看到 Elasticsearch 的 JSON 回應（EC2 請開啟 port 9200）

• 另外建議可以安裝 Chrome extension ElasticSearch Head，只要連接 http://domain:9200/ 就可以直接連到 Elasticsearch 並看到原始數據

var foo = {
    set1: {
        name: 'test1'翻譯社
        color: ['red', 'blue']
    },
    set2: {
        name: 'test2'
    }
};

var bar = {
    set2: {
        name: 'testSub2'
    },
    set3: {
        name: 'test3',
        color: ['green']
    }
};

alert($.extend(foo, bar).toSource()); 

var foo = 'bar';

var bar = 'test';

alert(eval(foo)); 

<?php
// 取得 tbl_user 資料表中，id = 1 的資料列
$row = Yii::app()->db->createCommand()
    ->select('username, password')
    ->from('tbl_user')
    ->where('id = :id', array(':id' => 1))
    ->queryRow();
?> 

<?php
$id = (int) $id;
$typeId = (int) $typeId;
$conditions = array(
  'and',
  'id = :id',
  'type_id = :typeId'
);
$params = array(
  ':id' => $id翻譯社
  ':typeId' => $typeId
);
// 取得 tbl_table 資料表中，id = $id AND type_id = $typeId 的資料列
$row = Yii::app()->db->createCommand()
    ->from('tbl_table')
    ->where($conditions翻譯社 $params)
    ->queryRow();
?> 

<?php
// 第三個參數是 cookie 的存活時間，0 表示存活至瀏覽器關閉為止
setcookie('variable', $value, 0, '/');
?>

<?php

// 給定資料庫變數

$dbtype_sql = 'mysql';

$host_sql = 'localhost';

$dbname_sql = 'dbname';

$username_sql = 'username';

$password_sql = 'password';





// 資料庫連線

try {

    $dbh = new PDO($dbtype_sql . ':host=' . $host_sql . ';dbname=' . $dbname_sql, $username_sql翻譯社 $password_sql);

    // 資料庫使用 UTF8 編碼

    $dbh->query('SET NAMES UTF8');

} catch (PDOException $e) {

    echo 'Error!: ' . $e->getMessage() . '<br />';

}

?>

<?php

// 使用 quote 避免 SQL Injection；相當於 mysql_real_escape_string()

$id = $dbh->quote(2);

$name = $dbh->quote('John');



// 組合 SQL 語法，取得符合 id = 2、name = 'John' 的資料

$query = sprintf("SELECT * FROM table WHERE id = %s AND name = %s", $id翻譯社 $name);

foreach ($dbh->query($query) as $row) {

    print_r($row);

}

?>

<?php

// 組合 SQL 語法，取得符合 id = 2、name = 'John' 的資料

$sth = $dbh->prepare('SELECT * FROM table WHERE id = :id AND name = :name');

$where = array(':id' => 2, ':name' => 'John');

// 使用 execute()，會自動 quote $where 的參數

$sth->execute($where);



foreach ($sth->fetchAll(PDO::FETCH_ASSOC) as $row) {

    print_r($row);

}

?>