Google Custom Search

2021/08/22

把google sheets 當作 bigquery的table

 很多方式可以把資料匯入bigquery的table, google sheet是其中之一,好處是sheet變動可以直接呈現在table裡。

把google sheets加入到bigquery要先把bigquery 的 project 的 service account 加入 google sheets 的share 名單,然後到 bigquery 新增table,填上sheets的分享網址並設定需要的欄位範圍,這樣就能直接在bigquery裡查詢了。





如果要透過api存取,記得在biqquery的初始化加入google drive的scope,這樣就不會遇到沒有權限的錯誤。

$bigQuery = new BigQueryClient(

    [

        'projectId' => $projectId, 

        'scopes' => array(

            "https://www.googleapis.com/auth/drive",

            "https://www.googleapis.com/auth/bigquery",

        )

    ]

);


2021/08/03

終端機自動連線ssh

常用ssh最麻煩的時候就是連線,要網址、帳號以及密碼,透過except可以自動完成。


產生script:/usr/local/bin/sutossh.sh 

#!/usr/bin/expect

set timeout 30

spawn ssh -l account server_ip

expect "password:"

send "password"

interact

其中:

autossh.sh:script 檔名

account:ssh 連線帳號

server_ip:要連接的server ip,xxx.xxx.xxx.xxx

password:ssh 連線密碼


執行後直接跳到連接上ssh,輕鬆愉快~


ps.請先確定是否有安裝 expect

2021/01/30

bigquery table from google datasheet, access via api using php, need to specify scopes

 當使用php 存取 bigquery table 是從google sheet 來的時候,在初始化BiguqeryClient時,要指定scope


$bigQuery = new BigQueryClient(['projectId' => $projectId, 'scopes'=>[
'https://www.googleapis.com/auth/bigquery',
'https://www.googleapis.com/auth/cloud-platform',
'https://www.googleapis.com/auth/drive']
]);

2018/01/03

upload data to dmp

upload data to dmp

要上傳資料到dmp,必須將資料用protobuf包裝,內容是google id, user list id
https://developers.google.com/protocol-buffers/

google已經幫我們把格式包好
https://developers.google.com/ad-exchange/rtb/downloads/cookie-bulk-upload-proto

只需要將它放到目標路徑中執行即可

為了方便管理,我把它放在上次sdk的目錄

ddp-api-client-library/protobuf

這裡的protobuf就是從 https://developers.google.com/protocol-buffers/ 下載的

然後把 cookie-bulk-upload-proto.proto (從https://developers.google.com/ad-exchange/rtb/downloads/cookie-bulk-upload-proto下載) 放到 ddp-api-client-library/protobuf/examples

設定classpath

export CLASSPATH=/你的路徑/ddp-api-client-library/protobuf/java/core/target/classes

編輯mytest.java, 這檔案就是把google id, userlist id 包裝成protobuf

然後修改makefile檔 ddp-api-client-library/protobuf/examples/Makefile

然後make clean, make java

curl --insecure --request POST --data-binary "@上傳cookie的檔名" https://cm.g.doubleclick.net/upload?nid=dmp nid name

create dmp userlist

1.下載sdk https://developers.google.com/doubleclick-data/docs/clientlibraries
2.解壓縮並放到根目錄
3.把ads.properties放到根目錄
4.到ddp的目錄執行 mvn install  -DskipTests
5.到 examples/ddp_appengine/ 執行 mvn install
6.執行程式 mvn -X exec:java -Dexec.mainClass="ddp.jaxws.v201705.AddDmpUserList"
7.執行程式 mvn -X exec:java -Dexec.mainClass="ddp.jaxws.v201705.GetAllDmpUserLists"


2016/07/28

PHP 內建網頁伺服器

從php 5.4開始,他就內建一個網頁伺服器了,意思就是不必再安裝apache之類的web server, 只需要下指令 php -S localhost:portnumber -t 文件目錄 可以當作開發測試,但是千萬別拿來當正式環境跑,會掛的。

2016/05/15

全世界最關心pm2.5的竟然是日本!



中國銀行開戶相關

很多朋友還是不知道如何在中國開戶,或者如何善用中國網銀,剛好有些經驗可以分享。

銀行選擇取決於目的,我當初是薪資戶所以沒得選只能開公司指定,但如果只是為了收款而且人都在台灣就要考慮額度以及手續費;之前經驗是華夏銀行每天頭筆不必手續費,每天額度上限1萬人幣,但是2016起多了每年限額10萬人民幣,所以台灣ATM提領銀聯卡好處大不如前。

持有中國帳戶另一個好處是方便的網路銀行,像是支付寶或微信支付等等都需要綁定銀行帳號,淘寶有綁銀行帳號也方便許多,另外購買中國機票透過支付寶也會有較多,較便宜的選擇,並且改航班,取消退款也方便許多。

開戶須本人前往中國銀行櫃台開戶,台灣人帶台胞證就可以,開戶時記得申請網路銀行服務,會有一個類似隨身碟(他們稱之U盾),就可以透過網路操作銀行服務,諸如活期,定存,基金甚至樂透(最近都關閉了)都可以直接操作非常方便。

另外需要一個中國手機門號,因為進行支付常常會透過簡訊傳送支付密碼,很多人卡在這關,偏偏這是最簡單的,只要前往中華電信(相信別的電信公司會有對應服務)申辦兩岸通,只要每月多99元就可以一卡雙門號,台灣及中國的門號,根本不必出國,去開戶前申請好就可以了。

網路讓實體邊界逐漸消失,懂得愈多知識就愈有力量,對於中國不能只是恐懼或謾罵,知彼知己總是好的。

2015/09/21

關於一些CDN

  • microsoft : http://azure.microsoft.com/zh-tw/services/cdn/ 可開台灣發票 edge:高雄
  • google : https://cloud.google.com/storage/ edge:彰化
  • amazon : https://aws.amazon.com/tw/cloudfront/ edge:台北
  • cloudflare:有提供免費方案,效果也不錯,台灣有機器了,可以當作cdn的cdn在靜態檔案上,但是必須掌管整個dns。